media Hugging Face Forums · há 5 d · open_models

FitCheck estima o ajuste de memória GPU para LLM com erro absoluto médio de 2,4%

Traduzido do English → Português (BR)

FitCheck é uma nova ferramenta que estima os requisitos máximos de VRAM para LoRA, QLoRA e ajuste fino completo de grandes modelos de linguagem sem exigir PyTorch, CUDA ou hardware GPU real.

Ele analisa a config.json do modelo no Hugging Face e metadados de contagem de parâmetros para relatar decomposição de memória, capacidade utilizável, margem e vereditos de ajuste.
A ferramenta suporta estimativas de serviço com base nos pesos do modelo e no cache KV, junto com um consultor para explorar tamanho do lote, comprimento da sequência e rank do LoRA.
Testes em uma Tesla T4 mostraram um erro absoluto médio de 2,4% através de 57 execuções de calibração e produziram 12/12 vereditos corretos de limite de ajuste em um teste de retenção separado.

A ferramenta ajuda os usuários a determinar se sua configuração de LML caberá na memória GPU antes de iniciar um trabalho, visando reduzir palpites e erros de falta de memória.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Local inference

Ler original

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

github llama.cpp · há 7 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 11 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 13 h · 2 visualizações

llama.cpp b11272 otimiza operação de concatenação Hexagon

O projeto llama.cpp lançou a compilação b11272, que inclui otimizações para o backend Hexagon. A mudança principal foca na otimização da operação de concatenação para melhorar o desempenho em hardware Qualcomm Snapdragon.

github llama.cpp · há 1 d · 7 visualizações

llama.cpp b11260 adiciona suporte para FP32 GELU_ERF e GEGLU_ERF

O projeto llama.cpp lançou a versão b11260, introduzindo suporte para as funções de ativação FP32 GELU_ERF e GEGLU_ERF no backend Hexagon. Esta atualização também inclui otimizações para reduzir a pressão de registradores nos kernels associados.