media Hugging Face Forums · há 1 h · open_models

TraceML adiciona callback do Hugging Face Trainer para diagnosticar gargalos de carregamento de dados

Traduzido do English → Português (BR)

O autor integrou uma ferramenta de diagnóstico no TraceML, um projeto de observabilidade do PyTorch de código aberto, para ajudar os usuários a distinguir entre problemas de desempenho de treinamento limitados pela GPU e pela entrada. Este novo recurso permite que os desenvolvedores identifiquem rapidamente se a baixa utilização da GPU é causada por carregamento lento de dados ou limites reais de computação do modelo.

A integração adiciona um `TraceMLTrainerCallback` ao `Trainer` do Hugging Face, exigindo mudanças mínimas na configuração.
Ela separa o tempo de espera de entrada do trabalho da etapa para fornecer um veredito prático sobre o tipo de gargalo.
Um exemplo no Colab com ResNet-50 demonstrou que ajustar as configurações do DataLoader mudou o diagnóstico de limitado por entrada para limitado por computação e melhorou a velocidade em 1.83×.

Esta ferramenta ajuda os usuários a evitar otimizar o componente errado, esclarecendo a restrição específica que afeta suas execuções de treinamento.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Local inference

Artigos relacionados

github llama.cpp · há 3 h · 1 visualização

Aaron Teo adiciona o argumento -lm mlock ao llama.cpp

Aaron Teo submeteu uma alteração ao repositório do llama.cpp que introduz um novo argumento de linha de comando `-lm mlock`. Essa adição permite que os usuários bloqueiem explicitamente a memória nas regiões onde o código executa operações `mlock`, mas não utiliza `mmap`.

github llama.cpp · há 4 d

llama.cpp b10093 corrige o modelo DeepSeek v4 e adiciona a flag drop_reasoning

O projeto llama.cpp lançou a build b10093, que inclui atualizações específicas para suportar os modelos DeepSeek v4. O lançamento aborda o tratamento de templates e introduz novas flags de configuração para esta família de modelos.

github llama.cpp · há 5 d · 1 visualização

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

github llama.cpp · há 6 d

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

media Hugging Face Forums · há 9 d · 3 visualizações

zhongkaifu lança o TensorSharp, um mecanismo de inferência LLM nativo para .NET voltado a modelos GGUF

zhongkaifu lançou o TensorSharp, um mecanismo de inferência local de LLM de código aberto construído inteiramente em C# que suporta Windows, macOS e Linux. O mecanismo lida com modelos GGUF do Unsloth, incluindo Gemma 4 e Qwen 3.6 com capacidades multimodais, ao mesmo tempo que fornece APIs compatíveis com OpenAI e Ollama.