media Hugging Face Forums · há 3 d · open_models

TraceML reproduz regressão do LeRobot mostrando queda no tempo de busca do DataLoader de 1375ms para 1.5ms

Traduzido do English → Português (BR)

O TraceML, uma ferramenta de diagnóstico de treinamento do PyTorch de código aberto, foi usada para reproduzir uma regressão conhecida no treinamento do LeRobot e medir o impacto da correção upstream #2408. A análise revelou que, embora a maioria das buscas do DataLoader fosse rápida, as buscas recorrentes anteriormente levavam mais de cinco segundos.

O tempo por etapa diminuiu de aproximadamente 1500ms para 117ms após a correção.
O tempo de busca do CPU DataLoader caiu de ~1375ms para 1.5ms no primeiro par e de ~1427ms para 1.3ms no segundo par.
O tempo de computação permaneceu estável em torno de 110–116ms, confirmando que a carga de trabalho mudou de INPUT-BOUND para COMPUTE-BOUND.

A ferramenta ajuda a identificar onde o tempo extra é gasto quando o treinamento desacelera após uma alteração, instrumentando o loop de treinamento e comparando os tempos entre duas execuções.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency

Ler original

llama.cpp b10891 corrige falha no Vulkan do PowerVR ao recuar para redução por memória compartilhada

O projeto llama.cpp lançou a versão b10891, que aborda um problema crítico de estabilidade em GPUs PowerVR. A atualização modifica o backend Vulkan para recuar à redução por memória compartilhada nas operações de multiplicação de matriz por vetor desquantizada (dmmv).

media MarkTechPost · agora mesmo Ao vivo

DeepSeek lança DeepSeek-V4.1-Flash com contexto de 1M e cache KV FP4

A DeepSeek AI lançou o DeepSeek-V4.1-Flash, um modelo Mixture-of-Experts multimodal que possui uma janela de contexto de 1 milhão de tokens e um cache KV FP4 que reduz a pegada global do cache para 890 bytes por token. O modelo utiliza uma arquitetura de codificador-decodificador causal e Compressed Sparse Attention 2 (CSA2) para reduzir significativamente os requisitos de memória enquanto mantém o desempenho.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10889 evita alocação de cache V para o indexador

O projeto llama.cpp lançou a compilação b10889, que inclui uma otimização de memória para evitar alocar o cache V para o indexador, já que ele não é utilizado.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.