github llama.cpp · há 1 h · inference

llama.cpp b10198 adiciona suporte Vulkan para concatenação quantizada

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10198, que introduz suporte para operações de concatenação quantizada dentro do backend Vulkan.

A principal atualização técnica é a adição de suporte Vulkan para concat quantizado, implementada no pull request #25684.
As compilações do macOS Apple Silicon com KleidiAI estão explicitamente desativadas nesta versão.
Binários são fornecidos para várias plataformas, incluindo macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, HIP), Android e openEuler.
Um binário de UI standalone também está incluído no pacote de lançamento.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10180 adiciona caminho rápido contíguo e matemática de índice de 32 bits para operações unárias SYCL

O projeto llama.cpp lançou a compilação b10180, introduzindo otimizações de desempenho para o backend SYCL. A atualização implementa um caminho rápido contíguo e altera a matemática de índice elemento a elemento para usar fastdiv com inteiros de 32 bits.

github llama.cpp · há 3 d · 3 visualizações

llama.cpp b10155 adiciona suporte de áudio MiMo-V2.5

O projeto llama.cpp lançou a compilação b10155, que introduz suporte para o modelo de entrada de áudio MiMo-V2.5. Esta atualização inclui um conversor GGUF para áudio MiMo e implementa a lógica do backend em C++ necessária para lidar com modelos de áudio baseados em RVQ.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10150 ajusta a lógica de offloading do ggml e corrige o grafo dsv4

O projeto llama.cpp lançou a compilação b10150, que inclui ajustes na lógica do ggml para operações de offloading para o backend dos pesos. Esta atualização também aborda correções para o grafo llama dsv4.

media Hugging Face Forums · há 3 d · 2 visualizações

TraceML adiciona callback do Hugging Face Trainer para diagnosticar gargalos de carregamento de dados

O autor integrou uma ferramenta de diagnóstico no TraceML, um projeto de observabilidade do PyTorch de código aberto, para ajudar os usuários a distinguir entre problemas de desempenho de treinamento limitados pela GPU e pela entrada. Este novo recurso permite que os desenvolvedores identifiquem rapidamente se a baixa utilização da GPU é causada por carregamento lento de dados ou limites reais de computação do modelo.

github llama.cpp · há 3 d · 6 visualizações

Aaron Teo adiciona o argumento -lm mlock ao llama.cpp

Aaron Teo submeteu uma alteração ao repositório do llama.cpp que introduz um novo argumento de linha de comando `-lm mlock`. Essa adição permite que os usuários bloqueiem explicitamente a memória nas regiões onde o código executa operações `mlock`, mas não utiliza `mmap`.