github llama.cpp · há 9 h · inference

llama.cpp b11320 adiciona manipulador de dialeto LLM-jp-4.1 Harmony

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11320, que inclui um novo manipulador de dialeto para o modelo LLM-jp-4.1.

A atualização adiciona suporte ao dialeto Harmony do LLM-jp-4.1 para resolver problemas de compatibilidade com seu tokenizador e formatação de chamadas paralelas de ferramentas.
O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows e openEuler.
Um pacote de interface gráfica independente também está incluído na distribuição.

Importância 1/3 Confiança 1/3 llama.cpp Local inference

llama.cpp b11307 preserva a ordem do lote para decodificação especulativa

O projeto llama.cpp lançou a compilação b11307, que corrige a ordem de entrada das camadas para preservar a sequência original do lote durante a decodificação especulativa. Esta alteração garante que a ordem dos tokens seja mantida corretamente para os embeddings NextN não mascarados e seja compatível com divisões de tensores.

github llama.cpp · há 22 h · 1 visualização

llama.cpp b11301 corrige estouro inteiro em ggml/gguf

O projeto llama.cpp lançou a compilação b11301, que inclui uma correção para um problema de estouro inteiro nos componentes ggml e gguf. Esta atualização aborda a lógica de validação para prevenir erros potenciais ao lidar com tensores de zero elementos.

github llama.cpp · há 23 h · 3 visualizações

llama.cpp b11302 corrige corrida de dados do ThreadSanitizer no indexador esparsa

O projeto llama.cpp lançou a compilação b11302, que aborda um problema crítico de concorrência identificado pelo ThreadSanitizer no pipeline de CI. A atualização resolve uma corrida de dados dentro do mecanismo de atenção esparsa onde vários threads da CPU estavam gravando incorretamente nos mesmos elementos de memória.

github llama.cpp · há 23 h · 2 visualizações

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.