github llama.cpp · há 2 h · inference

llama.cpp b10813 adiciona caminho Adreno xmem SDPA e corrige erros numéricos

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10813, que introduz uma implementação OpenCL para GPUs Adreno usando o caminho xmem SDPA (Scaled Dot-Product Attention). Esta atualização também aborda erros numéricos nos mecanismos GQA e atenção mascarada.

Adicionado o caminho Adreno xmem SDPA para aceleração OpenCL.
Removida a substituição de perfilamento de fila específica do Adreno.
Corrigidos erros numéricos no GQA e na atenção mascarada.
Introduzida a variável de ambiente GGML_OPENCL_XMEM_SDPA para controlar o recurso.

O lançamento fornece binários para macOS, Linux, Windows, Android e openEuler através de backends de CPU, GPU e hardware especializado.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10814 amplia a cobertura de operações elementares e movimentação de dados do OpenCL

O lançamento llama.cpp b10814 expande o suporte ao backend OpenCL adicionando nove novas operações unárias elementares e melhorando os kernels de movimentação de dados.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10816 adiciona ajustes fa-vec para M3 e novos binários

O projeto llama.cpp lançou a versão b10816, que inclui atualizações para o backend Metal em dispositivos Apple Silicon. O lançamento foca em adicionar os ajustes restantes de fast-vector especificamente para a arquitetura do chip M3.

github llama.cpp · há 2 h · 1 visualização

llama.cpp 0.4.0 adiciona suporte para Qwen3.8-Flash-Next e Nemotron-3-Puzzle

O llama.cpp versão 0.4.0 introduz suporte de arquitetura inicial para os modelos Qwen3.8-Flash-Next e NVIDIA Nemotron-3-Puzzle-75B-A9B, juntamente com uma atualização da biblioteca subjacente ggml para a versão 0.23.0.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b10798 torna configurável o fluxo de saída de informações de compilação

O projeto llama.cpp lançou a versão b10798, introduzindo uma alteração para tornar o fluxo de saída das informações de compilação configurável. Esta atualização permite que `llama_print_build_info` escreva em um FILE* fornecido pelo chamador, em vez de codificar fixamente stderr.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.