github llama.cpp · há 2 h · inference

llama.cpp b10814 amplia a cobertura de operações elementares e movimentação de dados do OpenCL

Traduzido do English → Português (BR)

O lançamento llama.cpp b10814 expande o suporte ao backend OpenCL adicionando nove novas operações unárias elementares e melhorando os kernels de movimentação de dados.

Adicionadas operações unárias elementares estendidas, incluindo sgn, step, elu, hardswish, hardsigmoid, floor, ceil, round e trunc para evitar fallbacks para CPU.
Implementado um kernel de cópia f32 contíguo que é distribuído por todo o dispositivo para movimentos lineares, otimizando o desempenho para tensores com poucas linhas longas.
Suporte ao CONCAT estendido a todos os tipos de fácil cópia (f16, bf16, i8, i16, i32, i64) através da chaveagem de kernels no tamanho do elemento em vez do tipo específico.

Essas alterações melhoram a cobertura e eficiência do OpenCL para backends não-CPU em macOS, Linux, Windows e Android.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10813 adiciona caminho Adreno xmem SDPA e corrige erros numéricos

O projeto llama.cpp lançou a compilação b10813, que introduz uma implementação OpenCL para GPUs Adreno usando o caminho xmem SDPA (Scaled Dot-Product Attention). Esta atualização também aborda erros numéricos nos mecanismos GQA e atenção mascarada.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10816 adiciona ajustes fa-vec para M3 e novos binários

O projeto llama.cpp lançou a versão b10816, que inclui atualizações para o backend Metal em dispositivos Apple Silicon. O lançamento foca em adicionar os ajustes restantes de fast-vector especificamente para a arquitetura do chip M3.

github llama.cpp · há 2 h · 1 visualização

llama.cpp 0.4.0 adiciona suporte para Qwen3.8-Flash-Next e Nemotron-3-Puzzle

O llama.cpp versão 0.4.0 introduz suporte de arquitetura inicial para os modelos Qwen3.8-Flash-Next e NVIDIA Nemotron-3-Puzzle-75B-A9B, juntamente com uma atualização da biblioteca subjacente ggml para a versão 0.23.0.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b10798 torna configurável o fluxo de saída de informações de compilação

O projeto llama.cpp lançou a versão b10798, introduzindo uma alteração para tornar o fluxo de saída das informações de compilação configurável. Esta atualização permite que `llama_print_build_info` escreva em um FILE* fornecido pelo chamador, em vez de codificar fixamente stderr.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.