github llama.cpp · há 1 h · inference

llama.cpp b11001 corrige corrupção de transposição int16 no RISC-V

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11001, que inclui uma correção crítica para a função `permute_transpose_impl` ao lidar com dados int16 nas arquiteturas RISC-V.

A versão anterior chamava incorretamente `rvv_transposed_s32_mn_to_nm` para inteiros de 16 bits, causando resultados de transposição corrompidos onde 14 das 16 posições estavam erradas em uma matriz 4x4.
A correção substitui a chamada errada pela função correta `rvv_transposed_s16_mn_to_nm`, que já estava disponível e era usada em outro lugar no flash attention.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android e openEuler.

Esta atualização garante a transposição correta de dados para operações int16 no hardware RISC-V, prevenindo erros de cálculo nos modelos afetados.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.

github llama.cpp · há 15 h · 2 visualizações

llama.cpp b10989 habilita AllReduce para ROCm e fornece binários multiplataforma

O projeto llama.cpp lançou a versão b10989, que introduz suporte para habilitar operações AllReduce no backend ROCm. Esta atualização faz parte do desenvolvimento contínuo para expandir a compatibilidade de hardware e as capacidades de computação distribuída para inferência de grandes modelos de linguagem.

github llama.cpp · há 20 h · 1 visualização

llama.cpp b10988 adiciona seleção de multiplicação matricial de especialistas MoE via OpenCL para decodificação especulativa

O projeto llama.cpp lançou a compilação b10988, introduzindo alterações no backend do OpenCL especificamente para modelos Mixture of Experts (MoE). A atualização implementa lógica para escolher a multiplicação matricial do especialista MoE com base no tamanho do lote durante a decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10984 adiciona suporte CUDA para SUM_ROWS contíguo por linha

O projeto llama.cpp lançou a versão b10984, introduzindo suporte CUDA para operações SUM_ROWS contíguas por linha. Esta atualização também organiza o código para incluir GGML_OP_MEAN para lidar com tensores contíguos por linha por meio de um kernel compartilhado.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10985 restringe o cache de hash RPC a pesos

O projeto llama.cpp lançou a compilação b10985, que modifica o backend RPC para limitar o armazenamento em cache baseado em hash exclusivamente a tensores de peso. Esta alteração aborda um problema onde os dados de ativação eram desnecessariamente hashados e armazenados, levando ao uso excessivo do disco.