github llama.cpp · há 1 h · inference

llama.cpp b10201 melhora flash attention para KV quantizado em contextos longos

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10201, que inclui uma melhoria chave no backend ggml-webgpu. Esta atualização melhora o desempenho do flash attention ao lidar com caches de chave-valor quantizados durante a geração de contexto longo.

Processamento vetorial melhorado do flash attention para cache KV quantizado no ggml-webgpu.
Correção de bugs relacionados à verificação do tipo de valor e atualização de comentários.
Resolução de erros de compilação causados por rebasing.
Binários fornecidos para macOS (Apple Silicon, Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL) e openEuler.

Esta versão permite que os usuários executem o llama.cpp em uma ampla gama de plataformas de hardware, beneficiando-se de mecanismos de atenção otimizados para sequências mais longas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

Lançamento do llama.cpp b10202 com fusão SYCL RMS_NORM

O projeto llama.cpp lançou a versão b10202, introduzindo uma otimização SYCL que funde as operações RMS_NORM e MUL.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10198 adiciona suporte Vulkan para concatenação quantizada

O projeto llama.cpp lançou a compilação b10198, que introduz suporte para operações de concatenação quantizada dentro do backend Vulkan.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10180 adiciona caminho rápido contíguo e matemática de índice de 32 bits para operações unárias SYCL

O projeto llama.cpp lançou a compilação b10180, introduzindo otimizações de desempenho para o backend SYCL. A atualização implementa um caminho rápido contíguo e altera a matemática de índice elemento a elemento para usar fastdiv com inteiros de 32 bits.

github llama.cpp · há 4 d · 3 visualizações

llama.cpp b10155 adiciona suporte de áudio MiMo-V2.5

O projeto llama.cpp lançou a compilação b10155, que introduz suporte para o modelo de entrada de áudio MiMo-V2.5. Esta atualização inclui um conversor GGUF para áudio MiMo e implementa a lógica do backend em C++ necessária para lidar com modelos de áudio baseados em RVQ.

github llama.cpp · há 4 d · 2 visualizações

llama.cpp b10150 ajusta a lógica de offloading do ggml e corrige o grafo dsv4

O projeto llama.cpp lançou a compilação b10150, que inclui ajustes na lógica do ggml para operações de offloading para o backend dos pesos. Esta atualização também aborda correções para o grafo llama dsv4.