github llama.cpp · há 1 h · inference

llama.cpp b10207 adiciona suporte SYCL para tipos ausentes em cpy

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10207, que inclui um pull request para adicionar suporte SYCL a tipos de dados anteriormente não suportados na operação cpy.

A atualização aborda a falta de suporte a tipos dentro da funcionalidade cpy por meio do PR #26005.
Distribuições binárias estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android e openEuler.
O suporte do macOS Apple Silicon com KleidiAI está atualmente desativado nesta versão.

Este lançamento expande a compatibilidade de hardware do llama.cpp ao habilitar a execução SYCL em tipos de dados adicionais.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10206 impõe os mesmos tipos de cache K e V para modelos DeepSeek V4 e MLA

O projeto llama.cpp lançou a versão b10206, que introduz mudanças específicas em como os caches de chave-valor são tratados nos mecanismos de atenção. A atualização garante que os tipos de cache K e V permaneçam consistentes para os modelos DeepSeek V4.

github llama.cpp · há 5 h

Lançamento do llama.cpp b10202 com fusão SYCL RMS_NORM

O projeto llama.cpp lançou a versão b10202, introduzindo uma otimização SYCL que funde as operações RMS_NORM e MUL.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b10201 melhora flash attention para KV quantizado em contextos longos

O projeto llama.cpp lançou a versão b10201, que inclui uma melhoria chave no backend ggml-webgpu. Esta atualização melhora o desempenho do flash attention ao lidar com caches de chave-valor quantizados durante a geração de contexto longo.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10198 adiciona suporte Vulkan para concatenação quantizada

O projeto llama.cpp lançou a compilação b10198, que introduz suporte para operações de concatenação quantizada dentro do backend Vulkan.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10180 adiciona caminho rápido contíguo e matemática de índice de 32 bits para operações unárias SYCL

O projeto llama.cpp lançou a compilação b10180, introduzindo otimizações de desempenho para o backend SYCL. A atualização implementa um caminho rápido contíguo e altera a matemática de índice elemento a elemento para usar fastdiv com inteiros de 32 bits.