github llama.cpp · há 12 h · inference

llama.cpp b11035 adiciona kernels IQ3_S MMQ matmul para Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11035, introduzindo suporte para kernels de multiplicação de matrizes IQ3_S MMQ em seu backend Vulkan.

A atualização inclui novos kernels IQ3_S MMQ matmul para Vulkan.
Block_a_to_shmem agora realiza carregamentos de 2 bytes para otimizar o acesso à memória.
As verificações de alinhamento foram ajustadas, pois IQ3_S utiliza o tamanho do tile K.
Os binários estão disponíveis para macOS, Linux, Windows, Android e openEuler nas plataformas CPU, CUDA, ROCm, OpenVINO, SYCL e OpenCL.

Este lançamento fornece binários atualizados para vários sistemas operacionais e aceleradores de hardware, permitindo que os usuários aproveitem o novo suporte à quantização Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11046 adiciona suporte para OpenCL ao kernel flash_attn_f32_f16_bin

O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b11044 atualiza hexagon im2col e lança binários

O projeto llama.cpp lançou a versão b11044, que inclui uma atualização no backend hexagon para melhorar as operações image-to-column (im2col). O lançamento fornece binários pré-compilados para macOS, Linux, Windows, Android e openEuler em CPU, GPU e outros aceleradores de hardware.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b11045 adiciona suporte à operação ROLL no backend Hexagon

O projeto llama.cpp lançou a versão b11045, que introduz suporte para a operação ROLL dentro do backend Hexagon.

github llama.cpp · há 1 d · 5 visualizações

llama.cpp b11026 ignora gate_up_exps para Qwen35MoE

O projeto llama.cpp lançou a compilação b11026, que introduz uma alteração para ignorar gate_up_exps quando o sinalizador TENSOR_SKIP está definido. Esta modificação é especificamente necessária para modelos Qwen35MoE onde os tensores MTP estão fundidos, mas não carregados.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b11019 corrige alinhamento de dados do GGUF para arquivos embutidos e adiciona carregamento de LoRA

O projeto llama.cpp lançou a versão b11019, corrigindo um bug crítico em que arquivos GGUF embutidos em deslocamentos não alinhados retornavam dados de tensor incorretos. A atualização alinha a seção de dados do GGUF em relação ao início do arquivo, em vez do deslocamento 0, garantindo o carregamento correto de modelos embutidos.