github llama.cpp · agora mesmo · inference

llama.cpp b10587 adiciona PAD_REFLECT_1D ao backend Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10587, que introduz a operação GGML_OP_PAD_REFLECT_1D no backend Vulkan. Esta atualização implementa o shader de computação GLSL necessário e o registra para compilação SPIR-V dentro do módulo ggml-vulkan.

Implementada a lógica PAD_REFLECT_1D em pad_reflect_1d.comp e atualizado vulkan-shaders-gen.cpp para registro.
Atualizado ggml-vulkan.cpp para lidar com constantes, criação de pipelines, funções de despacho e validação de depuração para a nova operação.
Validada a correção no Intel Iris Xe com Vulkan 1.4 e Mesa 25.2.8, passando em todos os casos de teste.
Fornecidos benchmarks de desempenho mostrando tempos de execução variando de 5.38 us/run a 158.31 us/run em várias formas de tensores.

Esta versão habilita o uso de padding de reflexão em tarefas de inferência aceleradas por Vulkan e fornece binários para as plataformas macOS, Linux, Windows, Android e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor

O projeto llama.cpp lançou a compilação b10584, abordando um problema crítico onde o tamanho do contexto de rascunho não correspondia ao contexto alvo, fazendo com que as solicitações do servidor falhassem com erros 500.

media Hugging Face Forums · há 8 h · 1 visualização

Xyntetik Runner treina LoRA diretamente por meio de pesos GGUF quantizados

Joakimpalm-Zen atualizou o Xyntetik Runner para treinar adaptadores LoRA diretamente usando os mesmos pesos GGUF quantizados que ele serve para inferência, eliminando a necessidade de uma cópia separada em FP16 para treinamento ou do tempo de execução.

github llama.cpp · há 10 h · 1 visualização

llama.cpp b10581 adiciona suporte DSpark para bailinmoe3

O projeto llama.cpp lançou a compilação b10581, que introduz suporte para o backend DSpark para habilitar o modelo bailinmoe3.

github llama.cpp · há 12 h · 1 visualização

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.

github llama.cpp · há 13 h · 1 visualização

llama.cpp b10576 adiciona kernels MMVQ reordenados Q2_K e ESIMD para SYCL

O projeto llama.cpp lançou a compilação b10576, que readiciona os kernels MMVQ reordenados Q2_K e ESIMD para suporte a SYCL. Esta alteração reverte efetivamente um commit anterior que havia removido essas implementações específicas de kernels.