github llama.cpp · há 17 h · inference

llama.cpp b11310 protege o kernel de desquantização iq4_nl contra linhas curtas

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11310, que inclui uma correção para a lógica de desquantização IQ4_NL do backend CUDA. A atualização aborda um problema de segurança de memória onde as threads podiam ler e escrever além do final de uma linha ao processar blocos mais curtos que QK_K.

Protege o kernel de desquantização de linhas iq4_nl contra linhas curtas, pulando sub-blocos que começam no comprimento da linha ou além dele.
Fornece binários pré-compilados para macOS (Apple Silicon e Intel), Linux, Windows, Android e openEuler através dos backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL e Snapdragon.

Esta correção previne acesso à memória fora dos limites potencial durante a inferência com modelos quantizados IQ4_NL em dispositivos CUDA.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Proposta para recuperar memória latente nativa de LLM em vez de texto no RAG

Uma discussão no Hugging Face propõe substituir a recuperação tradicional de texto em sistemas RAG por representações latentes nativas de LLM. A ideia envolve codificar documentos nos estados internos do modelo durante a indexação e recuperar esses estados para inferência, potencialmente contornando o custo de reprocessar o texto recuperado.

github llama.cpp · há 17 h · 4 visualizações

llama.cpp b11309 otimiza ALLREDUCE do Hexagon com modo scatter seguro

O projeto llama.cpp lançou a versão b11309, que inclui uma otimização chave para o backend do Hexagon. Esta atualização adiciona suporte ao modo scatter seguro à operação ALLREDUCE, visando melhorar o desempenho e a estabilidade em dispositivos Qualcomm Snapdragon.

github llama.cpp · há 20 h · 1 visualização

llama.cpp b11307 preserva a ordem do lote para decodificação especulativa

O projeto llama.cpp lançou a compilação b11307, que corrige a ordem de entrada das camadas para preservar a sequência original do lote durante a decodificação especulativa. Esta alteração garante que a ordem dos tokens seja mantida corretamente para os embeddings NextN não mascarados e seja compatível com divisões de tensores.

github llama.cpp · há 21 h · 7 visualizações

llama.cpp b11306 corrige aborto de realocação do gráfico ao alternar causal_attn

O projeto llama.cpp lançou a compilação b11306, que resolve uma falha causada por mudanças na forma do gráfico durante a decodificação. A atualização modifica o tratamento da flag `causal_attn` para evitar falhas de realocação sob restrições específicas de agendamento.

github llama.cpp · há 22 h · 1 visualização

llama.cpp b11301 corrige estouro inteiro em ggml/gguf

O projeto llama.cpp lançou a compilação b11301, que inclui uma correção para um problema de estouro inteiro nos componentes ggml e gguf. Esta atualização aborda a lógica de validação para prevenir erros potenciais ao lidar com tensores de zero elementos.