github llama.cpp · há 1 h · inference

llama.cpp b10216 adiciona suporte a pooling 1D ao backend Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10216, que introduz suporte completo para GGML_OP_POOL_1D no backend Vulkan. Esta atualização inclui um novo shader de computação que espelha a implementação existente de pool2d e corrige uma falha que ocorria quando as dimensões do tensor resultavam em limites finais negativos.

Adicionado vk_op_pool1d_push_constants struct e campo pipeline_pool1d_f32 para operações de pooling 1D.
Implementado shader pool1d.compute para lidar com a lógica de pooling 1D no Vulkan.
Corrigida a lógica do shader registrando pool1d_f32 e corrigindo os índices das dimensões do tensor e a escala do pooling médio.
Resolvido um problema de falha de limite quando k0 < p0 e expandida a cobertura de testes para a correção.

Este lançamento permite que os usuários utilizem camadas de pooling 1D em modelos acelerados por Vulkan, com binários disponíveis para macOS, Linux, Windows, Android e openEuler em CPU, CUDA, ROCm e outros backends.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10215 adiciona verificação de versão do driver de GPU Intel no Windows para corrigir travamentos

O projeto llama.cpp lançou a compilação b10215, que introduz uma verificação de versão do driver para GPUs Intel no Windows para mitigar problemas de travamento. Esta alteração aborda a instabilidade causada por versões específicas do driver, corrigindo especificamente os travamentos a partir da versão 32.0.101.8860.

github llama.cpp · há 4 h

llama.cpp b10213 adiciona suporte para quantização de cache kv rotacionado

O projeto llama.cpp lançou a versão b10213, introduzindo suporte para quantização de cache de chave-valor rotacionado. Esta atualização está disponível em uma ampla gama de plataformas e aceleradores de hardware.

media r/LocalLLaMA · há 4 h

Testes iniciais do DeepSeek v4 Flash mostram melhorias significativas nas capacidades de design de UI/UX

Os testes iniciais do modelo DeepSeek v4 Flash indicam melhorias notáveis em suas habilidades de design de interface do usuário e experiência do usuário. Apesar dessas melhorias, observa-se que o modelo é faminto por tokens.

github llama.cpp · há 5 h

llama.cpp b10212 carrega tensores MTP apenas quando usados

O projeto llama.cpp lançou a versão b10212, que inclui uma alteração para carregar os tensores de Multi-Token Prediction (MTP) apenas se forem realmente utilizados. Esta atualização garante que os tensores MTP sejam ignorados durante o carregamento nos modelos restantes que suportam o recurso, mas não o exigem.

github llama.cpp · há 5 h

llama.cpp b10210 corrige tokens aceitos durante a repetição de tokens rascunho

O projeto llama.cpp lançou a versão b10210, que inclui uma correção na lógica do servidor para lidar com tokens aceitos quando a repetição de tokens rascunho é necessária.