github llama.cpp · há 1 d · inference

llama.cpp b10355 adiciona amostragem de backend com saída múltipla e especulação de tokens

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10355, introduzindo suporte para amostragem de backend com saída múltipla. Esta atualização permite combinar a amostragem de backend com a especulação de tokens e adiciona um parâmetro de contexto numérico para declarar o máximo de saídas por sequência.

Habilitar a amostragem de backend com especulação de tokens
Limitar a soma da máscara antes de convertê-la no índice amostrado
Adicionar um parâmetro de contexto numérico declarando as saídas máximas por uma sequência
Corrigir incompatibilidades entre a amostragem de CPU e do backend, e igualar a distribuição (dist) entre CPU e GPU
Simplificar as alterações e corrigir os testes no Vulkan

O lançamento fornece binários para macOS, iOS, Linux, Android, Windows e openEuler através de vários backends de hardware incluindo CPU, CUDA, ROCm, OpenVINO, SYCL, HIP e Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10361 corrige SWA para EXAONE 4.5 e ignora TENSOR_SKIP no caminho de metadados

O lançamento do llama.cpp b10361 aborda um bug crítico em que a Atenção de Janela Deslizante (SWA) não estava habilitada para o modelo LGAI-EXAONE 4.5 devido à ordem incorreta dos parâmetros durante o carregamento.

lab Hugging Face Blog · há 11 h

ALTK-Evolve alcança precisão igual ou superior à do ACE com uma fração do custo de inferência

O ALTK-Evolve, um sistema de memória agêntica que converte trajetórias de agentes em diretrizes reutilizáveis sem atualizações de pesos, iguala ou supera a precisão do ACE enquanto utiliza significativamente menos tokens. Diferente do ACE, que injeta um manual abrangente em cada etapa, o ALTK-Evolve usa recuperação seletiva para entregar apenas as diretrizes relevantes com base na capacidade do modelo.

github vLLM · há 14 h

vLLM v0.27.1 adiciona suporte para cabeças DSpark Markov quantizadas

O vLLM lançou a versão 0.27.1, uma atualização de correção construída sobre o lançamento anterior v0.27.0.

lab NVIDIA Research · há 15 h · 10 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

media MarkTechPost · há 16 h · 1 visualização

webAI lança TwIL-LM, uma família de modelos de lógica formal de 1.7B e 3B para autoformalização local

A webAI lançou o TwIL-LM, uma família de dois modelos de raciocínio em lógica formal com 1.7B e 3B de parâmetros, projetada para autoformalização em hardware local. Os modelos traduzem inglês para lógica de primeira ordem e verificam a validade das conclusões, com a variante de 3B alcançando uma pontuação macro gate de 0.4218 em tarefas de lógica formal dentro do domínio.