github vLLM · há 15 h · inference

vLLM v0.27.1 adiciona suporte para cabeças DSpark Markov quantizadas

Traduzido do English → Português (BR)

O vLLM lançou a versão 0.27.1, uma atualização de correção construída sobre o lançamento anterior v0.27.0.

A atualização introduz suporte para cabeças DSpark Markov quantizadas.

Importância 1/3 Confiança 2/3 vLLM Inference efficiency

llama.cpp b10361 corrige SWA para EXAONE 4.5 e ignora TENSOR_SKIP no caminho de metadados

O lançamento do llama.cpp b10361 aborda um bug crítico em que a Atenção de Janela Deslizante (SWA) não estava habilitada para o modelo LGAI-EXAONE 4.5 devido à ordem incorreta dos parâmetros durante o carregamento.

lab Hugging Face Blog · há 12 h

ALTK-Evolve alcança precisão igual ou superior à do ACE com uma fração do custo de inferência

O ALTK-Evolve, um sistema de memória agêntica que converte trajetórias de agentes em diretrizes reutilizáveis sem atualizações de pesos, iguala ou supera a precisão do ACE enquanto utiliza significativamente menos tokens. Diferente do ACE, que injeta um manual abrangente em cada etapa, o ALTK-Evolve usa recuperação seletiva para entregar apenas as diretrizes relevantes com base na capacidade do modelo.

lab NVIDIA Research · há 15 h · 10 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

media MarkTechPost · há 17 h · 1 visualização

webAI lança TwIL-LM, uma família de modelos de lógica formal de 1.7B e 3B para autoformalização local

A webAI lançou o TwIL-LM, uma família de dois modelos de raciocínio em lógica formal com 1.7B e 3B de parâmetros, projetada para autoformalização em hardware local. Os modelos traduzem inglês para lógica de primeira ordem e verificam a validade das conclusões, com a variante de 3B alcançando uma pontuação macro gate de 0.4218 em tarefas de lógica formal dentro do domínio.

media AI News (smol.ai) · há 17 h

Meta lança modelo de pesos abertos Muse Glimmer 30B; Anthropic melhora limite de Riemann

A Meta lançou o Muse Glimmer, um modelo multimodal denso de 30B otimizado para implantação local de agentes sob a licença Apache 2.0, enquanto também prometeu futuros pesos para o Muse Spark 1.2.