github llama.cpp · há 7 h · inference

llama.cpp b10361 corrige SWA para EXAONE 4.5 e ignora TENSOR_SKIP no caminho de metadados

Traduzido do English → Português (BR)

O lançamento do llama.cpp b10361 aborda um bug crítico em que a Atenção de Janela Deslizante (SWA) não estava habilitada para o modelo LGAI-EXAONE 4.5 devido à ordem incorreta dos parâmetros durante o carregamento.

O carregador do modelo agora lida corretamente com arquivos GGUF EXAONE 4.5 corrigindo a ordem em que `hparams.n_layer()` e `LLM_KV_NEXTN_PREDICT_LAYERS` são lidos, garantindo que o SWA seja ativado adequadamente.
O caminho apenas de metadados para a construção de modelos agora ignora tensores marcados com `TENSOR_SKIP`, impedindo falhas de asserção causadas por tipos de buffer nulos em arquiteturas que usam camadas nextn/MTP.
Testes foram adicionados para cobrir a ordem dos hparams do EXAONE 4, verificando que a correção define corretamente `swa_type` como STANDARD em vez de NONE.

Esta atualização garante que os lançamentos oficiais GGUF LGAI-EXAONE funcionem corretamente com atenção de janela deslizante e permita que modelos com camadas nextn/MTP sejam construídos via o caminho apenas de metadados.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

lab Hugging Face Blog · há 11 h

ALTK-Evolve alcança precisão igual ou superior à do ACE com uma fração do custo de inferência

O ALTK-Evolve, um sistema de memória agêntica que converte trajetórias de agentes em diretrizes reutilizáveis sem atualizações de pesos, iguala ou supera a precisão do ACE enquanto utiliza significativamente menos tokens. Diferente do ACE, que injeta um manual abrangente em cada etapa, o ALTK-Evolve usa recuperação seletiva para entregar apenas as diretrizes relevantes com base na capacidade do modelo.

github vLLM · há 14 h

vLLM v0.27.1 adiciona suporte para cabeças DSpark Markov quantizadas

O vLLM lançou a versão 0.27.1, uma atualização de correção construída sobre o lançamento anterior v0.27.0.

lab NVIDIA Research · há 15 h · 10 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

media MarkTechPost · há 16 h · 1 visualização

webAI lança TwIL-LM, uma família de modelos de lógica formal de 1.7B e 3B para autoformalização local

A webAI lançou o TwIL-LM, uma família de dois modelos de raciocínio em lógica formal com 1.7B e 3B de parâmetros, projetada para autoformalização em hardware local. Os modelos traduzem inglês para lógica de primeira ordem e verificam a validade das conclusões, com a variante de 3B alcançando uma pontuação macro gate de 0.4218 em tarefas de lógica formal dentro do domínio.

media AI News (smol.ai) · há 17 h

Meta lança modelo de pesos abertos Muse Glimmer 30B; Anthropic melhora limite de Riemann

A Meta lançou o Muse Glimmer, um modelo multimodal denso de 30B otimizado para implantação local de agentes sob a licença Apache 2.0, enquanto também prometeu futuros pesos para o Muse Spark 1.2.