lab NVIDIA Research · há 15 h · research

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Traduzido do English → Português (BR)

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

DSTP é um complemento sem treinamento que corrige o RVIS durante a fase de decodificação.
Ele reduz significativamente a degradação de desempenho dos métodos de poda em tarefas de raciocínio complexo.
O método produz ganhos de desempenho consistentes em benchmarks de compreensão visual.
DSTP demonstra generalização e eficiência com sobrecarga computacional mínima em diversas arquiteturas de última geração.

Esta abordagem permite que técnicas de poda existentes mantenham a confiabilidade ao lidar com o vasto número de tokens visuais necessários para o raciocínio visual complexo.

Importância 1/3 Confiança 3/3 NVIDIA Research Inference efficiency Research paper

Artigos relacionados

media Hugging Face Forums · há 7 d · 1 visualização

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.

media Hugging Face Forums · há 13 d · 5 visualizações

Jason Van Pham documenta degeneração gulosa multi-turno do Gemma 4 sob restrições em nível de letra

Jason Van Pham e o co-engenheiro Grok (xAI) publicaram um relatório de diagnóstico detalhando um modo de falha multi-turno quase padrão no harness Hydrodynamic Swarm ao usar um caminho instrucional personalizado do Gemma 4. O estudo identifica que combinar decodificação gulosa com orçamentos longos de tokens e restrições em nível de letra desencadeia degeneração clássica de texto, incluindo repetição e lixo ortográfico.

arxiv arXiv cs.CL · há 15 d · 2 visualizações

PIVOT compartilha varreduras de prefixo entre grupos de consulta para acelerar a atenção esparsa em nível de token

O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

arxiv arXiv cs.CL · há 26 d · 3 visualizações

ShortOPD recupera LLMs podados com distilação on-policy de curto para longo

Os autores propõem o ShortOPD, um cronograma de distilação on-policy de curto para longo projetado para recuperar as capacidades generativas de modelos de linguagem grandes (LLMs) podados estruturalmente que colapsam durante a geração livre-forma. Ao detectar sufixos repetitivos confirmados pelo professor e tratar o prefixo sobrevivente como o comprimento efetivo do rollout, o método aloca o orçamento de treinamento de forma mais eficiente do que as abordagens padrão.

arxiv arXiv cs.CL · há 27 d · 1 visualização

Filtragem adaptativa corrige viés de papel estrutural na evicção do cache KV de LLMs

O artigo diagnostica como métodos de evicção de cache KV baseados em atenção, como H2O, retêm desproporcionalmente ruído em entradas densas em esquema, como JSON aninhado, onde tokens estruturais carregam significativamente mais energia do que tokens de conteúdo. Esse viés faz com que a precisão de correspondência exata caia de 88% para 0% com um orçamento de 5% devido à retenção excessiva de tokens KEY em relação aos tokens VALUE.