media Hugging Face Forums · há 2 h · open_models

Jason Van Pham documenta degeneração gulosa multi-turno do Gemma 4 sob restrições em nível de letra

Traduzido do English → Português (BR)

Jason Van Pham e o co-engenheiro Grok (xAI) publicaram um relatório de diagnóstico detalhando um modo de falha multi-turno quase padrão no harness Hydrodynamic Swarm ao usar um caminho instrucional personalizado do Gemma 4. O estudo identifica que combinar decodificação gulosa com orçamentos longos de tokens e restrições em nível de letra desencadeia degeneração clássica de texto, incluindo repetição e lixo ortográfico.

A configuração usou decodificação gulosa (temperatura = 0) com um limite de max_tokens de 300 e direção de física residual desativada (force_cap = 0).
A saída inicial em inglês fluente colapsou em loops repetitivos e detritos de scripts mistos após o modelo tentar satisfazer a restrição em nível de letra.
Uma rodada subsequente de meta-diagnóstico produziu um autorrelato plausível antes de reentrar no mesmo estado atrator degenerativo.
Os autores atribuem a falha à combinação de histórico multi-turno, decodificação gulosa e restrições rígidas, em vez de erros de carregamento de pesos ou interferência da física residual.

Este relatório serve como um artefato de diagnóstico voltado ao público para destacar como saídas imperfeitas e desafios de engenharia em carregadores personalizados devem ser documentados junto com demonstrações bem-sucedidas.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Research paper

Artigos relacionados

arxiv arXiv cs.CL · há 2 d

PIVOT compartilha varreduras de prefixo entre grupos de consulta para acelerar a atenção esparsa em nível de token

O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

arxiv arXiv cs.CL · há 13 d

ShortOPD recupera LLMs podados com distilação on-policy de curto para longo

Os autores propõem o ShortOPD, um cronograma de distilação on-policy de curto para longo projetado para recuperar as capacidades generativas de modelos de linguagem grandes (LLMs) podados estruturalmente que colapsam durante a geração livre-forma. Ao detectar sufixos repetitivos confirmados pelo professor e tratar o prefixo sobrevivente como o comprimento efetivo do rollout, o método aloca o orçamento de treinamento de forma mais eficiente do que as abordagens padrão.

arxiv arXiv cs.CL · há 13 d

Filtragem adaptativa corrige viés de papel estrutural na evicção do cache KV de LLMs

O artigo diagnostica como métodos de evicção de cache KV baseados em atenção, como H2O, retêm desproporcionalmente ruído em entradas densas em esquema, como JSON aninhado, onde tokens estruturais carregam significativamente mais energia do que tokens de conteúdo. Esse viés faz com que a precisão de correspondência exata caia de 88% para 0% com um orçamento de 5% devido à retenção excessiva de tokens KEY em relação aos tokens VALUE.

media r/LocalLLaMA · há 14 d

Pesquisador independente lança Wave Field LLM, substituindo atenção de produto interno por convolução de onda via FFT

Um pesquisador independente apresentou o Wave Field LLM, uma nova arquitetura de modelo base de preenchimento que substitui a atenção padrão de produto interno O(N²) pela convolução de onda via FFT. Essa abordagem permite velocidade e uso de memória constantes durante a inferência, independentemente do comprimento do contexto, permitindo janelas de contexto de 128K onde a atenção padrão normalmente esgota a memória.

arxiv arXiv cs.CL · há 14 d · 2 visualizações

JoLT alcança compressão de cache KV quase sem perdas via decomposição de Tucker conjunta e alocação de resíduos JL

Pesquisadores introduzem o JoLT, um método para comprimir o cache chave-valor (KV) na inferência de transformers ao tratá-lo como um tensor de terceira ordem. A abordagem aplica decomposição de Tucker parcial aos eixos de tokens e características, enquanto utiliza resíduos rotados de baixo bit de Johnson-Lindenstrauss para restaurar a energia perdida durante a truncagem.