arxiv arXiv cs.CL · há 1 h · fonte: há 1 d · research

AdaSpark usa aprendizado online para acelerar a verificação de árvores e o preenchimento de n-gramas

Traduzido do English → Português (BR)

O AdaSpark é um agendador para criadores de blocos como o DSpark que aprende larguras de verificação e probabilidades de aceitação durante o serviço, sem necessidade de perfilação ou calibração prévias. Ele ajusta o tempo de verificação em função do contexto e da aceitação dos candidatos aos resultados do alvo, permitindo que candidatos derivados do rascunho e do texto compitam em uma única ordem best-first.

Em seis conjuntos de dados públicos com três alvos densos e um alvo misto de especialistas, o AdaSpark decodifica 1,5 a 3,1 vezes mais rápido que o DSpark do llama.cpp usando os mesmos criadores de rascunho.
O motor imparo com AdaSpark é 1,17 a 1,52 vezes mais rápido que a execução com uma cadeia padrão de três tokens, ganho atribuído exclusivamente ao agendador.
Sem varreduras de largura, o desempenho permanece dentro de 0,3% da melhor largura de árvore fixa em alvos densos e empatar a melhor largura fixa em modelos mistos de especialistas.

Essa abordagem elimina a necessidade de calibração offline ou varreduras, ao mesmo tempo que proporciona acelerações significativas em relação aos métodos padrão de agendamento.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.CL Inference efficiency Research paper

Artigos relacionados

media r/LocalLLaMA · há 11 h · 1 visualização

Nokia Applied Research lança AnyJev para transformar qualquer LLM em um modelo de decisão estilo Jev

A Nokia Applied Research lançou o AnyJev, um projeto que permite aos usuários extrair decisões confiáveis diretamente do estado interno de um LLM em uma única passagem direta.

arxiv arXiv cs.AI · há 7 d · 29 visualizações

TokenProbe reduz o uso de tokens no CoT em 76% enquanto preserva a qualidade do raciocínio

Pesquisadores apresentam o TokenProbe, uma estrutura que aborda o alto consumo de tokens do raciocínio em cadeia (Chain-of-Thought) explorando o valor não uniforme dos tokens dentro de uma sequência. O método usa probabilidade logarítmica normalizada para distinguir tokens estruturais centrais de preenchimento redundante, permitindo compressão seletiva.

media Hugging Face Forums · há 16 d · 33 visualizações

GlucoEdge: previsão de tendência glicêmica em dispositivo com quantização INT8

O pesquisador independente Mohamed Menasy publicou o GlucoEdge, um estudo de engenharia que detalha um pipeline de aprendizado de máquina em dispositivo para previsão de tendência glicêmica de cinco classes e 15 minutos a partir de dados de monitor contínuo de glicose. O trabalho apresenta uma CNN 1D compacta com apenas 2.909 parâmetros e abrange o fluxo completo de trabalho, desde o PyTorch até a conversão para LiteRT.

media Hugging Face Forums · há 17 d · 48 visualizações

Revisão de literatura encontra que economias de compressão se correlacionam fracamente com a energia medida

Um pesquisador independente publicou uma revisão de literatura analisando se técnicas de compressão de modelos, como quantização, poda e destilação, realmente reduzem o consumo de energia medido ou apenas diminuem os FLOPs.

lab Hugging Face Blog · há 42 d · 63 visualizações

QAH da Multiverse Computing faz GPT-OSS em 4 bits superar sua versão original de precisão completa

A Multiverse Computing apresenta o Healing Consciente de Quantização (QAH), um método que destila grandes modelos de linguagem comprimidos e quantizados diretamente a partir de seus professores originais pré-compressão. Aplicado a um modelo GPT-OSS 120B comprimido para 60B parâmetros e quantizado para MXFP4, a abordagem produz um modelo que supera sua própria versão bfloat16 de precisão completa em 7 dos 9 benchmarks.