media r/LocalLLaMA · agora mesmo · open_models

Nokia Applied Research lança AnyJev para transformar qualquer LLM em um modelo de decisão estilo Jev

Traduzido do English → Português (BR)

A Nokia Applied Research lançou o AnyJev, um projeto que permite aos usuários extrair decisões confiáveis diretamente do estado interno de um LLM em uma única passagem direta.

O método não requer loop de geração, análise ou ajuste fino.
Ele converte efetivamente chatbots lentos em classificadores determinísticos rápidos e baratos.

Importância 2/3 Novo ambiente de avaliação com diferenciais r/LocalLLaMA Inference efficiency Research paper

Ler original

TokenProbe reduz o uso de tokens no CoT em 76% enquanto preserva a qualidade do raciocínio

Pesquisadores apresentam o TokenProbe, uma estrutura que aborda o alto consumo de tokens do raciocínio em cadeia (Chain-of-Thought) explorando o valor não uniforme dos tokens dentro de uma sequência. O método usa probabilidade logarítmica normalizada para distinguir tokens estruturais centrais de preenchimento redundante, permitindo compressão seletiva.

media Hugging Face Forums · há 16 d · 33 visualizações

GlucoEdge: previsão de tendência glicêmica em dispositivo com quantização INT8

O pesquisador independente Mohamed Menasy publicou o GlucoEdge, um estudo de engenharia que detalha um pipeline de aprendizado de máquina em dispositivo para previsão de tendência glicêmica de cinco classes e 15 minutos a partir de dados de monitor contínuo de glicose. O trabalho apresenta uma CNN 1D compacta com apenas 2.909 parâmetros e abrange o fluxo completo de trabalho, desde o PyTorch até a conversão para LiteRT.

media Hugging Face Forums · há 16 d · 48 visualizações

Revisão de literatura encontra que economias de compressão se correlacionam fracamente com a energia medida

Um pesquisador independente publicou uma revisão de literatura analisando se técnicas de compressão de modelos, como quantização, poda e destilação, realmente reduzem o consumo de energia medido ou apenas diminuem os FLOPs.

lab Hugging Face Blog · há 41 d · 62 visualizações

QAH da Multiverse Computing faz GPT-OSS em 4 bits superar sua versão original de precisão completa

A Multiverse Computing apresenta o Healing Consciente de Quantização (QAH), um método que destila grandes modelos de linguagem comprimidos e quantizados diretamente a partir de seus professores originais pré-compressão. Aplicado a um modelo GPT-OSS 120B comprimido para 60B parâmetros e quantizado para MXFP4, a abordagem produz um modelo que supera sua própria versão bfloat16 de precisão completa em 7 dos 9 benchmarks.

arxiv arXiv cs.CL · há 53 d · 49 visualizações

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.