media Hugging Face Forums · há 3 d · open_models

GlucoEdge: previsão de tendência glicêmica em dispositivo com quantização INT8

Traduzido do English → Português (BR)

O pesquisador independente Mohamed Menasy publicou o GlucoEdge, um estudo de engenharia que detalha um pipeline de aprendizado de máquina em dispositivo para previsão de tendência glicêmica de cinco classes e 15 minutos a partir de dados de monitor contínuo de glicose. O trabalho apresenta uma CNN 1D compacta com apenas 2.909 parâmetros e abrange o fluxo completo de trabalho, desde o PyTorch até a conversão para LiteRT.

A quantização pós-treinamento estática INT8 reduziu o tamanho do artefato do modelo em aproximadamente 31%.
A quantização fez com que a macro recall caísse de 0,5060 para 0,4135, com desempenho caindo em todas as quatro classes direcionais.
O estudo analisa o tamanho de implantação junto com o impacto da quantização no comportamento das classes minoritárias, incluindo cobertura dos dados de calibração e clippagem do intervalo de entrada.
A inferência offline foi testada em um dispositivo Android físico, com código e materiais de reprodutibilidade disponíveis no GitHub.

O autor nota explicitamente limitações, como janelas de séries temporais sobrepostas e risco de vazamento de contexto-prefixo, esclarecendo que este é um protótipo de pesquisa e não um sistema médico.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Research paper

Artigos relacionados

media Hugging Face Forums · há 4 d · 32 visualizações

Revisão de literatura encontra que economias de compressão se correlacionam fracamente com a energia medida

Um pesquisador independente publicou uma revisão de literatura analisando se técnicas de compressão de modelos, como quantização, poda e destilação, realmente reduzem o consumo de energia medido ou apenas diminuem os FLOPs.

lab Hugging Face Blog · há 29 d · 39 visualizações

QAH da Multiverse Computing faz GPT-OSS em 4 bits superar sua versão original de precisão completa

A Multiverse Computing apresenta o Healing Consciente de Quantização (QAH), um método que destila grandes modelos de linguagem comprimidos e quantizados diretamente a partir de seus professores originais pré-compressão. Aplicado a um modelo GPT-OSS 120B comprimido para 60B parâmetros e quantizado para MXFP4, a abordagem produz um modelo que supera sua própria versão bfloat16 de precisão completa em 7 dos 9 benchmarks.

arxiv arXiv cs.CL · há 40 d · 31 visualizações

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.

lab NVIDIA Research · há 43 d · 47 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

media Hugging Face Forums · há 50 d · 29 visualizações

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.