lab Microsoft Research Blog · agora mesmo · research

Microsoft lança GigaPath-Flash e GigaTIME-Flash para modelos de fundação de patologia eficientes

Traduzido do English → Português (BR)

A Microsoft Research lançou o GigaPath-Flash e o GigaTIME-Flash, variantes eficientes de seus modelos de fundação de patologia projetados para permitir descobertas em escala populacional ao reduzir drasticamente os requisitos computacionais.

O GigaPath-Flash utiliza um codificador de tiles ViT-S com 22M de parâmetros destilado e um codificador de slides LongNet com 21M de parâmetros, alcançando desempenho competitivo dentro de 3% do GigaPath original com cerca de 50 vezes menos computação.
O GigaTIME-Flash substitui o backbone CNN original pelo codificador ViT-S do GigaPath-Flash para prever proteômica espacial a partir de imagens H&E, igualando ou melhorando a qualidade do modelo original em coortes fora da distribuição.
Os modelos da família Flash são lançados sob a licença Apache 2.0 e suportam análises repetidas em coortes maiores de pacientes para investigar biologia de doenças e biomarcadores.

Esses modelos abertos permitem que pesquisadores analisem coortes maiores e realizem mais experimentos de forma acessível, levando a patologia computacional em direção à descoberta prática em escala populacional.

Importância 2/3 Confiança 3/3 Microsoft Research Blog Microsoft Research Inference efficiency Open weights

Artigos relacionados

media r/LocalLLaMA · há 6 d · 2 visualizações

Quantization-Aware Healing: um modelo comprimido de 4 bits que supera seu original de precisão completa

O artigo apresenta o Quantization-Aware Healing, um método para criar um modelo comprimido de 4 bits que alcança desempenho superior ao do seu original de precisão completa.

media r/LocalLLaMA · há 7 d · 7 visualizações

Facebook lança MobileMoE, uma família de modelos de linguagem MoE para dispositivos móveis

A Meta lançou o MobileMoE, uma coleção de modelos de linguagem Mixture-of-Experts (MoE) para dispositivos móveis projetados para otimizar a relação entre qualidade e eficiência em dispositivos móveis. A família inclui três escalas de modelos com parâmetros ativos submilesbilionários e pegadas de peso abaixo de 3 GB no formato INT4.

arxiv arXiv cs.LG · há 8 d · 15 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 8 d · 15 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.

media Hugging Face Forums · há 9 d · 6 visualizações

Xyntetik Runner treina LoRA diretamente por meio de pesos GGUF quantizados

Joakimpalm-Zen atualizou o Xyntetik Runner para treinar adaptadores LoRA diretamente usando os mesmos pesos GGUF quantizados que ele serve para inferência, eliminando a necessidade de uma cópia separada em FP16 para treinamento ou do tempo de execução.