lab Microsoft Research Blog · ahora mismo · research

Microsoft lanza GigaPath-Flash y GigaTIME-Flash para modelos base de patología eficientes

Traducido del English → Español

Microsoft Research ha lanzado GigaPath-Flash y GigaTIME-Flash, variantes eficientes de sus modelos base de patología diseñadas para permitir el descubrimiento a escala poblacional al reducir drásticamente los requisitos computacionales.

GigaPath-Flash utiliza un codificador de teselas ViT-S con 22M de parámetros destilado y un codificador de diapositivas LongNet con 21M de parámetros, logrando un rendimiento competitivo dentro del 3% del GigaPath original con aproximadamente 50 veces menos potencia de cálculo.
GigaTIME-Flash reemplaza la columna vertebral CNN original por el codificador ViT-S de GigaPath-Flash para predecir proteómica espacial a partir de imágenes H&E, igualando o mejorando la calidad del modelo original en cohortes fuera de distribución.
Los modelos de la familia Flash se publican bajo la licencia Apache 2.0 y admiten análisis repetidos en cohortes de pacientes más grandes para investigar la biología de las enfermedades y los biomarcadores.

Estos modelos abiertos permiten a los investigadores analizar cohortes más grandes y ejecutar más experimentos de manera asequible, acercando la patología computacional al descubrimiento práctico a escala poblacional.

Importancia 2/3 Confianza 3/3 Microsoft Research Blog Microsoft Research Inference efficiency Open weights

Artículos relacionados

media r/LocalLLaMA · hace 6 d · 2 vistas

Quantization-Aware Healing: un modelo comprimido de 4 bits que supera a su original de precisión completa

El artículo presenta Quantization-Aware Healing, un método para crear un modelo comprimido de 4 bits que logra un rendimiento superior al de su original de precisión completa.

media r/LocalLLaMA · hace 7 d · 7 vistas

Facebook lanza MobileMoE, una familia de modelos de lenguaje MoE para dispositivos móviles

Meta ha lanzado MobileMoE, una colección de modelos de lenguaje Mixture-of-Experts (MoE) para dispositivos móviles diseñados para optimizar el equilibrio entre calidad y eficiencia en dispositivos móviles. La familia incluye tres escalas de modelos con parámetros activos submilesmillonarios y huellas de peso inferiores a 3 GB en formato INT4.

arxiv arXiv cs.LG · hace 8 d · 15 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), una canalización que destila estudiantes de 4 bits directamente desde modelos sin comprimir para recuperar el rendimiento perdido durante la compresión estructural y cuantización. Aplicado a GPT-OSS 120B, este método produce Hypernova-60B, que iguala o supera al bfloat16 fuente en 7 de 9 benchmarks mientras usa aproximadamente 4 veces menos memoria de peso.

arxiv arXiv cs.CL · hace 8 d · 15 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), un método para recuperar capacidades de razonamiento y codificación en modelos de lenguaje grandes de 4 bits estructuralmente comprimidos. A diferencia del entrenamiento consciente de la cuantización estándar que re-ajusta el modelo comprimido, QAH destila al estudiante de 4 bits directamente desde el modelo original sin comprimir.

media Hugging Face Forums · hace 9 d · 6 vistas

Xyntetik Runner entrena LoRA directamente con pesos GGUF cuantizados

Joakimpalm-Zen ha actualizado Xyntetik Runner para entrenar adaptadores LoRA directamente utilizando los mismos pesos GGUF cuantizados que sirve para inferencia, eliminando la necesidad de una copia de entrenamiento FP16 separada o un tiempo de ejecución adicional.