media Hugging Face Forums · hace 2 d · open_models

MB-Bidram comparte la arquitectura experimental WideNDepth que separa el razonamiento del conocimiento

Traducido del English → Español

MB-Bidram ha lanzado una arquitectura neuronal experimental llamada WideNDepth (WND) diseñada para separar las capacidades de razonamiento del almacenamiento de conocimientos. El modelo consta de una "parte ancha" que funciona como memoria y una "parte profunda" que actúa como el razonador.

WND es una arquitectura experimental donde diferentes partes se centran en tareas distintas: ancho para la memoria y profundidad para el razonamiento.
WiND, un marco mínimo de PyTorch para construir modelos WideNDepth, también se ha abierto junto con la arquitectura.
El proyecto se presenta como un trabajo en progreso con margen de mejora, no como una solución terminada.

El autor invita a la comunidad a explorar, experimentar y potencialmente mejorar la biblioteca y la arquitectura.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Research paper Training methods

Leer original

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar el razonamiento diagnóstico y clínico en atención médica. El marco de entrenamiento primero aplica RL guiado por reglas a preguntas derivadas de MedBullets para el diagnóstico, luego utiliza 5.3k escenarios sintéticos multi-turno con rúbricas multidimensionales para tareas clínicas interactivas.

arxiv arXiv cs.AI · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en atención médica. El marco de entrenamiento primero se centra en la precisión diagnóstica utilizando preguntas derivadas de MedBullets y luego aborda interacciones clínicas multironda a través de 5.3k escenarios generados con rúbricas multidimensionales.

arxiv arXiv cs.CL · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

media Hugging Face Forums · hace 3 d · 18 vistas

Propuesta: Transferencia progresiva de conocimiento de Qwen 9B a 27B para un modelo fijo de 4B

Un usuario en los foros de Hugging Face propone un experimento de transferencia progresiva de conocimiento, donde un modelo estudiante de tamaño fijo (Qwen 4B) aprende secuencialmente de maestros cada vez más grandes en lugar de hacerlo directamente desde el más grande disponible.

arxiv arXiv cs.LG · hace 7 d · 20 vistas

OpenAI lanza Open-1B con un entrenamiento completamente auditable

OpenAI ha lanzado Open-1B, un modelo de lenguaje entrenado bajo un régimen donde cada operación durante el entrenamiento es reproducible de forma independiente en hardware comercial heterogéneo con certeza a nivel de bits. Este enfoque aborda los problemas de reproducibilidad inherentes a los modelos de código abierto al imponer un orden definido sobre las fuentes de no determinismo, como las reducciones de kernels de GPU y el ordenamiento de lotes de datos.