lab NVIDIA Research · hace 1 h · research

jlorraine presenta herramientas de optimización anidada escalables para el aprendizaje profundo

Traducido del English → Español

El artículo introduce una tesis de jlorraine que aborda los desafíos de aplicar la optimización de dos niveles o anidada a configuraciones de aprendizaje profundo a gran escala. Mientras que la optimización basada en gradientes típicamente actualiza un solo conjunto de parámetros, muchas aplicaciones requieren actualizar subconjuntos de parámetros en diferentes objetivos anidados unos dentro de otros.

El trabajo se centra en ejemplos motivadores como la optimización de hiperparámetros y las redes generativas adversarias.
Destaca que aplicar ingenuamente métodos clásicos a menudo falla al resolver estos problemas anidados a gran escala.
La tesis construye herramientas específicas diseñadas para hacer la optimización anidada escalable en contextos de aprendizaje profundo.

Importancia 1/3 Confianza 3/3 NVIDIA Research Training methods

Leer original

Los LLM igualan o superan la optimización bayesiana para la optimización de hiperparámetros

Un nuevo artículo explora el uso de modelos de lenguaje grandes fundamentales (LLM) para automatizar la optimización de hiperparámetros (HPO), un proceso que normalmente depende de enfoques manuales en configuraciones con presupuesto limitado. Los autores desarrollaron una metodología donde los LLM sugieren configuraciones de hiperparámetros basadas en descripciones del conjunto de datos y del modelo, las cuales se refinan iterativamente según el rendimiento del modelo.

lab NVIDIA Research · hace 1 h · 27 vistas En vivo

Source introduce diferenciación desenrollada aproximada para la atribución de datos de entrenamiento

Los investigadores presentan Source, un nuevo método de atribución de datos de entrenamiento (TDA) que combina la eficiencia computacional de las funciones de influencia con la precisión de los enfoques basados en desenrollado. Al utilizar una fórmula similar a la función de influencia para aproximar la diferenciación desenrollada, Source aborda limitaciones en los métodos de diferenciación implícita, como su incapacidad para tener en cuenta el sesgo de optimización o los pipelines de múltiples etapas.

lab NVIDIA Research · hace 1 h En vivo

JacNet aprende funciones modelando directamente jacobianos estructurados

El artículo presenta JacNet, una arquitectura de red neuronal que aprende directamente el jacobiano de una función de entrada-salida en lugar del mapeo en sí. Este enfoque permite un control preciso sobre las propiedades de la derivada, permitiendo imponer priores estructurales como invertibilidad y continuidad k-Lipschitz.

arxiv arXiv cs.AI · hace 7 h

MiLMMT-46-v1.0 mejora la traducción multilingüe mediante postentrenamiento sin referencia

Los investigadores han desarrollado MiLMMT-46-v1.0, un modelo de traducción automática multilingüe que aplica postentrenamiento sin referencia a modelos de lenguaje grandes de código abierto. El equipo utiliza Optimización de Política Relativa por Grupos (GRPO) con una recompensa basada en dos modelos de estimación de calidad sin referencia, controlada por identificación de idioma.

arxiv arXiv cs.CL · hace 8 h

MiLMMT-46-v1.0 mejora la traducción multilingüe mediante postentrenamiento sin referencia

Los investigadores han lanzado MiLMMT-46-v1.0, un modelo de lenguaje grande de código abierto para traducción automática multilingüe que utiliza postentrenamiento sin referencia. Partiendo del MiLMMT-46-v0.1 ajustado por supervisión, el equipo aplicó la Optimización de Política Relativa por Grupos (GRPO) con una recompensa basada en dos modelos de estimación de calidad sin referencia controlados por identificación de idioma.