media Hugging Face Forums · hace 1 h · open_models

metrictrust detecta cuándo las métricas de validación no son confiables durante el entrenamiento

Traducido del English → Español

El autor desarrolló metrictrust, una herramienta ligera en Python que monitorea las ejecuciones de entrenamiento para determinar si las métricas finales de validación deben ser confiables. Aborda problemas comunes como conservar puntos de control subóptimos, sobreestimar el rendimiento debido a la memorización y depender de resultados oscilantes y ruidosos.

Proporciona un veredicto en lenguaje claro de 'confiar', 'precaución' o 'no confiar' basado en la dinámica del entrenamiento.
Detecta cuándo la mejor métrica ocurrió durante el entrenamiento pero no se guardó como el punto de control final.
Identifica casos donde la precisión del entrenamiento excede significativamente la precisión de evaluación, lo que indica memorización.
Marca las ejecuciones con alta oscilación para advertir contra tratar una sola muestra ruidosa como una medición confiable.
Funciona con HuggingFace Trainer a través de TrustCheckCallback o cualquier bucle personalizado a través de TrustMonitor.

La herramienta ayuda a los usuarios a evitar sacar conclusiones incorrectas de los números finales del registro al resaltar cuándo se perdió el rendimiento máximo del modelo o cuando los datos son demasiado inestables para ser significativos.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Evaluation & benchmarks Training methods

Artículos relacionados

arxiv arXiv cs.CL · hace 40 d · 14 vistas

CARE-PPO permite el aprendizaje conjunto de predicciones precisas y confianza confiable en tareas cuantitativas basadas en lenguaje

Los investigadores presentan CARE-PPO, un marco de aprendizaje por refuerzo que conecta la predicción de pérdida para estimación de incertidumbre con el ajuste fino PPO actor-crítico. Este enfoque permite el aprendizaje conjunto de estimaciones numéricas precisas y señales de confianza confiables en la predicción cuantitativa basada en lenguaje a partir de entradas no estructuradas.

arxiv arXiv cs.CL · hace 55 d · 1 vista

REAR: Realineación de preferencias en tiempo de prueba mediante descomposición de recompensas

Los autores presentan REAR, un marco novel que extiende el escalado en tiempo de prueba (TTS) a la alineación de preferencias modelando la tarea como un problema de realineación. Este enfoque aborda la limitación de los métodos TTS existentes, que típicamente se restringen a dominios verificables como matemáticas y programación.

arxiv arXiv cs.CL · hace 55 d

El costo oculto del remuestreo: Cómo la corrección del desequilibrio degrada la calibración de probabilidades en conjuntos de árboles

Este estudio evalúa el impacto de los métodos de remuestreo como SMOTE y el submuestreo aleatorio en la calibración de probabilidades en conjuntos de árboles, encontrando que, aunque el costo de SMOTE es pequeño, el submuestreo degrada severamente la calibración.

arxiv arXiv cs.CL · hace 56 d

Regla de cribado pre-registrada para bucles externos evolutivos

Los autores presentan una regla de cribado pre-registrada que determina antes de la implementación si vale la pena construir un bucle externo evolutivo sobre los parámetros de una red neuronal en comparación con una alternativa barata de un solo disparo. La regla calcula una métrica de recuperación R, definida como la mejor ganancia de un solo disparo dividida por la mejor ganancia de cualquier método barato, y prescribe omitir el bucle externo cuando R es mayor o igual al 90%.

arxiv arXiv cs.CL · hace 56 d · 5 vistas

DistilledGemma: Eficiencia y precisión equilibradas para la extracción de relaciones persona-lugar

Los autores presentan DistilledGemma, un sistema eficiente para la extracción de relaciones persona-lugar a partir de artículos de periódicos históricos multilingües en inglés, alemán y francés. El enfoque utiliza una tubería de destilación de conocimiento en tres etapas para equilibrar la precisión de clasificación con la eficiencia computacional.