Los investigadores introducen la Discrepancia Media de Kernel Suave (SMMD) para abordar la falta de fiabilidad de los modelos de lenguaje grandes en tareas numéricamente precisas, causada por los objetivos de entrenamiento estándar de entropía cruzada. SMMD incorpora kernels de distancia de valor sobre tokens numéricos y suavidad basada en grafos para alinear las distribuciones predichas con los objetivos, fomentando al mismo tiempo la consistencia local.
- SMMD se basa en MMD clásico mediante el uso de un kernel definido sobre un subvocabulario numérico que tiene en cuenta la estructura métrica.
- El método alinea la distribución numérica predicha con el objetivo mediante coincidencia de kernels y suaviza el residuo entre la predicción y el objetivo sobre un grafo de kernel inducido.
- Las evaluaciones cubren cuatro tareas con objetivos numéricos: razonamiento matemático, cálculo aritmético, reconocimiento de hora en relojes y respuesta a preguntas sobre gráficos.
- SMMD mejora consistentemente la precisión frente a la entropía cruzada y las pérdidas recientes con objetivos numéricos en múltiples backbones de LLM y VLM de peso abierto.
El enfoque aborda la discrepancia entre los objetivos de entrenamiento estándar y la necesidad de estructura métrica en las salidas numéricas, ofreciendo un método para mejorar la precisión numérica en modelos de lenguaje.