Los autores presentan DistilledGemma, un sistema eficiente para la extracción de relaciones persona-lugar a partir de artículos de periódicos históricos multilingües en inglés, alemán y francés. El enfoque utiliza una tubería de destilación de conocimiento en tres etapas para equilibrar la precisión de clasificación con la eficiencia computacional.
- Una primera etapa exploró el diseño de prompts en ocho modelos de lenguaje grandes para identificar la arquitectura de razonamiento más efectiva.
- Una segunda etapa aplicó ajuste fino supervisado mediante QLoRA a un modelo maestro Gemma 4 26B para generar trazas de cadena de pensamiento de plata.
- Una etapa final realizó destilación a nivel de respuesta para transferir patrones de razonamiento a un modelo estudiante compacto Gemma 4 E2B con aproximadamente 2.3B parámetros efectivos.
- El equipo se ubicó en el 3er puesto en el conjunto de prueba estándar (media de perfil de precisión de 0.688) y en el 2do puesto en el conjunto de prueba binario (puntuación media de 0.8156).
- La configuración se ubicó en el 2do puesto en el perfil de eficiencia y precisión equilibrada en ambos conjuntos de prueba al fusionar adaptadores LoRA para la inferencia.
Estos resultados demuestran que la destilación de conocimiento proporciona una solución práctica y escalable para el procesamiento de documentos históricos, logrando un rendimiento competitivo sin un costo computacional excesivo.