Un investigador está realizando un estudio para evaluar los límites de memoria de pequeños modelos de lenguaje de IA (de 100M a 3B de parámetros) para tareas de recuperación y reconstrucción, con el objetivo de identificar aquellos adecuados para portátiles de baja especificación. El estudio evalúa específicamente tres modelos Qwen2.5: 0.5B, 1.5B y 3B.

  • El rendimiento de memoria para la recuperación fue relativamente similar en los tres tamaños de modelo.
  • Los resultados de memoria para la reconstrucción mostraron una tendencia inesperada donde el modelo más grande, Qwen2.5-3B, tuvo el peor rendimiento.
  • El modelo 3B mostró un declive significativamente más pronunciado en el rendimiento de reconstrucción a medida que aumentaba la información de entrada en comparación con los modelos 1.5B y 0.5B.

El autor solicita comentarios sobre análisis adicionales o verificaciones metodológicas para verificar si este resultado contraintuitivo es objetivo en lugar de un error experimental.