Un estudio revela que los grandes modelos de lenguaje mantienen una estimación interna de la longitud restante de su respuesta, la cual puede ser decodificada a partir de estados ocultos congelados. Los investigadores entrenaron sondas lineales de capacidad mínima en tres modelos de 7-8B con pesos abiertos en siete conjuntos de datos de estilo de completado para investigar este fenómeno.
- La longitud total de la respuesta es linealmente decodificable desde el último estado oculto del prompt antes de generar cualquier salida.
- Las direcciones de la sonda se transfieren ampliamente a completados sintéticos controlados, superando las bases estadísticas.
- En completados de alta pérdida, la estimación de la sonda se desplaza hacia arriba cuando el modelo retracta y reinicia una solución.
Los hallazgos sugieren que los LLM mantienen una representación interna similar a un plan de la longitud de salida, distinta de los resultados de imposibilidad de conteo exacto para transformadores.