Um estudo revela que grandes modelos de linguagem mantêm uma estimativa interna do comprimento restante de sua resposta, que pode ser decodificada a partir de estados ocultos congelados. Pesquisadores treinaram sondas lineares de capacidade mínima em três modelos com pesos abertos de 7-8B em sete conjuntos de dados no estilo de conclusão para investigar esse fenômeno.
- O comprimento total da resposta é linearmente decodificável a partir do último estado oculto do prompt antes que qualquer saída seja gerada.
- As direções da sonda se transferem amplamente para conclusões sintéticas controladas, superando as bases estatísticas.
- Em conclusões de alta perda, a estimativa da sonda se desloca para cima quando o modelo retrai e reinicia uma solução.
Os achados sugerem que os LLMs mantêm uma representação interna semelhante a um plano do comprimento da saída, distinta dos resultados de impossibilidade de contagem exata para transformers.