一个实验框架映射了TinyLlama在生成过程中隐藏状态的轨迹，以创建运行时可观测性工具。通过对范数、曲率和熵等指标进行聚类，该系统识别出循环出现的动力学区域，而非语义内容。

  • 吸引子图追踪轨迹停留的位置以及它们在不同状态之间的转换。
  • 轨迹分割自动检测运行时动态的变化，无需假设固定的推理阶段。
  • 正交旋转和DTW引导的校正等实验干预成功修改了轨迹统计信息。
  • 然而，改变几何结构并不能可靠地改善推理或确保语义正确性。

该研究得出结论：虽然观察隐藏状态动力学是可行的，但控制它们仍然是一个未解决的问题，因为运行时的稳定性并不意味着答案的正确性。