Jason Van Pham 与联合工程师 Grok (xAI) 发布了一份诊断报告,详细说明了在使用自定义 Gemma 4 指令路径时,Hydrodynamic Swarm 框架中出现的近乎原生的多轮故障模式。该研究指出,将贪婪解码与长 token 预算和字母级约束相结合会触发经典的文本退化现象,包括重复和正写混乱。

  • 配置使用了贪婪解码(temperature = 0),max_tokens 限制为 300,并禁用了残差物理引导(force_cap = 0)。
  • 初始流畅的英文输出在模型试图满足字母级约束后,崩溃为重复循环和混合脚本碎片。
  • 随后的元诊断轮次生成了看似合理的自我报告,随后重新进入相同的退化吸引子状态。
  • 作者将故障归因于多轮历史、贪婪解码和硬约束的组合,而非权重加载错误或残差物理干扰。

该报告作为一个面向公众的诊断产物,旨在强调应将自定义加载器中的不完美的输出和工程挑战与成功的演示案例一同记录。