一位用户发布了llama.cpp的一个分支，其中包含一个实验性的循环检测采样器，旨在识别并打破推理过程中的重复令牌循环。这个新的可组合采样器实时监控生成的令牌流，检测精确的重复模式，并暂时增加采样温度以破坏循环。

  • 该采样器使用last_n（默认64）、min_pattern_len（默认3）和min_reps（默认3）等参数来定义检测灵敏度。
  • 当检测到循环时，它应用温度乘数（temp_factor）以增加随机性并将模型推出循环。
  • 配置可通过CLI标志、llama-server的JSON API或C API采样器链以编程方式获得。
  • 该实现允许调整以平衡尽早捕获循环和避免在合法重复短语上出现误报。