IceFog72は、llama.cpp向けに上位候補間の次トークン確率分布を局所的に平滑化する実験的「scatter」サンプラーを実装しました。このアプローチは、分布の深いテールからのノイズを導入せずに生成の硬直性を軽減することを目的としています。

  • このサンプラーはトークンランク上の局所拡散ステップを使用し、フィルタリングされた候補セットを維持しつつ近傍のランク間で確率質量を交換します。
  • デフォルトのサンプラーチェーンでは「xtc」と「temperature」の間に位置付けられていますが、デフォルトでは無効になっています。
  • 機能には、エントロピーフィードバックに基づく固定または適応的な散乱強度、任意の反復トークン吸収、および衝突ゲートが含まれます。
  • 実装には、llama.cppフレームワーク内のネイティブAPI関数と不変条件テストが含まれています。

このツールは、温度を上げるよりも局所的な代替手段を提供し、弱いテールトークンによる一貫性のないジャンプを回避しながら、テキスト生成の多様性に対するより細かい制御を提供します。