loo5xは、llama.cppのフォークであるllama-modes v0.4.0をリリースしました。これは、モデルを切り替えたり分類器を追加したりすることなく、単一のGGUFモデルを一度読み込んで複数の構造化推論モードを実行できるようにします。
- BOOLEANモードはYes/Noの回答を直接スコアリングします。
- CHOICEモードは、マルチトークンラベルを含む任意の supplied candidates をスコアリングします。
- SCALEモードは順序尺度または間隔尺度を評価し、中央値や期待値などの派生統計量とともに離散分布を返します。
- プロジェクトにはWindows CUDA版、ローカルReactデモ、APIドキュメントが含まれています。
このアプローチにより、開発者は同じモデル重みをメモリ内で再利用して異なる推論プリミティブに使用でき、通常のローカル言語モデルから構造化スコアリングを直接公開できます。