llama.cppプロジェクトはビルドb10275をリリースし、アクセント文字が静かに失われるWindows上の文字エンコーディングの問題を修正しました。この更新により、OEMコードページで書き込む子プロセスからのテキストがJSONレイヤーに到達する前に正しくUTF-8にデコードされることが保証されます。

  • 西方のWindowsインストールでの非UTF-8 OEMコードページに起因し、無効なバイトがアクセント出力を置き換える問題を解決します。
  • 誤ったコードページが検出されたときに置換文字を出力するのではなく、MB_ERR_INVALID_CHARSを使用してテキストをそのまま返します。
  • UTF-8として既にデコードされているテキストを通すことで、二重デコーディングを防ぎます。
  • マルチバイト文字の途中で終わるストリーミングチャンクを処理するために、検証前に不完全な末尾シーケンスをドロップします。

この修正により、ツール出力内の特殊文字が保持され、Windowsシステム上のユーザー向けの正確なデータ処理が確保されます。