ある刑事弁護人が、機密データをクラウドAPIに送信せずにブラジルの法的文書を適応させるために、RTX 4060上でローカル大規模言語モデルを実行する技術的アドバイスを探しています。ユーザーによると、llama.cpp経由でQwen3 35B-A3Bを使用している現在のセットアップでは、正しい情報がソーステンプレートに存在する場合でも、法典の引用や事件IDを高い自信を持って幻覚的に生成することが頻繁にあります。

  • ハードウェアの制約により、モデルはRTX 4060（8GB VRAM）とCPUオフロードに制限され、効率的な量子化とコンテキスト設定が必要となります。
  • ワークフローには、正確な法的推論と引用を維持しつつ、事実を入れ替えて既存の`.docx`テンプレートを適応させることが含まれます。
  • 現在の緩和策には、「編集のみ」のシステムプロンプトを含み、これは幻覚を減少させますが完全に排除するものではありません。
  • ユーザーは、引用の忠実性のためのモデル選択、GBNF文法による制約付き生成、RAGグラウンディング、および`.docx`を保持する編集パイプラインに関するガイダンスを求めています。

著者は、偽の法的参照の発明を防ぐローカルかつオフラインの法的文書処理のための信頼できる技術の特定を目指しています。