一名刑事辩护律师正在寻求技术指导，以便在 RTX 4060 上运行本地大型语言模型，从而在不将机密数据发送到云 API 的情况下改编巴西法律文件。用户报告称，当前设置使用 llama.cpp 运行 Qwen3 35B-A3B，即使源模板中存在正确信息，也经常以高置信度幻觉出法规引用和案例 ID。

  • 硬件限制使模型仅限于 RTX 4060（8GB VRAM）并配合 CPU 卸载，需要高效的量化和上下文设置。
  • 工作流程涉及通过替换事实来改编现有的 `.docx` 模板，同时保留准确的法律推理和引用。
  • 当前的缓解措施包括严格的“仅编辑”系统提示，这些提示减少了但并未消除幻觉。
  • 用户请求关于模型选择的指导，以实现引用的忠实度、通过 GBNF 语法进行受限生成、RAG grounding 以及保留 `.docx` 的编辑流水线。

作者旨在确定用于本地、离线法律文档处理的可靠技术，以防止编造虚假的法律参考。