한 형사 변호사가 기밀 데이터를 클라우드 API로 전송하지 않고 브라질 법적 문서를 적응시키기 위해 RTX 4060에서 로컬 대규모 언어 모델을 실행하는 기술적 조언을 찾고 있습니다. 사용자는 llama.cpp를 통해 Qwen3 35B-A3B를 사용하는 현재 설정이 소스 템플릿에 올바른 정보가 포함되어 있더라도 법조문 인용과 사건 ID를 높은 확신으로 환각적으로 생성하는 경우가 빈번하다고 보고합니다.

  • 하드웨어 제약으로 인해 모델은 RTX 4060(8GB VRAM)과 CPU 오프로드에 제한되며, 효율적인 양자화 및 컨텍스트 설정이 필요합니다.
  • 워크플로우에는 정확한 법적 추론과 인용을 유지하면서 기존 `.docx` 템플릿의 사실을 교체하여 적응시키는 작업이 포함됩니다.
  • 현재 완화 시도에는 '편집 전용' 시스템 프롬프트가 포함되어 있으며, 이는 환각을 줄이지만 완전히 제거하지는 않습니다.
  • 사용자는 인용 충실도를 위한 모델 선택, GBNF 문법을 통한 제약 생성, RAG 그라운딩, 그리고 `.docx`를 보존하는 편집 파이프라인에 대한 지침을 요청합니다.

저자는 허위 법적 참조의 발명을 방지하는 로컬 및 오프라인 법적 문서 처리를 위한 신뢰할 수 있는 기술을 식별하는 것을 목표로 합니다.