Seorang pengacara pembela pidana sedang mencari saran teknis untuk menjalankan model bahasa besar lokal di RTX 4060 guna mengadaptasi dokumen hukum Brasil tanpa mengirim data rahasia ke API cloud. Pengguna melaporkan bahwa pengaturan saat ini, menggunakan Qwen3 35B-A3B melalui llama.cpp, sering kali halusinasi kutipan statute dan ID kasus dengan keyakinan tinggi, bahkan ketika informasi yang benar ada dalam templat sumber.
- Kendala perangkat keras membatasi model pada RTX 4060 (8GB VRAM) dengan offload CPU, memerlukan kuantisasi efisien dan pengaturan konteks.
- Alur kerja melibatkan adaptasi templat `.docx` yang ada dengan menukar fakta sambil mempertahankan penalaran hukum dan kutipan yang akurat.
- Upaya mitigasi saat ini termasuk prompt sistem "hanya edit" yang ketat yang mengurangi tetapi tidak menghilangkan halusinasi.
- Pengguna meminta panduan tentang pemilihan model untuk kesetiaan kutipan, generasi terkendali melalui tata bahasa GBNF, grounding RAG, dan pipeline pengeditan yang mempertahankan `.docx`.
Penulis bertujuan untuk mengidentifikasi teknik yang andal untuk pemrosesan dokumen hukum lokal dan offline yang mencegah penemuan referensi hukum palsu.