एक आपराधिक बचाव वकील गोपनीय डेटा को क्लाउड API पर भेजे बिना ब्राज़ीलियाई कानूनी दस्तावेजों को अनुकूलित करने के लिए RTX 4060 पर स्थानीय बड़े भाषा मॉडल चलाने के लिए तकनीकी सलाह खोज रहा है। उपयोगकर्ता की रिपोर्ट है कि वर्तमान सेटअप, जो llama.cpp के माध्यम से Qwen3 35B-A3B का उपयोग कर रहा है, अक्सर उच्च आत्मविश्वास के साथ विधेयक उद्धरणों और मामलों की आईडी को भ्रमित करता है, भले ही सही जानकारी मूल टेम्पलेट में मौजूद हो।
- हार्डवेयर प्रतिबंधों ने मॉडल को RTX 4060 (8GB VRAM) और CPU ऑफलोड तक सीमित कर दिया है, जिसके लिए कुशल क्वांटीकरण और संदर्भ सेटिंग्स की आवश्यकता है।
- कार्यप्रवाह मौजूदा `.docx` टेम्पलेट को तथ्यों को बदलते हुए अनुकूलित करने में शामिल है, जबकि सटीक कानूनी तर्क और उद्धरणों को बनाए रखना है।
- वर्तमान निवारण प्रयासों में सख्त "केवल संपादन" सिस्टम प्रॉम्प्ट शामिल हैं जो भ्रम को कम करते हैं लेकिन समाप्त नहीं करते।
- उपयोगकर्ता उद्धरण की विश्वसनीयता, GBNF व्याकरण के माध्यम से प्रतिबंधित उत्पादन, RAG ग्राउंडिंग और `.docx` को बनाए रखने वाले संपादन पाइपलाइन के लिए मॉडल चयन पर मार्गदर्शन का अनुरोध करता है।
लेखक स्थानीय, ऑफ़लाइन कानूनी दस्तावेज़ प्रसंस्करण के लिए विश्वसनीय तकनीकों की पहचान करने का लक्ष्य रखता है जो झूठी कानूनी संदर्भों के आविष्कार को रोकें।