يسعى محامٍ للدفاع الجنائي للحصول على نصائح تقنية لتشغيل نموذج لغوي كبير محلي على RTX 4060 لتكييف الوثائق القانونية البرازيلية دون إرسال البيانات السرية إلى واجهات برمجة التطبيقات السحابية. يبلغ المستخدم أن الإعداد الحالي، الذي يستخدم Qwen3 35B-A3B عبر llama.cpp، يولد استشهادات بالقوانين ومعرفات القضايا بشكل وهمي بثقة عالية في كثير من الأحيان، حتى عندما تكون المعلومات الصحيحة موجودة في القالب المصدر.
- تقيد القيود الأجهزة النموذج بـ RTX 4060 (8GB VRAM) مع تحميل على وحدة المعالجة المركزية، مما يتطلب ضغطًا فعالاً وإعدادات للسياق.
- تتضمن سير العمل تكييف قوالب `.docx` الحالية عن طريق تبديل الحقائق مع الحفاظ على الاستدلال القانوني والاستشهادات الدقيقة.
- تشمل محاولات التخفيف الحالية أوامر نظام صارمة "تعديل فقط" تقلل من الهلوسات لكنها لا تقضي عليها تمامًا.
- يطلب المستخدم إرشادات حول اختيار النموذج لصدق الاستشهادات، والتوليد المقيد عبر قواعد GBNF، وتثبيت RAG، وخطوط أنابيب التحرير التي تحافظ على `.docx`.
يهدف المؤلف إلى تحديد تقنيات موثوقة لمعالجة الوثائق القانونية محليًا وبدون اتصال تمنع اختلاق مراجعات قانونية كاذبة.