Un abogado penalista busca asesoramiento técnico para ejecutar un modelo de lenguaje grande local en una RTX 4060 y adaptar documentos legales brasileños sin enviar datos confidenciales a APIs en la nube. El usuario informa que la configuración actual, usando Qwen3 35B-A3B a través de llama.cpp, alucina frecuentemente citas estatutarias e IDs de casos con alta confianza, incluso cuando la información correcta está presente en la plantilla fuente.
- Las restricciones de hardware limitan el modelo a una RTX 4060 (8GB VRAM) con descarga a CPU, requiriendo cuantificación eficiente y configuraciones de contexto.
- El flujo de trabajo implica adaptar plantillas `.docx` existentes intercambiando hechos mientras se preserva el razonamiento legal preciso y las citas.
- Los intentos actuales de mitigación incluyen prompts del sistema estrictos de "solo edición" que reducen pero no eliminan las alucinaciones.
- El usuario solicita orientación sobre la selección de modelos para la fidelidad de citas, generación restringida mediante gramáticas GBNF, fundamentación RAG y pipelines de edición que preserven `.docx`.
El autor busca identificar técnicas confiables para el procesamiento local y fuera de línea de documentos legales que impidan la invención de referencias legales falsas.