Адвокат по уголовным делам ищет технические рекомендации по запуску локальной большой языковой модели на RTX 4060 для адаптации бразильских юридических документов без отправки конфиденциальных данных в облачные API. Пользователь сообщает, что текущая конфигурация, использующая Qwen3 35B-A3B через llama.cpp, часто выдумывает ссылки на законы и идентификаторы дел с высокой уверенностью, даже когда правильная информация присутствует в исходном шаблоне.
- Ограничения оборудования ограничивают модель RTX 4060 (8 ГБ VRAM) с выгрузкой на CPU, требуя эффективного квантования и настроек контекста.
- Рабочий процесс включает адаптацию существующих шаблонов `.docx` путем замены фактов при сохранении точных юридических рассуждений и ссылок.
- Текущие попытки смягчения включают строгие системные промпты «только редактирование», которые уменьшают, но не устраняют галлюцинации.
- Пользователь запрашивает рекомендации по выбору модели для достоверности цитирования, ограниченной генерации через грамматики GBNF, заземлению RAG и конвейерам редактирования с сохранением `.docx`.
Автор стремится выявить надежные техники для локальной, офлайн обработки юридических документов, предотвращающие выдумывание ложных юридических ссылок.