Автор выпустил Dev-4B, небольшую локальную модель на базе Qwen3-4B-Instruct, которая отвечает на введённые вопросы о документах с калиброванной уверенностью. В ней встроенный маршрутизатор решает, предоставлять ли быстрый ответ или переходить к пошаговому рассуждению только в том случае, если первоначальное предсказание, вероятно, ошибочно.
- При оценке на 7 100 замороженных тестовых вопросах Dev-4B достиг точности 81,8% за 1,37 секунды на вопрос.
- Это превосходит всегда быстрые ответы (76,3%, 0,16 с/вопр) и всегда рассуждающие подходы (78,0%, 10,2 с/вопр).
- Модель использует адаптер LoRA, активируемый для вопросов, и крошечный маршрутизатор; доступны сборки MLX в 8-битном формате.
Инструмент предназначен для локальной калибровки и офлайн-экспериментов с маршрутизацией, особенно для независимых разработчиков на Mac.