Разработчик делится первыми впечатлениями от использования 3-битной квантованной версии модели Mistral Medium 3.5 для задач программирования. Пользователь сообщает, что модель выявила проблемы в его проекте, которые пропустил его предыдущий основной инструмент, описывая её производительность как «действительно хорошую», несмотря на то, что она медленнее моделей Mixture-of-Experts (MoE).
- Квантование: Unsloth Q3_KS с KV кешем, квантованным до q8_0, и значениями до q5_0.
- Производительность: Достигнуто 8 токенов в секунду при контекстном окне 80k.
- Возможности: Успешно найдены ошибки в коде, которые пропустила предыдущая модель пользователя.
Пост служит сообществом для запроса опыта других разработчиков и их мнений об использовании этой конкретной конфигурации dense модели для разработки программного обеспечения.