Пользователь демонстрирует тонкую настройку 7B-модели для инструкций на Apple Silicon с использованием MLX для изменения стиля на высокофэнтезийную литературу. Эксперимент показывает, что небольшой, тщательно подобранный набор данных может значительно изменить регистр и лексику модели при минимальных вычислительных ресурсах.

  • Оборудование: Apple M2 с 64 ГБ объединённой памяти, работающий под управлением macOS Sonoma и Python 3.12.4.
  • Модель: Mistral-7B-Instruct-v0.3, квантованная до 4 бит с использованием QLoRA, обучается только 0,145% весов.
  • Набор данных: Примерно 1 200 примеров, извлечённых из произведений Толкина и «Книги нового Солнца» Джина Вульфа.
  • Обучение: Менее 2 эпох, с вычислением потерь только на завершения ассистента через `--mask-prompt`.
  • Результаты: Перплексия снизилась на 35%, достигнув измеримого перехода от общих ответов к специфической литературной прозе.

Этот процесс доказывает, что локальная тонкая настройка — это быстрый офлайн-проект с почти нулевой предельной стоимостью, подтверждая исследования о том, что небольшие высококачественные наборы данных могут мощно изменять выходные данные модели.