arxiv arXiv cs.LG · 1 ч назад · research

U-OPSD позволяет проводить неконтролируемую самодистилляцию на основе текущей политики для больших языковых моделей

Переведено с English → Русский

Исследователи предлагают метод неконтролируемой самодистилляции на основе текущей политики (U-OPSD), который обеспечивает улучшение после дообучения больших языковых моделей исключительно за счёт собственных генераций модели без внешнего контроля. Подход выбирает несколько последовательностей для построения псевдорешения с помощью большинства голосов, а затем дистиллирует распределение учителя в префиксы самого длинного неверного завершения модели.

U-OPSD улучшает базовые модели на 8,5% и 10,7% в режиме без размышлений Qwen3 при масштабах 4B и 8B по таким бенчмаркам, как AIME24, MATH500 и AMC23.
Он превосходит методы с контролем, такие как OPSD, в среднем на 3,2% и 2,3% в режиме без размышлений.
В режиме с размышлениями U-OPSD соответствует или превосходит OPSD и GRPO, превосходя последний до 1,1% при масштабе 8B.

Этот метод демонстрирует, что настоящая самодистилляция возможна через внутреннюю согласованность, предлагая конкурентоспособную альтернативу сигналам контролируемого обучения.

Важность 2/3 arXiv cs.LG Research paper Training methods

Оригинал

Похожие статьи

arxiv arXiv cs.CL · 7 д назад · 2 просмотра

Декодер памяти в масштабе: масштабирование параметрической долговременной памяти до 6,9 млрд параметров

Исследователи представляют Memory Decoder at Scale — систему, которая масштабирует параметрические модели долговременной памяти до 6,9 млрд параметров и предварительно обучает их на 300 млрд токенов. Чтобы решить проблему невозможности использования стандартных конвейеров Faiss при таком объёме данных, авторы реализуют распределённый конвейер индексации с разреженной пакетной загрузкой распределений kNN.

arxiv arXiv cs.CL · 9 д назад

Relay-OPD сокращает длину траектории обучения более чем на 50% при дистилляции с использованием он-политики

Исследователи предлагают Relay On-Policy Distillation (Relay-OPD) для устранения проблемы отказа префикса в стандартной дистилляции с использованием он-политики, где ошибки студента приводят к ненадежной супервизии. Метод использует асимметрию продолжения между учителем и учеником как триггер для того, чтобы учитель на короткое время взял управление на себя и перенаправил траекторию, прежде чем ученик возобновит работу.

media Hugging Face Forums · 13 д назад

Выход ThetaScan v0.1: открытый скан-параллельный нелинейный механизм памяти с результатами для языковой модели на 17M параметров

Опубликована исследовательская превью-версия ThetaScan v0.1, механизма смешивания токенов с фиксированным состоянием и нелинейностью, в виде реализации с открытым исходным кодом. Архитектура гарантирует, что каждый токен вычисляет запись в память на основе текущего входа и общих параметров, а не эволюционирующего быстрого состояния, что позволяет записям комбинироваться через ассоциативный префиксный скан.

media r/LocalLLaMA · 15 д назад · 1 просмотр

SLAI T-Rex достигает 34.22% MFU и 71.81% Pass@1 для DeepSeek-V4 на Ascend

SLAI представляет T-Rex, полнопараметрическую фреймворк постобучения для семейства моделей DeepSeek-V4 на инфраструктуре Ascend SuperPOD. Система решает проблемы давления памяти и накладных расходов на коммуникацию в триллионно-параметрических моделях MoE через иерархическую оптимизацию.

arxiv arXiv cs.LG · 22 д назад · 1 просмотр

Показатель Ляпунова как физически обоснованная плотная награда: открытие методов стабилизации в RL за пределами маятника Капицы

Авторы предлагают использовать показатель Ляпунова (LCE) в качестве сигнала плотной награды для стабилизации перевёрнутого маятника с вертикальным движением. Этот подход позволяет агентам обучения с подкреплением обнаруживать сложные поведения стабилизации, выходящие за рамки стандартных осцилляторных решений.