RegMix-D расширяет RegMix, используя полные траектории потерь из прокси-запусков для динамического выбора смесей данных. Он превосходит RegMix и DoReMi по 13 задачам на последующем этапе, достигая превосходных результатов при использовании всего 128 прокси-моделей — 25% вычислительного бюджета RegMix.
RegMix-D: динамическое смешивание данных за счёт траекторий обучения через прокси
Переведено с English → Русский