media r/LocalLLaMA · 2 ч назад · open_models

ByteDance обязуется избегать дистилляции ИИ и разрабатывать новую модель собственным путём

Переведено с English → Русский

ByteDance объявила о намерении разрабатывать свою модель следующего поколения без использования методов дистилляции ИИ.

Компания намерена идти по пути независимой разработки своих будущих моделей.

Важность 2/3 r/LocalLLaMA ByteDance Training methods

MiniMax выпустила модель генерации видео H3 с открытыми весами и нативным стереозвуком

MiniMax выпустила омнимодальную модель генерации видео H3 с открытыми весами на Hugging Face, оснащенную нативным стереозвуком, который может управлять видео за один прямой проход. Модель поддерживает разрешение 2K при 24 кадрах в секунду для клипов длительностью от 5 до 15 секунд и принимает до девяти референсных изображений, трех видео и трех аудиоклипов на одну генерацию.

arxiv arXiv cs.LG · 3 д назад

U-OPSD позволяет проводить неконтролируемую самодистилляцию на основе текущей политики для больших языковых моделей

Исследователи предлагают метод неконтролируемой самодистилляции на основе текущей политики (U-OPSD), который обеспечивает улучшение после дообучения больших языковых моделей исключительно за счёт собственных генераций модели без внешнего контроля. Подход выбирает несколько последовательностей для построения псевдорешения с помощью большинства голосов, а затем дистиллирует распределение учителя в префиксы самого длинного неверного завершения модели.

arxiv arXiv cs.CL · 6 д назад · 2 просмотра

Douyin выпустила мультимодельную модель встраивания DME с передовыми характеристиками

Douyin опубликовала технический отчет о своей модели мультимодального встраивания (DME), которая сочетает крупномасштабное контрастное предобучение с латентным рассуждением для достижения высокой дискриминации и эффективности.

media r/LocalLLaMA · 6 д назад · 5 просмотров

AFM3 20B от Apple использует pruning следования инструкциям для активации ~20% слоёв

Apple представила новую архитектуру для своих фундаментальных моделей третьего поколения (AFM3), которая использует «Pruning следования инструкциям» для значительного снижения количества активных параметров. Модель спроектирована так, чтобы активировать примерно 20% своих MLP слоёв, принимая решения маршрутизации один раз на промпт, а не на токен.

media MarkTechPost · 8 д назад · 4 просмотра

NVIDIA NeMo выпускает Molt, компактную PyT-native агентную RL-фреймворк

Команда NVIDIA NeMo выпустила Molt, фреймворк для агентного обучения с подкреплением с открытым исходным кодом, предназначенный для снижения сложности итераций алгоритмов для исследователей. Базовый код содержит около 8.6K строк RL-кода, что значительно меньше по сравнению со схожими фреймворками, такими как verl (62K строк) и slime (25K строк).