arxiv arXiv cs.AI · 51 д назад · research

Гибридная система ANN-SNN с локальной пластичностью

Переведено с English → Русский

Гибридная система ANN-SNN использует предобученные энкодеры EfficientNet и преобразует их активации в импульсные последовательности с помощью кодирования скорости. Система обучает спайковый классификатор CoLaNET с локальными правилами пластичности, достигая точности 99,09% на тестовом наборе ImageNet из 64 классов, что соответствует традиционным глубоким сетям.

Важность 2/3 Новый бенчмарк-харнесс с отличиями arXiv cs.AI Allen AI Hugging Face NVIDIA Hardware & chips Image generation Training methods

Оригинал

Переиспользование классификатора речи для генерации на основе диффузии

Предварительно обученный классификатор речи переиспользуется как основа для генерации речи на основе диффузии. При присоединении легкого подсети и обучении ее методом сопоставления сценария устранения шума, подход достигает высокого качества речи при снижении памяти и вычислительных затрат, используя один модель вместо двух отдельно обученных компонентов.

arxiv arXiv cs.AI · 51 д назад · 1 просмотр

Изучаемое глобальное слияние для переменной длины токенизации в трансформерах диффузии

Новый токенизатор с переменной длиной использует изучаемое глобальное слияние для обеспечения сопоставления представлений разной длины в моделях диффузии. Этот подход, независимый от данных, преодолевает позиционные семантики и улучшает соотношение качества и вычислительных затрат при генерации изображений ImageNet 256×25-6 по сравнению с предыдущими методами.

arxiv arXiv cs.AI · 17 д назад · 4 просмотра

SLAI T-Rex позволяет проводить полное параметрическое постобучение модели DeepSeek-V4 на платформе Ascend SuperPOD

SLAI представляет T-Rex — сквозную оптимизационную платформу для полного параметрического постобучения моделей MoE триллионного масштаба на суперкластере NPU Ascend. Используя семейство моделей DeepSeek-V4 в качестве целевой нагрузки, система решает проблемы с памятью и накладными расходами на коммуникацию за счёт иерархического параллелизма и оптимизации выполнения ядер.

arxiv arXiv cs.CL · 18 д назад · 1 просмотр

SLAI T-Rex позволяет проводить полное параметрическое постобучение DeepSeek-V4 на Ascend SuperPOD

SLAI представляет T-Rex, сквозную оптимизационную рамку для полного параметрического постобучения MoE-моделей триллионного масштаба на Ascend NPU SuperPOD. Используя семейство моделей DeepSeek-V4 в качестве целевой рабочей нагрузки, система решает проблемы с давлением памяти и накладными расходами на коммуникацию за счёт иерархического параллелизма и оптимизаций выполнения ядер.

lab Hugging Face Blog · 23 д назад · 5 просмотров

NVIDIA NeMo Automodel обеспечивает распределённую тонкую настройку диффузионных моделей с помощью Hugging Face Diffusers

Компании NVIDIA и Hugging Face интегрировали NVIDIA NeMo Automodel с библиотекой 🤗 Diffusers для обеспечения готового к производству распределённого обучения открытых диффузионных моделей. Это сотрудничество позволяет пользователям выполнять тонкую настройку любой модели в формате Diffusers на платформе Hugging Face Hub без необходимости преобразования чекпоинтов или переписывания кода модели.