arxiv arXiv cs.LG · 51 д назад · research

Переиспользование классификатора речи для генерации на основе диффузии

Переведено с English → Русский

Предварительно обученный классификатор речи переиспользуется как основа для генерации речи на основе диффузии. При присоединении легкого подсети и обучении ее методом сопоставления сценария устранения шума, подход достигает высокого качества речи при снижении памяти и вычислительных затрат, используя один модель вместо двух отдельно обученных компонентов.

Важность 2/3 Новый бенчмарк-харнесс с отличиями arXiv cs.LG Hugging Face Google DeepMind NVIDIA Image generation Training methods Voice & audio

Оригинал

Переиспользование классификатора речи для генерации на основе диффузии

Предварительно обученный классификатор речи переиспользуется как основа для генерации речи на основе диффузии. При привязке легкого подмодуля и обучении его методом сопоставления сценария устранения шума, подход достигает высокого качества речи при снижении памяти и вычислительных затрат, используя один модель вместо двух отдельно обученных компонентов.

arxiv arXiv cs.AI · 51 д назад

Гибридная система ANN-SNN с локальной пластичностью

Гибридная система ANN-SNN использует предобученные энкодеры EfficientNet и преобразует их активации в импульсные последовательности с помощью кодирования скорости. Система обучает спайковый классификатор CoLaNET с локальными правилами пластичности, достигая точности 99,09% на тестовом наборе ImageNet из 64 классов, что соответствует традиционным глубоким сетям.

lab Hugging Face Blog · 19 д назад · 8 просмотров

Обзор движков симуляции для Physical AI: MuJoCo, Isaac Sim и Newton

В данной статье представлен обзор текущего состояния симуляции в области Physical AI, объясняющий, как симуляция преодолевает разрыв в данных для робототехники за счёт создания масштабируемых фотореалистичных обучающих сред. Описывается парадигма с использованием трёх компьютеров (обучение, симуляция, на роботе) и классифицируются ключевые движки симуляции на основе их специфических возможностей и областей применения.

lab Hugging Face Blog · 23 д назад · 5 просмотров

NVIDIA NeMo Automodel обеспечивает распределённую тонкую настройку диффузионных моделей с помощью Hugging Face Diffusers

Компании NVIDIA и Hugging Face интегрировали NVIDIA NeMo Automodel с библиотекой 🤗 Diffusers для обеспечения готового к производству распределённого обучения открытых диффузионных моделей. Это сотрудничество позволяет пользователям выполнять тонкую настройку любой модели в формате Diffusers на платформе Hugging Face Hub без необходимости преобразования чекпоинтов или переписывания кода модели.

lab Hugging Face Blog · 30 д назад

Профилирование PyTorch показывает, что маскировка на месте устраняет копирование памяти и диспетчеризацию SDPA в оптимизированные бэкенды

В этой статье демонстрируется профилирование механизмов внимания в PyTorch с использованием трассировок профилировщика для выявления узких мест производительности и возможностей оптимизации. Сравниваются наивные реализации внимания со встроенной реализацией Scaled Dot Product Attention (SDPA) от PyTorch для иллюстрации поведения ядер.