lab DeepSeek (Hugging Face) · 591 д назад

DeepSeek выпустила языковую модель V3 MoE с 671B параметров

Переведено с English → Русский

DeepSeek выпустила DeepSeek-V3, языковую модель Mixture-of-Experts (MoE) с общим количеством 671 миллиард параметров и 37 миллиардами активированных на токен. Модель обучена на 14,8 триллионах токенов и использует Multi-head Latent Attention и стратегию балансировки нагрузки без вспомогательных потерь.

DeepSeek-V3 демонстрирует производительность, сопоставимую с ведущими закрытыми моделями, при этом для обучения требуется всего 2,788 млн часов работы GPU H800.
Она включает цель Multi-Token Prediction (MTP) и переносит способности к рассуждению из серии DeepSeek-R1.
Модель поддерживает вывод через такие библиотеки, как Transformers, vLLM, SGLang и LMDeploy.

Выпуск предоставляет открытый доступ к высокопроизводительной базовой модели с сильными способностями в области математики и кода.

Важность 3/3 DeepSeek (Hugging Face) DeepSeek Open weights Reasoning models

Оригинал

Похожие статьи

arxiv arXiv cs.AI · 41 д назад

RaDaR: специализированная LLM для рассуждений, ускоряющая диагностику редких заболеваний

Исследователи представляют RaDaR — открытую 32B параметр reasoning large language model, предназначенную для ускорения диагностики редких заболеваний за счет решения проблем клинической внедряемости и нехватки данных. Модель обучена на почти 50 000 публичных случаях и более чем 100 000 синтетических случаев, демонстрируя превосходные результаты по бенчмаркам и во внешних валидационных центрах.

arxiv arXiv cs.LG · 53 д назад

Оценка базовых открытых моделей языковой модели для многозначной классификации ATT&CK

Создан и отображенный набор данных с 2076 предложениями, аннотированных людьми из 83 сложных отчетов по киберугрозам, с уровнем согласия между аннотаторами \k{appa} = 0.68. Оценены семь открытых моделей языковых моделей от 8B до 236B параметров, достигнув максимального значения F1 по микро-среднему среднему 0.22. Размер параметров показал статистически значимую положительную корреляцию с F1, в то время как стратегия запроса и температура не привели к значительным улучшениям, что указывает на недостаточность текущих открытых моделей языковых моделей для классификации ATT&CK на производственном уровне.

arxiv arXiv cs.CL · 53 д назад · 2 просмотра

LLMs предсказывают деменцию и депрессию на основе клинической речи

Исследование использует открытые большие языковые модели для оценки степени деменции и депрессии на основе клинических интервью. Модели достигают точного нуля-шот-предсказания депрессии (MAE 0,60) и улучшенной оценки деменции с извлечением признаков (MAE 0,78), снижая ошибки до 35%. Транскрипции с учетом пауз соответствуют ручным транскрипциям, что поддерживает автоматизированные потоки фильтрации для невропсихиатрических расстройств.

lab DeepSeek (Hugging Face) · 438 д назад

DeepSeek-R1-0528 улучшает рассуждения и точность AIME до 87,5%

DeepSeek выпустила DeepSeek-R1-0528, незначительное обновление версии, которое существенно повышает глубину рассуждений и возможности вывода за счёт увеличения вычислительных ресурсов и алгоритмических оптимизаций в процессе постобучения.

lab DeepSeek (Hugging Face) · 503 д назад

DeepSeek-V3-0324 улучшает рассуждения, программирование и китайское письмо по сравнению с DeepSeek-V3

Компания DeepSeek выпустила обновление модели DeepSeek-V3-0324, которое демонстрирует заметные улучшения по сравнению с предыдущей версией DeepSeek-V3, особенно в области способности к рассуждениям, исполняемости кода и качества китайского письма.