media InfoQ · 551 д назад

DeepSeek открыл исходный код LLM DeepSeek-R1 с производительностью, сопоставимой с OpenAI o1

Переведено с English → Русский

DeepSeek открыла исходный код DeepSeek-R1, большой языковой модели, дообученной с использованием обучения с подкреплением для улучшения способностей к рассуждению. Модель демонстрирует результаты на уровне OpenAI o1 на таких бенчмарках, как MATH-500 и SWE-bench.

Основанная на смеси экспертов DeepSeek-V3, она использует Group Relative Policy Optimization (GRPO) для обучения.
Команда решила проблему «холодного старта» RL, добавив контролируемое дообучение с примерами цепочки рассуждений перед обучением с подкреплением.
Были выпущены дистиллированные версии для Qwen и Llama, превосходящие более крупные модели, такие как GPT-4, в задачах по математике и программированию.
DeepSeek-R1 заняла #3 место в общем зачете LMArena вскоре после выпуска, лидируя в категориях программирования и математики.

Открытая лицензия разрешает использование выходных данных модели для дистилляции, что может продвинуть состояние искусства для языковых моделей всех размеров.

Важность 3/3 Обходит бенчмарк топ-лаборатории InfoQ DeepSeek Open weights Reasoning models

Оригинал

Похожие статьи

arxiv arXiv cs.AI · 41 д назад

RaDaR: специализированная LLM для рассуждений, ускоряющая диагностику редких заболеваний

Исследователи представляют RaDaR — открытую 32B параметр reasoning large language model, предназначенную для ускорения диагностики редких заболеваний за счет решения проблем клинической внедряемости и нехватки данных. Модель обучена на почти 50 000 публичных случаях и более чем 100 000 синтетических случаев, демонстрируя превосходные результаты по бенчмаркам и во внешних валидационных центрах.

arxiv arXiv cs.LG · 53 д назад

Оценка базовых открытых моделей языковой модели для многозначной классификации ATT&CK

Создан и отображенный набор данных с 2076 предложениями, аннотированных людьми из 83 сложных отчетов по киберугрозам, с уровнем согласия между аннотаторами \k{appa} = 0.68. Оценены семь открытых моделей языковых моделей от 8B до 236B параметров, достигнув максимального значения F1 по микро-среднему среднему 0.22. Размер параметров показал статистически значимую положительную корреляцию с F1, в то время как стратегия запроса и температура не привели к значительным улучшениям, что указывает на недостаточность текущих открытых моделей языковых моделей для классификации ATT&CK на производственном уровне.

arxiv arXiv cs.CL · 53 д назад · 2 просмотра

LLMs предсказывают деменцию и депрессию на основе клинической речи

Исследование использует открытые большие языковые модели для оценки степени деменции и депрессии на основе клинических интервью. Модели достигают точного нуля-шот-предсказания депрессии (MAE 0,60) и улучшенной оценки деменции с извлечением признаков (MAE 0,78), снижая ошибки до 35%. Транскрипции с учетом пауз соответствуют ручным транскрипциям, что поддерживает автоматизированные потоки фильтрации для невропсихиатрических расстройств.

lab DeepSeek (Hugging Face) · 438 д назад

DeepSeek-R1-0528 улучшает рассуждения и точность AIME до 87,5%

DeepSeek выпустила DeepSeek-R1-0528, незначительное обновление версии, которое существенно повышает глубину рассуждений и возможности вывода за счёт увеличения вычислительных ресурсов и алгоритмических оптимизаций в процессе постобучения.

lab DeepSeek (Hugging Face) · 503 д назад

DeepSeek-V3-0324 улучшает рассуждения, программирование и китайское письмо по сравнению с DeepSeek-V3

Компания DeepSeek выпустила обновление модели DeepSeek-V3-0324, которое демонстрирует заметные улучшения по сравнению с предыдущей версией DeepSeek-V3, особенно в области способности к рассуждениям, исполняемости кода и качества китайского письма.