lab DeepSeek (Hugging Face) · 503 д назад

DeepSeek-V3-0324 улучшает рассуждения, программирование и китайское письмо по сравнению с DeepSeek-V3

Переведено с English → Русский

Компания DeepSeek выпустила обновление модели DeepSeek-V3-0324, которое демонстрирует заметные улучшения по сравнению с предыдущей версией DeepSeek-V3, особенно в области способности к рассуждениям, исполняемости кода и качества китайского письма.

Оценка MMLU-Pro увеличилась с 75,9 до 81,2, GPQA — с 59,1 до 68,4, AIME — с 39,6 до 59,4, а LiveCodeBench — с 39,2 до 49,2.
Улучшен вывод для фронтенд-разработки веб-приложений за счёт повышения исполняемости кода и эстетики.
Оптимизирован стиль китайского письма в соответствии с R1, улучшено качество контента среднего и большого объёма.
Исправлены проблемы с точностью вызова функций, присутствовавшие в предыдущих версиях V3, а также улучшено переписывание в многошаговых интерактивных диалогах.

Обновление обеспечивает лучшую производительность на бенчмарках и более надёжный вызов функций для разработчиков, использующих такие библиотеки, как Transformers, vLLM или SGLang.

Важность 3/3 DeepSeek (Hugging Face) DeepSeek Open weights Reasoning models

Бенчмарки

Бенчмарк	Модель	Результат
MMLU-Pro	DeepSeek-V3-0324	81.2%
GPQA Diamond	DeepSeek-V3-0324	68.4%
AIME 2024	DeepSeek-V3-0324	59.4%
LiveCodeBench	DeepSeek-V3-0324	49.2%

Оригинал

Похожие статьи

arxiv arXiv cs.AI · 41 д назад

RaDaR: специализированная LLM для рассуждений, ускоряющая диагностику редких заболеваний

Исследователи представляют RaDaR — открытую 32B параметр reasoning large language model, предназначенную для ускорения диагностики редких заболеваний за счет решения проблем клинической внедряемости и нехватки данных. Модель обучена на почти 50 000 публичных случаях и более чем 100 000 синтетических случаев, демонстрируя превосходные результаты по бенчмаркам и во внешних валидационных центрах.

arxiv arXiv cs.LG · 53 д назад

Оценка базовых открытых моделей языковой модели для многозначной классификации ATT&CK

Создан и отображенный набор данных с 2076 предложениями, аннотированных людьми из 83 сложных отчетов по киберугрозам, с уровнем согласия между аннотаторами \k{appa} = 0.68. Оценены семь открытых моделей языковых моделей от 8B до 236B параметров, достигнув максимального значения F1 по микро-среднему среднему 0.22. Размер параметров показал статистически значимую положительную корреляцию с F1, в то время как стратегия запроса и температура не привели к значительным улучшениям, что указывает на недостаточность текущих открытых моделей языковых моделей для классификации ATT&CK на производственном уровне.

arxiv arXiv cs.CL · 53 д назад · 2 просмотра

LLMs предсказывают деменцию и депрессию на основе клинической речи

Исследование использует открытые большие языковые модели для оценки степени деменции и депрессии на основе клинических интервью. Модели достигают точного нуля-шот-предсказания депрессии (MAE 0,60) и улучшенной оценки деменции с извлечением признаков (MAE 0,78), снижая ошибки до 35%. Транскрипции с учетом пауз соответствуют ручным транскрипциям, что поддерживает автоматизированные потоки фильтрации для невропсихиатрических расстройств.

lab DeepSeek (Hugging Face) · 438 д назад

DeepSeek-R1-0528 улучшает рассуждения и точность AIME до 87,5%

DeepSeek выпустила DeepSeek-R1-0528, незначительное обновление версии, которое существенно повышает глубину рассуждений и возможности вывода за счёт увеличения вычислительных ресурсов и алгоритмических оптимизаций в процессе постобучения.

media InfoQ · 551 д назад

DeepSeek открыл исходный код LLM DeepSeek-R1 с производительностью, сопоставимой с OpenAI o1

DeepSeek открыла исходный код DeepSeek-R1, большой языковой модели, дообученной с использованием обучения с подкреплением для улучшения способностей к рассуждению. Модель демонстрирует результаты на уровне OpenAI o1 на таких бенчмарках, как MATH-500 и SWE-bench.