media r/LocalLLaMA · 1 ч назад · open_models

DeepSeek V4 Flash 0731 показал 82.7% на Terminal-Bench 2.1 в публичном стенде

Переведено с English → Русский

Независимая оценка с использованием фреймворка Ante 0.preview.71 подтверждает, что DeepSeek V4 Flash 0731 достигает точности 82.7% на Terminal-Bench 2.1, совпадая с ранее заявленными результатами DeepSeek.

Запуск состоял из 445 испытаний по 89 задачам с 5 испытаниями на задачу и максимальной интенсивностью рассуждений.
Модель выполнила 368 успешных испытаний из 445, что дает точность 82.7% (±1.79 SE).
Оценка использовала модель `deepseek/deepseek-v4-flash-0731` через OpenRouter без включенных навыков.

Все конфигурации и записи испытаний публично доступны в задаче Harbor для проверки.

Результаты демонстрируют, что производительность DeepSeek V4 Flash 0731 чувствительна к используемому фреймворку оценки, предоставляя полезные данные для бенчмаркинга.

Важность 2/3 Новый бенчмарк-харнесс с отличиями r/LocalLLaMA DeepSeek Evaluation & benchmarks

Бенчмарки

Бенчмарк	Модель	Результат
Terminal-Bench 2	DeepSeek V4 Flash 0731	82.7%

Оригинал

Похожие статьи

arxiv arXiv cs.CL · 34 д назад

Калибровка снижает связанность предпочтений оценщика в циклах обратной связи агентов LLM

Исследование изучает, может ли вероятностная калибровка суждений оценщика смягчить «связанность предпочтений оценщика», при которой систематические смещения распространяются на стратегию агента LLM. Авторы представляют первый анализ этого подхода к смягчению, применяя калибровку к попарным суждениям для снижения ложного распространения предпочтений.

arxiv arXiv cs.CL · 36 д назад

Бенчмарк SPLIT оценивает кросс-лингвальную эмпатию и культурный контекст в ответах LLM на английском и украинском языках

Представлен бенчмарк SPLIT для оценки согласованности больших языковых моделей при генерации эмоционально обоснованных ответов по пяти категориям, связанным с кризисом: Стресс, Паника, Одиночество, Внутреннее перемещение и Напряжение. Фреймворк оценивает три технически разнообразные LLM по эмпатической точности, лингвистической естественности и контекстуальному & культурному обоснованию как на английском, так и на украинском языках.

media r/LocalLLaMA · 37 д назад · 2 просмотра

Дополнение: DeepSeek V4 Flash на 2x RTX PRO 6000 завершает реальные задачи кодирования быстрее Sonnet и Opus, при качестве примерно на уровне Sonnet

Дополнительное бенчмарк-тестирование оценивает работу DeepSeek V4 Flash на двух GPU RTX PRO 6000 с использованием vLLM, сравнивая её производительность в реальных задачах кодирования с API-моделями, такими как Claude Sonnet и Opus. Исследование показывает, что хотя Opus и Fable сохраняют превосходное качество кода, DeepSeek V4 Flash достигает качества примерно на уровне Sonnet при значительно меньшем времени выполнения.

arxiv arXiv cs.CL · 40 д назад

Не совсем человеческие вкусы: стилизованная всеядность суррогатов опросов LLM

В данном исследовании оценивается способность больших языковых моделей аппроксимировать человеческие культурные вкусы путем генерации кремниевых суррогатов на основе Опроса общественного участия в искусстве. Используя модели от OpenAI, Anthropic и DeepSeek, авторы анализируют 277 470 синтетических респондентов, чтобы определить, могут ли LLM достоверно воспроизводить реальные данные опросов.

arxiv arXiv cs.CL · 40 д назад · 2 просмотра

OCR-VLMs читают Деванагари? Бэнчмарк и исследование пост-коррекции

Исследование оценивает десять систем OCR на текстах на языке Деванагари, показывая, что специализированные модели OCR с зрительным языковым анализом хрупки при деградации изображений, а высокая точность на английском не предсказывает точность для индийских скриптов.