media AI News (TechForge) · 737 д назад

Экспериментальная модель Gemini 1.5 Pro 0801 от Google обошла GPT-4o в LMSYS Chatbot Arena

Переведено с English → Русский

Экспериментальная модель Gemini 1.5 Pro от Google обошла GPT-4o от OpenAI в бенчмарках генеративного ИИ, конкретно на лидерборде LMSYS Chatbot Arena.

Экспериментальная версия, обозначенная как Gemini 1.5 Pro 0801, набрала 1 300 очков.
Этот результат превышает показатель GPT-4o в 1 286 и Claude-3 в 1 271.
Предыдущая итерация Gemini 1.5 Pro набрала 1 261 очко.

Это событие знаменует собой значительную веху в продолжающейся гонке за превосходство ИИ среди технологических гигантов.

Важность 3/3 Обходит бенчмарк топ-лаборатории AI News (TechForge) Google DeepMind OpenAI Benchmark results

Бенчмарки

Бенчмарк	Модель	Результат
LMSYS Arena (Elo)	Gemini 1.5 Pro 0801	1300Elo

Оригинал

Meta тестировала ChatGPT, Gemini и Character.AI с помощью промптов о кризисах несовершеннолетних

По сообщениям, Meta наняла сотни подрядчиков, которые выдавали себя за несовершеннолетних и отправляли чатботам от OpenAI, Google и Character.AI запросы, связанные с самоубийством, сексом и наркотиками. В одном раунде тестирования было отправлено более 45 000 промптов.

arxiv arXiv cs.CL · 35 д назад

Оценка в режиме zero-shot показывает, что Gemini лидирует среди LLM по таксономии эмоций из 13 классов

Исследование оценило три коммерческие большие языковые модели — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) и Gemini (gemini-2.5-flash) — на задаче тонкой классификации эмоций в режиме zero-shot с использованием стратифицированной выборки из 1 000 предложений из датасета boltuix/emotions.

arxiv arXiv cs.CL · 51 д назад · 1 просмотр

REDACT: Мультималярный бенчмарк по обнаружению персональных данных с систематическим контролем

REDACT представляет систематически контролируемый мультималярный бенчмарк для обнаружения персональных данных, включающий 51 тип сущностей, 4127 паттернов поверхностных форм и 25 языков. Бенчмарк оценивает пять детекторов на 1000 записях, показывая, что модели на основе правил не справляются с высококритичными данными, в то время как модели на основе больших языковых моделей показывают лучшие результаты, особенно в высокочувствительных категориях. Оценка LLM без ссылки на эталон подтверждает, что назначение чувствительности по уровням является наиболее сложной осью оценки.

arxiv arXiv cs.CL · 52 д назад

Сети с раздраженной синхронизацией превосходят трансформеры

Сети с раздраженной синхронизацией (FSN) достигают более низкой ошибки валидации, чем трансформер с RoPE-SwiGLU на уровне символов и задачах по коду на каждом эпохе. При одном миллионе параметров FSN достигает ошибки валидации 1,5953 ± 0,0014, что превосходит достигнутую ошибку трансформера 1,611. Это преимущество сохраняется до четырёх миллионов параметров, при этом продолжаются оценки на более высоких масштабах.

media IntuitionLabs · 115 д назад · 39 просмотров

GPT-5.2 достигает ~53% на ARC-AGI-2 в декабре 2025 года

GPT-5.2 от OpenAI, выпущенный в декабре 2025 года, стал значительной вехой в абстрактном рассуждении ИИ, показав примерно 53–54% успешных результатов на ARC-AGI-2. Этот результат значительно превзошел предыдущее состояние искусства, где ни одна закрытая модель не достигала даже 5% успеха.