Ежедневные новости машинного обучения в кратком виде.
Версия 2.1.173 удаляет суффикс [1m] из имён моделей Fable 5, так как он теперь автоматически удаляется. Обновление также устраняет ложное сообщение об отсутствии зависимостей в сандбоксе на Windows при включении сандбокса.
Claude Code Releases · Источник
Claude v2.1.176 вводит генерацию заголовков сессии на языке пользователя и улучшает кэширование учетных данных Bedrock с динамическим истечением срока. Множество исправлений решают проблемы с перенаправлением моделей, совпадением путей файлов, обработкой буфера обмена, управлением сессиями и фоновыми операциями на разных платформах.
Claude Code Releases · Источник
Обновление v2.1.175 вводит управляемую настройку enforceAvailableModels. При включении она обеспечивает, что по умолчанию модель переключается на первый разрешенный вариант, если указан запрещенный, и предотвращает расширение пользовательских или проектных настроек списком разрешенных моделей.
Claude Code Releases · Источник
Anthropic выпустил v2.1.174, добавив новое настройку для отключения ускорения прокрутки мыши в полноэкранном режиме. Обновление исправляет несколько проблем, включая отображение выбора модели, точность информационного баннера, ошибки профилей инференса в регионе GovCloud и наследование среды фоновых сессий, а также улучшает производительность и точность в рабочих процессах и атрибуции использования.
Claude Code Releases · Источник
Для этого релиза недоступен контент.
Claude Code Releases · Источник
Состояние обучения с усилением для логического мышления в больших языковых моделях исследует, как логические способности в больших языковых моделях развиваются за счёт обучения с усилением. Модель о3 от OpenAI, обученная с 10 раз большим объёмом вычислений по сравнению с o1, демонстрирует значительный прогресс с использованием методов обучения с усилением, подчёркивая, что масштабирование само по себе недостаточно, и целенаправленное обучение с усилением является необходимым для повышения точности моделей при выполнении сложных задач.
Ahead of AI · Источник
Себастьян Рашка делится главой 1 его нового книги о мышлении в больших языковых моделях. В главе определяется понятие мышления в LLM, различается от паттерн-мэчинга и описывается ключевые методы, такие как масштабирование на этапе инференса и обучение с помощью репозиции, подчеркивая ценность построения моделей мышления с нуля.
Ahead of AI · Источник
Автор представляет отобранный список исследовательских статей по LLM с января по июнь 2025 года, организованный по тематикам, таким как модели мышления, обучение с помощью вознаграждений и многомодальные системы. В списке 30 статей, с акцентом на стратегии мышления на этапах обучения и инференса, и он публикуется в двухразовом формате, чтобы оставаться актуальным и доступным.
Ahead of AI · Источник
Полный 15-часовой курс объясняет, как создавать большие языковые модели с нуля, охватывая темы от подготовки текстовых данных до настройки по инструкциям. Материал включает семь подробных видео и дополнительный обзор эволюции LLM с 2018 по 2025 год, ранее разработанный как дополнительный материал для книги и теперь представлен в виде самостоятельных образовательных ресурсов.
Ahead of AI · Источник
Кэш КВ хранит векторы ключей и значений из предыдущих генераций токенов, чтобы избежать избыточных вычислений во время инференса, что значительно ускоряет генерацию текста в больших языковых моделях. В статье приводится с нуля, понятная для человека реализация кэша КВ, объясняется его концептуальная основа и структура кода, при этом отмечается, что он увеличивает использование памяти и не применим во время обучения.
Ahead of AI · Источник
Представлено всестороннее обзор десяти крупных открытых больших языковых моделей, выпущенных в январе-феврале 2026 года, с акцентом на архитектурные особенности, такие как Mixture-of-Experts, скользящее окно внимания и эффективность параметров. Ключевые модели включают Trinity Large от Arcee AI (400B параметров с 13B активными), GLM-5 от z.AI и Tiny Aya от Cohere, при сравнении подчеркивается сходство в дизайне и инновации в механизмах внимания и масштабируемости.
Ahead of AI · Источник
Статья исследует ключевые архитектурные достижения современных крупных языковых моделей, сосредоточившись на DeepSeek V3 и его последующей модели рассуждения DeepSeek R1. В ней подчеркиваются две инновации: Multi-Head Latent Attention (MLA) и Mixture-of-Experts (MoE), которые повышают вычислительную эффективность и позволяют отличить DeepSeek V3 от других LLM.
Ahead of AI · Источник
В этой статье приводится практическая, кодовая реализация моделей Qwen3 на чистом PyTorch. В статье подчеркивается популярность Qwen3 благодаря разработчико-дружественной лицензии Apache 2.0, высокой производительности на тестовых наборах данных, таких как LMArena, и широкому диапазону размеров моделей от 0,6B до 480B параметров.
Ahead of AI · Источник
OpenAI выпустил модели gpt-oss-120b и gpt-oss-20b, их первые полностью открыто-весовые большие языковые модели с момента GPT-2 в 2019 году. Модели разработаны с использованием архитектурных оптимизаций, включая MXFP4, что позволяет выполнять их локально на GPU, при этом модель 20B работает на консумерской аппаратной части, а модель 120B — на H100 или новее.
Ahead of AI · Источник
Четыре основных подхода к оценке больших языковых моделей — это ответы на вопросы с несколькими вариантами, проверяющие системы, таблицы лидеров и судьи больших языковых моделей. Эти методы относятся к категориям на основе бенчмарков и на основе оценок, при этом бенчмарки с несколькими вариантами ответов, такие как MMLU, исторически были наиболее распространены. В статье приведён ясный обзор каждого метода и включены примеры кода, написанные с нуля, для иллюстрации их реализации и ограничений.
Ahead of AI · Источник
Хотя большинство больших языковых моделей остаются автокоррекционными декодерами на основе трансформеров, в последние годы появляются альтернативы, такие как модели текстовой диффузии и гибриды с линейным вниманием. Эти подходы направлены на повышение эффективности или производительности моделирования, при этом некоторые из них, такие как модели Code World, ориентированы на конкретные сценарии использования. В статье отмечается разнообразие открытых моделей и указано, что нестандартные архитектуры заслуживают более глубокого изучения в будущих публикациях.
Ahead of AI · Источник
DeepSeek выпустил V3.2, обновленную лидирующую модель, оснащенную спарсенным вниманием и улучшениями на основе обучения через вознаграждение. Модель демонстрирует сильную производительность, сравнимую с GPT-5 и Gemini -3.0 Pro, и доступна в виде открытой модели, расширяя доступ к передовым возможностям языковой обработки.
Ahead of AI · Источник
Представлен отобранный список исследовательских статей по крупным языковым моделям с июля по декабрь 2025 года, отнесённых к тематическим категориям, таким как модели рассуждений, обучение с учётом вознаграждения, стратегии инференса, выпуски моделей, архитектуры и мультимодальные системы. Список был создан как отдельная публикация для улучшения читаемости и доступности, в дополнение к публикации годового обзора "Состояние LLMs 2 025".
Ahead of AI · Источник
Статья классифицирует методы масштабирования на этапе инференса для улучшения логического мышления в больших языковых моделях без изменения весов модели. В ней рассматриваются методы, такие как Chain-of-Thought Prompting, Self-Consistency, Best-of-N Ranking, Rejection Sampling, Self-Refinement и Search Over Solution Paths, с акцентом на практические реализации и недавние научные работы.
Ahead of AI · Источник
DeepSeek R1, выпущенный в январе 2025 года, внедрил метод обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) с использованием алгоритма GRPO для обеспечения логического мышления в больших языковых моделях. Открытый весовой модель показал результаты, сопоставимые с лучшими проприетарными моделями, и предложил расходы на обучение около 5 миллионов долларов — значительно ниже предыдущих оценок — хотя не учитывает расходы на исследования и разработку.
Ahead of AI · Источник