arxiv arXiv cs.LG · 52 д назад · research

Разбор внимания трансформера с помощью исполняемых программ

Переведено с English → Русский

Новый метод использует синтез программ для генерации программ на языке Python, которые воссоздают паттерны внимания в моделях трансформеров. Такие программы достигают среднего значения пересечения по объединению более 75% на отложенных данных и могут заменить до 25% голов внимания с минимальным влиянием на производительность модели, увеличивая перплексность в среднем на 16%.

Важность 2/3 Новый бенчмарк-харнесс с отличиями arXiv cs.LG OpenAI Meta AI Mistral AI AI agents Open weights Reasoning models

Оригинал

LOGOS: Общее генеративное моделирование для естественных наук

LOGOS — это единая генеративная языковая модель, которая представляет научные объекты и их взаимодействия в виде последовательностей токенов в общей грамматике. Модель достигает стабильной или превосходной производительности на различных задачах естественных наук, демонстрируя возможность использования одной модели для работы в нескольких областях. Производительность модели растёт с увеличением количества параметров, и её конструкция указывает на то, что искусственный интеллект для науки должен тесно интегрироваться с большими языковыми моделями через общие архитектуры и обучение.

media AI News (smol.ai) · 2 д назад

Обновления Muse Spark 1.2 от Meta и GPT-5.6 Sol от OpenAI

Meta объявила, что её модель Muse Spark 1.2 показала золотой результат на пяти олимпиадах по STEM и вошла в топ-5 индекса Vals при стоимости $0.69 за тест, что, по сообщениям, в 3 раза дешевле Kimi. Meta объяснила эти достижения оркестровкой с участием нескольких агентов и параллельным мышлением, отметив идеальные результаты по теории на APhO и IPhO без использования внешних инструментов.

arxiv arXiv cs.CL · 47 д назад · 6 просмотров

Метод направления на этапе тестирования устраняет конфликты временных фактов в языковых моделях

Исследователи выявили параметрические временные конфликты в языковых моделях, где устаревшие факты сохраняются в параметрах. Они вводят Метод временного притяжения (TAS), подход на этапе тестирования, который устраняет 29-57% таких конфликтов без переобучения, сохраняя точность 85-99% на запросах без конфликтов и превосходя базовую модель на трёх из четырёх моделей.

media r/LocalLLaMA · 51 д назад · 4 просмотра

Охо-Сейт-Университет выпускает открытый Deep Research-агент QUEST-35B

Команда NLP Охо-Сейт-Университета выпустила QUEST-35B, открытый Deep Research-агент, обученный на примерно 32 картах H100 с использованием 8 000 синтетических образцов. Команда открыла доступ к рецепту обучения, коду, весам и наборам данных, при этом результаты тестирования показывают конкурентоспособную производительность по сравнению с ведущими закрытыми Deep Research-системами.

media r/LocalLLaMA · 51 д назад

Охо-Сейт-Университет выпускает открытый Deep Research-агент QUEST-35B

Исследователи из Охо-Сейт-Университета обучили агента Deep Research QUEST-35B с использованием приблизительно 32 GPU H100 и 8 000 синтетических образцов. Они опубликовали рецепт обучения, код, веса и датасеты, при этом результаты тестирования показывают конкурентоспособную производительность по сравнению с ведущими закрытыми системами Deep Research.