Малый эксперимент показывает, что нативные бинарные модели векторов обеспечивают лучшую рекомендацию по сравнению с пост-последовательной бинаризацией моделей с плавающей точкой. На SciFact Recall@10 нативные бинарные модели (2048-мерные и 4096-мерные) превосходят пост-последовательные бинарные модели на 17% и 25% соответственно, с существенными преимуществами по скорости и памяти при индексировании.
OpenBioRQ вводит бенчмарк из 12 553 нерешённых вопросов в области биомедицинских исследований в 12 областях, разработанный для проверки верности и отказа агентных моделей. Он оценивает модели в условиях использования инструментов без ключей ответов, используя реальные доказательства последующих шагов, а не параметрические знания, и показывает значительное падение агентной способности на самые сложные вопросы, где инструменты больше не используются, несмотря на их критическую важность.
Mateusz разработал полностью предобученную модель языка Project Inkblot's Titan v1, объединяющую Mamba SSM, Multi-Head Attention и 32-экспертную MoE в одной архитектуре декодера-только, с менее чем 1 миллиард параметров. Модель, обученная на одном GPU NVIDIA L4 за ~$50, достигает значения перпексивности 27.5 на валидационной выборке и демонстрирует эффективное масштабирование при изменении одной строки конфигурации, при этом все компоненты реализованы с нуля на PyTorch. Первый цикл обучения Titan v2 теперь завершён, и происходит расширение датасета.
Новый набор данных IFLLM собирает данные о перемещении мыши и взгляде пользователя при взаимодействии с LLM. Он показывает, что скрытая обратная связь значительно улучшает выравнивание LLM, повышая точность текстовых моделей вознаграждения с 55% до 64% и почти втрое увеличивая качество ответов после обучения DPO на восьми LLM.
Новый набор данных IFLLM собирает данные о перемещении мыши и взгляде пользователя при взаимодействии с LLM. Он показывает, что скрытая обратная связь значительно улучшает выравнивание LLM, повышая точность текстовых моделей вознаграждения с 55% до 64% и почти утрачивая качество ответов после обучения DPO на восьми LLM.
ScaffoldAgent вводит рамку с утилиты-ориентированным управлением для динамической оптимизации структуры в открытых глубоких исследованиях. Он моделирует эволюцию структуры через операции расширения, сжатия и редактирования, управляемые механизмом обратной связи, оценивающим прирост поиска, структурную целостность и качество генерации. Эксперименты показывают, что он улучшает генерацию длинных отчётов и фактическую опору по сравнению с существующими агентами.
При увеличении каталога инструментов агентов предприятий от 10 до 110 агентов, точность маршрутизации снижается на 16--23 процентных пункта при запросах с недостаточным описанием. Анализ с использованием оракула выявляет разрывы в извлечении и путанице, при использовании базы векторных представлений для сокращения списка результатов восстанавливается +10--11pp F1. Изучение 1435 изъятий с участием человека подтверждает реальное восстановление +10--17pp, несмотря на более низкую абсолютную производительность.
Граф разностей (GoD) вводит представления анатомических графов для обеспечения идентификации медицинских изображений с явным структурным обоснованием. Он вычисляет разности между названными анатомическими областями и сопоставляет их с глобальными разностями в основной архитектуре, предоставляя клинически проверяемые, структурные объяснения. GoD повышает точность Rank-1 на 7,1 пункта для фундуса и на 3,1 пункта для рентгеновских снимков, демонстрируя лучшую производительность при нулевом обучении.
Исследование сравнивает 2D и 3D диффузионные модели для генерации синтетических рентгеновских изображений. Оно показывает, что синтетические рентгеновские изображения, созданные на основе 2D диффузионных моделей, могут обучать ИИ-модели так же эффективно, как модели, обученные на реальных рентгеновских изображениях, предлагая жизнеспособный путь к созданию больших и разнообразных наборов данных без использования реальных данных пациентов.
MIRCaps представляет масштабный многомодальный датасет, содержащий 141 364 изображения, 981 947 описаний на уровне изображения, 1 742 264 описания на уровне регионов и 5 391 779 аннотаций bounding box. Он обеспечивает детальное обучение визуально-языковых моделей за счёт подробных описаний для категорий объектов, их размеров, цветов, действий и контекста окружающей среды, и демонстрирует эффективность в задачах генерации описаний изображений и обнаружения объектов.
Групповое блочное локальное обучение (HBLL) позволяет обучать глубокие нейронные сети за временной сложностью O(log N) в параллельном режиме, устраняя необходимость полного обратного распространения. HBLL разбивает сети на блоки, связанные иерархически, и достигает конкурентоспособных результатов на задачах визуального и языкового понимания, с расширениями на рекуррентные архитектуры.
Исследование вводит JS-разделение в постобучивании GRPO-стиля, демонстрируя, что оно сбалансирует оптимизацию политики и разнообразие генерации. Эксперименты на LlamaGen и Janus-7B показывают, что JS-разделение достигает лучших или сильных результатов по оценочным метрикам, сохраняя разнообразие выходов.
Али, независимый исследователь 16 лет, разработал PsiLogic — активный оптимизатор с учетом хаоса, основанный на Adam. При оценке против AdamW и Lion с использованием FairBench на NVIDIA H100, PsiLogic достиг лучших показателей валидации на трёх из четырёх задач и статистически равен по четвёртой, хотя и имеет избыточное время шага. Автор просит поддержку для подачи в arXiv под разделом cs.LG, предоставив репозиторий на GitHub и код подтверждения 4ACC37.
Модель VibeThinker с 3 миллиардами параметров превосходит Opus 4.5 в задачах логического мышления с использованием новой методики обучения SFT+GRPO. Модель была представлена в статье, доступной на arXiv, с подробностями, размещёнными в посте на Reddit.
Новый микробенчмарк LLM оценивает, насколько хорошо большие языковые модели могут моделировать границы твердого и жидкого вещества с использованием Surface Evolver, инструмента 1992 года для моделирования поверхностей жидкости. Бенчмарк требует от LLM написать файлы данных SE, определяющие геометрию и ограничения, через итеративный агентский процесс с объективной оценкой, предлагая специфическую задачу с реальной научной значимостью и редкими обучающими данными.
Новая методика улучшает сопоставление сущностей в графах знаний за счёт введения оценки важности предикатов и декуплированной дистилляции обоснований-оценок. Эти модули повышают точность классификации и позволяют валидацию с участием человека за счёт обнаружения неопределённых предсказаний при помощи декуплированной оценки уверенности.
Исследователи предлагают уровень сущности в выявлении членства для определения того, было ли в процессе обучения LLM вынуждено обрабатывать информацию о реальной сущности. С помощью построения запросов с ограниченными подсказками по сущности и анализа семантических признаков в полученных ответах, их пять стратегий интервью достигают до 0,97 AUC и улучшают сбалансированную точность на 6,0%–17,5% по сравнению с адаптированными базовыми моделями на сущностях человека.
Новый метод использует большие языковые модели как недостаточные оценщики в панели для измерения политических позиций в регионах с редкими данными. Добавление письменных определений осей улучшает согласованность и согласие оценщиков, при этом Krippendorff's alpha в размере 0,86 указывает на высокую надежность между моделями и лабораториями. Разногласия выявляют интерпретационные проблемы, что свидетельствует о том, что метод выявляет проблемы с референтами, а не ошибки измерения.
Исследование 3750 запросов в пяти отраслях показало умеренную концентрацию рекомендаций, с средним коэффициентом Гини в 0,28. Согласие между моделями по рекомендованным брендам составило только 41,6%, а показатели смещения варьировались в зависимости от отрасли, от 0,4:1 до 4,3:1. Результаты противоречат концепции «победитель получает всё» и вводят три воспроизводимых метрики для анализа конкуренции.
Разговор охватывает теоретические темы ИИ, имеющие математические основания и возможность реализации в современных ИИ-системах, таких как большие языковые модели. Темы включают цепочки рассуждений, графы знаний и вероятностное рассуждение, все из которых основаны на формальной математике и демонстрируют потенциал для реальных применений в ИИ.