Тема · Evaluation & benchmarks
arxiv arXiv cs.CL · 9 д назад

TokenPilot: Эффективное управление контекстом для агентов LLM

TokenPilot снижает расходы на инференс на 61% до 87% как в изолированном, так и в непрерывном режимах, превосходя предыдущие системы по эффективности расходов, при этом сохраняя конкурентные показатели производительности. Оно использует сжатие, учитывающее ввод, и эвакуацию, учитывающую жизненный цикл, для сохранения непрерывности кэша запросов и минимизации размера токенов.

arxiv arXiv cs.CL · 9 д назад

MetaSyn: Оценка агентов ЛЛМ на статьях по мета-анализу

MetaSyn представляет датасет из 442 мета-анализов, экспертно отобранных из Nature Portfolio. Он оценивает двенадцать конфигураций агентов ЛЛМ и выявляет критическую точку в отборе исследований, где ни одна система не восстанавливает более 52,7% истинно включённых источников, несмотря на высокую точность поиска.

arxiv arXiv cs.CL · 9 д назад

Языковые модели кодируют значение своей текущей траектории

Qwen3-8B внутренне отслеживает значение своей текущей траектории, определяемой как вероятность достижения своих целей. Эта "ось значения" различает уровни уверенности, поведение отката и корректность кода, и демонстрирует, что оптимизация предпочтений повышает уверенность в премиированных действиях. Модель присваивает низкое значение политически чувствительным запросам после обучения, а финальная настройка повышает уверенность в определённых областях.

arxiv arXiv cs.AI · 9 д назад

ActiveSAM: Быстрый и точный анализ семантической сегментации с открытым словарем

ActiveSAM — это рамка без обучения и с нулевым обучением, которая улучшает SAM 3 для семантической сегментации с открытым словарем, определяя активный набор классов, зависящий от изображения. Оно улучшает баланс между скоростью и точностью, превосходя SegEarth-OV3 на +1,4 mIoU в среднем и работает до 5,5 раз быстрее на датасетах с большим словарем, при этом демонстрируя сильную устойчивость при искажении изображений.

arxiv arXiv cs.LG · 9 д назад

ActiveSAM: Быстрый и точный открытие-словарный сегментация

ActiveSAM — это рамка без обучения, нулевого шаблона, которая улучшает SAM 3 для открытие-словарного семантического сегментирования за счет определения активного класса, зависящего от изображения. Оно улучшает компромисс между скоростью и точностью, превосходя SegEarth-OV3 на +1,4 mIoU в среднем и работает на 5,5 раз быстрее на больших словарях, при этом обладая сильной устойчивостью к искажениям изображений.

arxiv arXiv cs.LG · 9 д назад

ExpRL: Исследовательская RL для среднего обучения LLM

ExpRL вводит новую методику среднего обучения для LLM, используя данные вопрос-ответ, написанные людьми, как основу вознаграждения. Вместо имитации ссылочных решений, она строит специфические для задачи критерии оценки для вознаграждения промежуточных шагов рассуждения, что позволяет лучше инициализировать спарсенные вознаграждения RL и превосходить SFT, спарсенный GRPO и самодистилляцию на задачах математического мышления.

arxiv arXiv cs.LG · 9 д назад

HABC улучшает RL-настройку VLAs с разреженными результатами

Hierarchical Advantage-Weighted Behavior Cloning (HABC) улучшает онлайн-RL-настройку агентов визуально-языковых систем за счёт использования отдельных критических голов для жизнеспособности и эффективности. Оно объединяет их выходы через состояние-адаптивный воротник и применяет веса на переходе, при этом интервенция-ориентированная присвоение кредитов предотвращает утечку контроля. В реальных экспериментах с роботами HABC повышает показатели успеха до 92%, 88% и 38% на трёх бимануальных задачах, превосходя базовые значения SFT на 36%, 44% и 12%.

media r/LocalLLaMA · 10 д назад

HalBench проверяет 29 открытых моделей на сикофантизм и халлюцинации

HalBench оценивает 29 открытых моделей языковых моделей на специальном бенчмарке для сикофантизма и халлюцинаций. Qwen 3.6 и Gemma 4 превосходят более крупные модели, при этом Qwen 3.6 достигает 36,6% отклонения — выше, чем у GPT-5.4 и Gemini 3.1 Pro. Размер модели не коррелирует с честными ответами, что указывает на то, что архитектура и обучающие данные важнее, чем количество параметров.

arxiv arXiv cs.AI · 9 д назад

Семантический отражение: синтез образцов за пределами распределения для устойчивого отказа

Семантический отражение предлагает рамку синтеза образцов за пределами распределения путем преобразования запросов и видеопамяти для создания пар неподходящих ответов. Эти пары тренируют лёгкий модуль отказа, который присоединяется к существующим моделям визуально-языковых систем без перетренировки, улучшая производительность отказа в вопросах, связанных с телесной интерпретацией и пространственной локализацией. На новом бенчмарке SpaceReject оно достигает значения F1 0.9559.

arxiv arXiv cs.AI · 9 д назад

Разброс в открытии схем LLM: причины и меры по устранению

Эта статья анализирует разброс в открытии схем для больших языковых моделей, выявляя пересамплирование, переформулировку и разброс по образцам. В ней показывается, что CEAP снижает разброс при пересамплировании, и утверждается, что разброс при переформулировке обусловлен тем, что шаблоны запросов активируют разные схемы, что подразумевает, что LLM могут быть врождённо трудными для направления. Исследование также показывает, что редкость не решает эти проблемы, и что разброс по образцам в основном неопасен из-за того, что масштабирование отбора влияет на оценку несоответствия.

arxiv arXiv cs.AI · 9 д назад

MA-SBI: калибровка-безопасный SBI через направление стороннего канала

MA-SBI представляет рамку симуляционного вывода без калибровки, которая использует текстовые данные стороннего канала, такие как метки режима или инструкции, для коррекции недостаточности симулятора. Оно использует обученный корректор для применения сдвигов в пространстве наблюдений до вывода постериорного распределения, не требуя пар параметров с истинными значениями или переподготовки. На тестах hide-the-calibration MA-SBI достигает орального постериорного распределения с помощью текста, превосходя RoPE при ограниченных данных, и демонстрирует устойчивость на реальных данных по эпидемиологии и когнитивной науке.

arxiv arXiv cs.AI · 9 д назад

RAID: Семантическое графовое диффузионное моделирование для истинного холодного запуска и межязыкового прогнозирования

RAID представляет рамку, использующую метаданные-ориентированное семантическое извлечение и диффузионное моделирование на основе графа для решения задач истинного холодного запуска. Оно превосходит фундаментальные модели и базовые подходы по точности прогнозирования и покрытию интервалов, значительно снижает задержку инференса и позволяет осуществлять нулевую штуку межязыковую трансфер через общий семантический пространство.

arxiv arXiv cs.AI · 9 д назад

Единая кausal-оригин топология для сдвигов распределения в RL

Эта статья вводит единую кausal-оригин топологию, которая классифицирует сдвиги распределения в репликационном обучении на внутренние, агент-ориентированные и внешние, среда-ориентированные источники. Она объединяет обобщение ID/OOD и непостоянные ситуации, представляя сдвиги как структурированные изменения в процессе взаимодействия агента и среды, используя разложение POMDP и подход с смещённой границей времени.

arxiv arXiv cs.AI · 9 д назад

CircuitLasso: масштабируемый метод обучения разреженных схем для интерпретируемости больших языковых моделей

CircuitLasso предлагает масштабируемый метод обучения разреженных схем в больших языковых моделях с использованием разреженной линейной регрессии. Он достигает структурной точности, сравнимой с методами, основанными на вмешательстве, при значительно меньших вычислительных затратах, одновременно обеспечивая эффективное обнаружение распространения семантических признаков и улучшая производительность на задачах обобщения в области с уменьшенными затратами.

arxiv arXiv cs.AI · 9 д назад

Каузальная модель теории разума в конфликте ИИ

В этой статье предложена структурная кausalная модель, использующая направленный ациклический граф для определения условий, при которых вступает в силу кausalная необходимость вовлечения теории разума в конфликте человек-машин. Модель выявляет четыре внешние условия, пять медиаторов и три кausalные цепочки активации ToM, с эпистемической точностью как основным результатом. Предлагается ресурсно-рациональная модель социального мышления ИИ, подтвержденная симуляцией и исследованиями человек-машин.

arxiv arXiv cs.AI · 9 д назад

Каузальный фреймворк для аудита раскрытий синтетических данных

Новый эмпирический фреймворк аудита обнаруживает и классифицирует раскрытия синтетических данных как истинные или фантомные. Он отличает прямые копии пользовательских данных от случайного генерирования без доступа к модели или её обучению, используя только синтетические выходы и контрольную выборку. Метод обеспечивает более строгие границы утечки конфиденциальности, чем ранее разработанные подходы, и требует значительно меньших вычислительных ресурсов.

arxiv arXiv cs.AI · 9 д назад

Низкая частота кадров в нейронных аудиокодеках

Качественный спад на частоте 6,25 Гц в нейронных аудиокодеках вызван недостаточным количеством обучающих токенов из-за фиксированной продолжительности кадра. Коррекция этой конфигурации обучения позволяет обеспечить плавное снижение ошибки распознавания до 3,1 Гц и 1,6 Гц, что указывает на то, что низкая частота кадров может быть достигнута эффективнее, чем ранее считалось.

arxiv arXiv cs.AI · 9 д назад

Документация по исследованию ИИ улучшается в течение десятилетия

Анализ 56 800 статей на конференциях по ИИ показывает, что практики документирования улучшились с 2014 по 2024 год. Доля статей, в которых публиковались как код, так и данные, возросла с 11% до 64%, а оценка воспроизводимости увеличилась с 28% до 64%. Эти улучшения предшествуют официальным проверкам воспроизводимости, что указывает на более широкий сдвиг в сторону открытой науки.

arxiv arXiv cs.AI · 9 д назад

Фреймворк агентного LLM для классификации кодов HTS

Предлагается консенсусный агентный фреймворк больших языковых моделей для точной классификации 10-значных кодов Согласованной тарифной системы в морской логистике Канады. На 3300 экспертно обозначенных записях о продуктах модель показывает, что детальная классификация HTS остается сложной для продвинутых LLM, подчеркивая необходимость в работе, основанной на доказательствах, учитывающей неопределенность и включающей человека в процесс.

arxiv arXiv cs.AI · 9 д назад

Байесовские проверки выявляют несогласованные временные линии оценки ИИ

Публичные архивы оценки ИИ показывают, что один конечный результат может возникнуть из двух различных предшествующих историй, с оценками времени достижения 95% производительности на уровне 23,03 или 75,13. Модель, учитывающая выбор кандидатов, несущественно неудовлетворяет синтетическому восстановлению и калибровке неопределённости, и отклоняется при фиксированных проверках. Протокол архивирования и разрешения подтверждает временные границы и опровергает необоснованные утверждения о фронтовых достижениях.