arxiv arXiv cs.CL · 76 д назад · research

SkillWeaver: Составная маршрутизация навыков для агентов на основе языковых моделей

Переведено с English → Русский

SkillWeaver вводит рамку декомпозиции-получения-составления для агентов на основе языковых моделей, формализующую проблему составной маршрутизации навыков. Он достигает точности декомпозиции на уровне 67,7% с помощью итеративной декомпозиции с учетом навыков (SAD), улучшая результат с 51,0% с p-значением менее 10^-6, и снижает использование окна контекста более чем на 99%.

Важность 3/3 Новая фича по сравнению с лидерами Новый бенчмарк-харнесс с отличиями arXiv cs.CL OpenAI Cohere Mistral AI AI agents Reasoning models Training methods

Оригинал

Анализ траекторий раскрывает структуру навыков, но не улучшает политики

Трехэтапный пайплайн извлекает библиотеки навыков из данных взаимодействия с интерфейсом, достигая высокой чистоты в пяти из восьми кластеров по сравнению с метками InteraSkill. Однако метод лишь слегка улучшает точность навыков-шагов на IW и не улучшает производительность на BrowseComp+ или ключевые метрики, что указывает на ограниченность переноса политики между доменами.

arxiv arXiv cs.CL · 76 д назад · 3 просмотра

LegalHalluLens: аудит галлюцинаций в правовом ИИ

LegalHalluLens представляет рамку для аудита галлюцинаций ИИ в правовых контекстах, анализируя профили галлюцинаций при вводе по четырём категориям утверждений. Оно выявляет разрыв в 38-40 баллов между утверждениями о обязательствах/числовых и временных утверждениях, и показывает, что две системы с одинаковыми показателями 52% галлюцинаций могут иметь противоположные направления риска. Рамка использует Индекс направления риска и калиброванные дебатные потоки для снижения выявления фальшивых утверждений на 45% и повышения ответственности при внедрении правового ИИ.

arxiv arXiv cs.CL · 78 д назад · 3 просмотра

DeepRubric: Эффективная RL для агентов глубокого исследования

DeepRubric представляет рамку построения данных, которая создает пары запрос-оценочный критерий, начиная с определения верифицируемых целей оценки через дерево доказательств. Оно генерирует 9K примеров надзора и обучает модель размером 8B с использованием GRPO, достигая производительности, сравнимой с лучшими моделями, при использовании в 13 раз меньшего количества часов GPU для RL.

arxiv arXiv cs.LG · 78 д назад · 4 просмотра

Определение поведения агентов через процедуры траекторий

Мы предлагаем метод идентификации агентов по их поведенческим отпечаткам, достигающий точности 85,7% при присвоении неизвестных траекторий правильным агентам. Используя ProcGrep, мы анализируем поведение кодирующих агентов в SWE-Bench, и находим, что модели из схожих периодов выпуска или distilled друг от друга демонстрируют более близкую поведенческую схожесть, с показателем дивергенции Дженсена-Шанна 0,25.

arxiv arXiv cs.AI · 74 д назад · 4 просмотра

LedgerAgent: структурированный статус для агентов вызова инструментов, соблюдающих политику

LedgerAgent вводит структурированный журнал для поддержания состояний задач отдельно в агентах вызова инструментов. Он превращает состояния в промпты и обеспечивает соблюдение политических ограничений до выполнения инструмента, что снижает нарушения политики и улучшает производительность в областях обслуживания клиентов.