LegalHalluLens представляет рамку для аудита халлюцинаций ИИ в правовых контекстах, анализируя профили халлюцинаций при вводе по четырём категориям утверждений. Оно выявляет разрыв в 38-40 баллов между утверждениями о обязательствах/числовых и временных утверждениях, и показывает, что два системы с одинаковыми показателями 52% халлюцинаций могут иметь противоположные направления риска. Рамка использует индекс направления риска и калиброванные дебатные потоки для снижения выявленных халлюцинаций на 45%, предоставляя практические диагностики для надежного внедрения правового ИИ.
arxiv
arXiv cs.LG
·
76 д назад
·
ист: 77 д назад
·
research
LegalHalluLens: аудит халлюцинаций в правовых ИИ
Переведено с English → Русский
Важность 3/3
Новая фича по сравнению с лидерами
Новый бенчмарк-харнесс с отличиями
arXiv cs.LG
Mistral AI
OpenAI
xAI
AI agents
Reasoning models
Safety & alignment
Похожие статьи
arxiv
arXiv cs.AI
·
74 д назад
·
4 просмотра
LedgerAgent: структурированный статус для агентов вызова инструментов, соблюдающих политику
LedgerAgent вводит структурированный журнал для поддержания состояний задач отдельно в агентах вызова инструментов. Он превращает состояния в промпты и обеспечивает соблюдение политических ограничений до выполнения инструмента, что снижает нарушения политики и улучшает производительность в областях обслуживания клиентов.
arxiv
arXiv cs.CL
·
74 д назад
·
4 просмотра
LedgerAgent: структурированный статус для агентов вызова инструментов, соблюдающих политику
LedgerAgent вводит структурированный журнал для поддержания состояний задач отдельно в агентах вызова инструментов. Он превращает эти состояния в промпты и обеспечивает соблюдение политических ограничений до выполнения инструмента, что снижает нарушения политики и улучшает производительность в областях обслуживания клиентов.
arxiv
arXiv cs.CL
·
76 д назад
·
3 просмотра
LegalHalluLens: аудит галлюцинаций в правовом ИИ
LegalHalluLens представляет рамку для аудита галлюцинаций ИИ в правовых контекстах, анализируя профили галлюцинаций при вводе по четырём категориям утверждений. Оно выявляет разрыв в 38-40 баллов между утверждениями о обязательствах/числовых и временных утверждениях, и показывает, что две системы с одинаковыми показателями 52% галлюцинаций могут иметь противоположные направления риска. Рамка использует Индекс направления риска и калиброванные дебатные потоки для снижения выявления фальшивых утверждений на 45% и повышения ответственности при внедрении правового ИИ.
arxiv
arXiv cs.AI
·
74 д назад
·
3 просмотра
Эффективная и надежная вероятностная проверка для агентов ИИ
Новый фреймворк обеспечивает безопасную вероятностную проверку политик для агентов ИИ в неопределенных средах. Он использует распределенно устойчивую оптимизацию для вычисления строгих верхних оценок вероятности нарушения политик без предположения независимости предикатов. Метод превосходит предыдущие подходы на бенчмарках для агентов-конечных и вызова инструментов, улучшая баланс между безопасностью и полезностью.
arxiv
arXiv cs.AI
·
75 д назад
·
4 просмотра
Двухагентная архитектура для проверенной перевода между моделями
Двухагентная архитектура преобразует протоколы экспериментов на естественном языке в исполняемые команды для платформ роботизированных лабораторий. Она использует агента парсера и движок отображения на основе правил для перевода протоколов, при этом агент проверки с использованием гетерогенной нейросети обеспечивает точность и запускает самокоррекцию. Архитектура успешно позволяет реализовывать автономное выполнение экспериментов на микроплашках, таких как тест Брадфорда.