LegalHalluLens представляет рамку для аудита галлюцинаций ИИ в правовых контекстах, анализируя профили галлюцинаций при вводе по четырём категориям претензий. Оно выявляет разрыв в 38-40 баллов между претензиями о обязательствах/численных и временных претензиях, и показывает, что две системы с одинаковыми показателями 52% галлюцинаций могут иметь противоположные направления риска. Рамка использует индекс направления риска и калиброванные дебатные потоки для снижения обнаружения выдуманных данных на 45% и улучшения ответственности при внедрении правового ИИ.
arxiv
arXiv cs.AI
·
56 д назад
·
research
LegalHalluLens: аудит галлюцинаций в правовом ИИ
Переведено с English → Русский
Важность 3/3
Новая фича по сравнению с лидерами
Новый бенчмарк-харнесс с отличиями
arXiv cs.AI
OpenAI
Anthropic
Google DeepMind
AI agents
Reasoning models
Safety & alignment
Похожие статьи
arxiv
arXiv cs.LG
·
17 ч назад
·
1 просмотр
Исследователи используют повторное применение сквозной сессийной шифрования для кражи цепочек рассуждений из API LLM
Исследователи выявили уязвимость в том, как ведущие провайдеры больших языковых моделей обрабатывают пошаговые цепочки рассуждений, которые возвращаются в виде зашифрованных блоков для использования на стороне клиента. Они обнаружили, что эти зашифрованные блоки полностью совместимы и взаимозаменяемы между различными сессиями, пользователями и моделями в рамках экосистемы одного провайдера.
arxiv
arXiv cs.AI
·
53 д назад
·
6 просмотров
NRT-Bench: Многоходовое красное тестирование агентов ЛЛМ в критически важных системах
NRT-Bench представляет бенчмарк для многоходового красного тестирования агентов ЛЛМ, работающих в симулированной атомной электростанции. В четырех передовых моделях операторов в 8,7% до 12,1% атак приводят к потере критической функции безопасности, при этом уязвимости в основном не пересекаются между моделями. Эффективность защит значительно варьируется в зависимости от модели, что демонстрирует сильную зависимость от модели.
arxiv
arXiv cs.AI
·
53 д назад
·
2 просмотра
Защита от автоматизированных атак на агентные ИИ
Системы агентных ИИ сталкиваются с растущими угрозами со стороны автоматизированных атак, основанных на моделях. Новая стратегия защиты — Контекстная дезориентация через прогрессивное вовлечение (CMPE) — снижает успех атакантов до двух порядков и почти полностью устраняет подтвержденные успехи атак в тестах на стандартах.
arxiv
arXiv cs.AI
·
53 д назад
LedgerAgent: структурированный статус для агентов вызова инструментов, соблюдающих политику
LedgerAgent вводит структурированный журнал для поддержания состояний задач отдельно в агентах вызова инструментов. Он превращает состояния в промпты и обеспечивает соблюдение политических ограничений до выполнения инструмента, что снижает нарушения политики и улучшает производительность в областях обслуживания клиентов.
arxiv
arXiv cs.CL
·
54 д назад
·
1 просмотр
LedgerAgent: структурированный статус для агентов вызова инструментов, соблюдающих политику
LedgerAgent вводит структурированный журнал для поддержания состояний задач отдельно в агентах вызова инструментов. Он превращает эти состояния в промпты и обеспечивает соблюдение политических ограничений до выполнения инструмента, что снижает нарушения политики и улучшает производительность в областях обслуживания клиентов.