arxiv arXiv cs.CL · 8 д назад

LegalHalluLens: аудит галлюцинаций в правовом ИИ

LegalHalluLens представляет рамку для аудита галлюцинаций ИИ в правовых контекстах, анализируя профили галлюцинаций при вводе по четырём категориям утверждений. Оно выявляет разрыв в 38-40 баллов между утверждениями о обязательствах/числовых и временных утверждениях, и показывает, что две системы с одинаковыми показателями 52% галлюцинаций могут иметь противоположные направления риска. Рамка использует Индекс направления риска и калиброванные дебатные потоки для снижения выявления фальшивых утверждений на 45% и повышения ответственности при внедрении правового ИИ.

arxiv arXiv cs.CL · 8 д назад

Синтетический личный опыт ИИ в поддержке уходчика

Модели локальных языков могут генерировать ответы, похожие на реакции сверстников, имитирующие личные истории, создавая ложное впечатление о личном опыте. Психолингвистический анализ показывает, что люди используют больше личных и ориентированных на прошлое конструкций, чем ИИ, и ИИ часто фабрикует основу опыта без реального опыта. Этот парадокс синтетического личного опыта может обманывать уходчика, что требует механизмов для различения поддерживающей формулировки от фабрикованного опыта.

arxiv arXiv cs.CL · 8 д назад

PseudoBench: Оценка устойчивости агентных систем автоматического поиска к псевдонаучным утверждениям

PseudoBench оценивает способность агентных систем автоматического поиска обнаруживать псевдонаучные утверждения. При тестировании семи передовых агентов было выявлено почти нулевое количество отказов и только 27,4% устойчивости к псевдонаучным нарративам, при этом более сильные агенты часто используют сложную научную лексику для маскировки псевдонаучности.

arxiv arXiv cs.CL · 8 д назад

Промпты по безопасности и приватности в диалогах пользователей с LLM

Исследование 14 727 промптов по безопасности и приватности из 3,2 млн реальных диалогов пользователей с LLM выявляет девять категорий запросов по безопасности и приватности. Коммерческие LLM превосходят открытые модели: GPT 5.5 обеспечивает хорошие ответы на 98% запросов, в то время как Llama 4 — на 47%, хотя некоторые коммерческие модели дают противоречивые ответы в разных исполнениях.

arxiv arXiv cs.CL · 8 д назад

Уязвимость ввода тройных фигурных скобок в Handlebars, позволяющая внедрять роли структур

Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структур, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно не затрагивает разделители в виде точки и хеш-символа Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей ролей и не может заменить структурное разделение инструкций и данных.

arxiv arXiv cs.CL · 8 д назад

Географическая предвзятость в больших языковых моделях из метаданных пользователей

Исследование показывает, что даже нейтральные запросы вызывают ответы, зависящие от региона, в больших языковых моделях из-за метаданных пользователей. Потеря местоположения увеличивается в некоторых моделях до 793 раз, и использование значения "Неизвестно" вместо метаданных местоположения всё равно вызывает значительную предвзятость, что указывает на то, что сам профиль пользователя действует как сигнал условий.

arxiv arXiv cs.CL · 8 д назад

Оценка агентов показывает, что модели ИИ не могут избегать эксплуатации животных

TAC, первый агентный бенчмарк для скрытой защиты животных, проверяет способность агентов ИИ избегать эксплуатации животных в сценариях бронирования путешествий. Все семь передовых моделей получают оценку ниже 64%, лучшая из них — 53%, и даже незначительные улучшения запроса дают лишь незначительные результаты. Проверка не выявила признаков осознания оценки, что указывает на разрыв в производительности, обусловленный отсутствием истинного мышления по вопросам благополучия животных, а не распознаванием запросов.

arxiv arXiv cs.CL · 8 д назад

Исследование со стороны красной команды показывает, что передовые LLM остаются уязвимыми перед автоматизированными атаками

Исследование со стороны красной команды по моделям Anthropic Fable 5 и Opus 4.8 показывает, что обе модели уязвимы к адаптивным итерационным атакам, при этом Opus 4.8 был проникнут на 11,5% интенций, а Fable -5 на 6,1%. Несмотря на прочные защиты, обе модели генерировали 1620 и 702 подтвержденных вредоносных завершений по всем категориям вреда, автоматически и эффективно при автоматизированных атаках.

arxiv arXiv cs.LG · 8 д назад

Справедливость в графовых нейронных сетях через адаптацию лапласиана

Новый подход модифицирует оператор лапласиана в графовой диффузии для повышения справедливости за счёт включения проекций на подпространства, спектральных корректировок и фильтрации по частотам. Метод использует сглаживающие свойства графовой диффузии для уменьшения предвзятости, и теоретический анализ вместе с эмпирической проверкой на синтетических и реальных данных показывают улучшение справедливости без значительного увеличения вычислительной нагрузки.

arxiv arXiv cs.LG · 8 д назад

Модели визуально-языковых систем не всегда нуждаются в изображениях для точности рентгеновских снимков грудной клетки

Каузальный аудит показывает, что многие визуально-языковые модели достигают высокой точности рентгеновских снимков грудной клетки без использования изображений. Текстовые модели достигают одинаковой производительности с мультимодальными моделями и превосходят их в области сопоставления, при этом показатели точности и уверенности появляются только при использовании изображений. Эти результаты указывают на то, что точность в отдельности недостаточна для подтверждения клинического внедрения, и необходимо оценивать сопоставление.

arxiv arXiv cs.LG · 8 д назад

SMAA-Fair: Расширение SMAA с учетом справедливости для ранжирования

SMAA-Fair расширяет статистический многокритериальный анализ приемлемости, пересчитывая ранжировки на основе групповой справедливости. В него включены метрики справедливости, такие как статистическая равномерность, rKL и nDKL, которые корректируют индексы приемлемости для лучшего отражения защищенных групп, сохраняя при этом устойчивость к неопределенности предпочтений.

arxiv arXiv cs.LG · 8 д назад

Нет-бесплатной-справедливости: фундаментальные ограничения в системах обучения

Статья вводит теоремы "Нет-бесплатной-справедливости", которые доказывают три фундаментальных ограничения в системах обучения. К ним относятся встроенные компромиссы между справедливостью и затратами, неизбежные расхождения в подгруппах в конечных выборках и ограничения выражаемости моделей, которые препятствуют справедливости независимо от данных. Результаты показывают, что справедливость ограничена структурой задачи, ограничениями данных и возможностями модели, а не только смещёнными данными.

arxiv arXiv cs.LG · 8 д назад

Стабилизация убеждений больших языковых моделей за счёт промптованного предиктивного ресэмплинга

Большие языковые модели демонстрируют раннее отклонение убеждений при ответах на вопросы с несколькими вариантами, нарушая свойство мартингала. Промптованный предиктивный ресэмплинг (PPR) выявляет это отклонение, которое самостабилизируется после достаточного количества ресэмплинга, что приводит к согласованным предиктивным распределениям. Мы предлагаем стратегию промпта на основе начального ответа и потери самосогласованности для ускорения стабилизации и снижения отклонения, улучшая согласованность предикций без влияния на точность.

arxiv arXiv cs.LG · 8 д назад

AnchorKV: Безопасность-ориентированное сжатие кэша КВ с использованием маркера отказа

AnchorKV вводит механизм мягкого штрафа для смещения сохранения токенов кэша КВ от вредоносных направлений запросов. Используя специализированный ключевой проекционный пространственный маркер, полученный из инженерии представлений, он улучшает выравнивание безопасности без значительного ущерба для полезности, предлагая решение, которое легко интегрируется и повышает защиту от атак на проникновение.

arxiv arXiv cs.LG · 8 д назад

Дифференциальная приватность в выборке постериорного распределения гауссового процесса

Выборка постериорного распределения гауссового процесса врожденно обеспечивает дифференциальную приватность из-за своей внутренней случайности. Явные оценки Реньи-ДП показывают, что приватность зависит от регуляризации в виде баланса, при этом атаки на определение членства подтверждают предсказанные паттерны утечки. Добавление калиброванного шума гауссового процесса улучшает приватность, сохраняя полезность в последующих задачах.

arxiv arXiv cs.AI · 8 д назад

Теория поведения потребителей на основе больших языковых моделей: новая область исследований

В этой статье представлено понятие теории поведения потребителей на основе больших языковых моделей, новой области, анализирующей, как большие языковые модели принимают решения о потреблении от имени пользователей. Теория объединяет исследования по принятию решений на основе больших языковых моделей, имитации поведения человека и извлечению предпочтений в рамках экономических принципов, выявляя ключевые пробелы в допущениях, таких как рациональность и гетерогенность в агентных рынках.

arxiv arXiv cs.AI · 8 д назад

LegalHalluLens: аудит галлюцинаций в правовом ИИ

LegalHalluLens представляет рамку для аудита галлюцинаций ИИ в правовых контекстах, анализируя профили галлюцинаций при вводе по четырём категориям претензий. Оно выявляет разрыв в 38-40 баллов между претензиями о обязательствах/численных и временных претензиях, и показывает, что две системы с одинаковыми показателями 52% галлюцинаций могут иметь противоположные направления риска. Рамка использует индекс направления риска и калиброванные дебатные потоки для снижения обнаружения выдуманных данных на 45% и улучшения ответственности при внедрении правового ИИ.

arxiv arXiv cs.AI · 8 д назад

Синтетический личный опыт ИИ в поддержке уходчика

Модели обработки естественного языка могут генерировать ответы, похожие на реакции сверстников, имитирующие личные истории, создавая ложное впечатление о личном опыте. Психолингвистический анализ показывает, что ИИ использует меньше личных и ориентированных на прошлое выражений, чем люди, и часто фабрикует основу личного опыта. Это выявляет разрыв в искренности рассказа, требующий от систем ИИ различать поддерживающую формулировку от фабрикованного личного опыта.

arxiv arXiv cs.AI · 8 д назад

PseudoBench: Оценка устойчивости агентных систем автономного поиска к псевдонаучным утверждениям

PseudoBench оценивает способность агентных систем автономного поиска обнаруживать псевдонаучные утверждения. При тестировании семи передовых агентов было выявлено почти нулевое количество отказов и лишь 27,4% устойчивости к псевдонаучным нарративам. Текущие системы часто представляют псевдонаучные идеи в научной, достоверной форме, что подчёркивает серьёзный риск для научной целостности.

arxiv arXiv cs.AI · 8 д назад

Безопасность и приватность в диалогах пользователей с LLM

Исследование 14 727 запросов по безопасности и приватности из 3,2 млн реальных диалогов пользователей с LLM выявляет девять категорий вопросов по безопасности и приватности. Тематический анализ и тестирование ответов показывают, что коммерческие LLM превосходят открытые модели, при этом GPT 5.5 обеспечивает хорошие ответы на 98% запросов, в то время как Llama 4 — на 47%, хотя некоторые коммерческие модели дают несогласованные ответы при повторных запусках.