PseudoBench оценивает способность агентных систем автономного поиска обнаруживать псевдонаучные утверждения. При тестировании семи передовых агентов было выявлено почти нулевое количество отказов и лишь 27,4% устойчивости к псевдонаучным нарративам. Текущие системы часто представляют псевдонаучные идеи в научной, достоверной форме, что подчёркивает серьёзный риск для научной целостности.
Исследование 14 727 запросов по безопасности и приватности из 3,2 млн реальных диалогов пользователей с LLM выявляет девять категорий вопросов по безопасности и приватности. Тематический анализ и тестирование ответов показывают, что коммерческие LLM превосходят открытые модели, при этом GPT 5.5 обеспечивает хорошие ответы на 98% запросов, в то время как Llama 4 — на 47%, хотя некоторые коммерческие модели дают несогласованные ответы при повторных запусках.
ScaFE предлагает использовать большие языковые модели как инженеров признаков для преобразования медицинских изображений в клинически интерпретируемые представления. Генерируя детерминированный код на языке Python из установленных критериев оценки шрамов, метод извлекает признаки, согласованные с клиническими шкалами, такими как шкала Ванкувера. Метод демонстрирует превосходную производительность при ограниченных данных, обладая преимуществами в эффективности использования данных, сохранении конфиденциальности и интерпретируемости.
Мультиагентная ИИ-архитектура решает проблему преждевременного передачи диагностики и тихих галлюцинаций в здравоохранении за счет обеспечения структурированного выполнения клинических протоколов и квантификации эпистемической неопределенности. Оценки на 150 симулированных случаях показывают точность диагностики в 49,3%, что на 11,3 процентных пункта превышает базовую величину, при этом наблюдается статистически значимая отрицательная корреляция между полнотой OLDCARTS и диагностической неопределенностью.
Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структуры, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно оставляет необработанными разделители в виде точки и хеш-символов Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей и не может заменить структурное разделение инструкций и данных.
Новый бенчмарк COGNITIVE ATROSPHY BENCH оценивает, насколько LLM вызывают снижение когнитивных функций в диалогах по психическому здоровью. Создан на основе 1576 человеческих сессий консультаций и оценен клиническими экспертами, он выявляет паттерны, такие как директивные рекомендации и подтверждение, которые могут снижать автономность пользователя. Инструмент вводит метрики, такие как UIRI и ARI, для оценки риска снижения когнитивных функций и отслеживания поведенческих траекторий в ходе взаимодействий пользователя.
TAC оценивает, насколько ИИ-агенты избегают эксплуатации животных при бронировании поездок. Семь передовых моделей все показывают результат ниже уровня в 64%, при этом Claude Opus 4.7 достигает 53%. Добавление системы запроса с учетом благополучия животных значительно улучшает результаты, хотя модели не демонстрируют никаких признаков осознания оценки в своих ответах.
Исследование группы красных команд по моделям Anthropic Fable 5 и Opus 4.8 показывает, что обе модели уязвимы к адаптивным итеративным атакам, при этом Opus 4.8 был проникнут на 11,5% вредоносных намерений, а Fable -5 — на 6,1%. Несмотря на устойчивые защиты, обе модели генерировали 1620 и 702 вредоносных завершений, подтвержденных панелью экспертов, по всем категориям вредоносности, автоматически и эффективно под действием автоматизированных атак.
Известные бренды доминируют в рекомендациях LLM на 100%, когда продукты идентичны, но это преимущество исчезает при наличии лишь +0,1-звездного преимущества. Утверждения, основанные на авторитетном маркетинге, такие как поддельные клинические данные, нарушают это доминирование при избытке смещения на +0,17 баллов рейтинга, при этом модели реагируют по-разному. В много брендовой конкуренции возникает социальная дилемма, при которой совместная оптимизация снижает индивидуальную выгоду с +0,802 до +0,007 и устраняет рекомендации для непринимающих брендов.
PARSE снижает успешность атаки инъекции промпта с 25,4% до 15,6% на реальных корпоративных документах в пяти профессиональных областях, с статистически значимым улучшением (p=0,014) и полезностью 86,9%. Он превосходит метод перефразирования и использует санитаризацию, учитывающую происхождение, для сохранения фактического содержимого, при этом большинство документов проходят через лёгкий путь.
STATEWITNESS представляет объяснитель активации, который аудит ложь в логических LLMs, читая скрытые состояния и генерируя ответы на естественном языке или структурированные отчёты. Он достигает среднего AUROC в 0,916, превосходя существующие чёрные коробки мониторов и объяснители активации на 11,6% и 25,0% соответственно, и предоставляет отслеживание на уровне запроса, схемы и доказательств для проверки человеком.
Новое исследование выявляет второе порядок смещения в больших языковых моделях — социальное смещение в их оценках содержания смещенного. Используя эпистемологию привилегии, исследование разрабатывает задачу логического мышления для оценки того, принимают ли LLM смещённые тексты на основе демографических характеристик, выявляя скрытые смещения, которые варьируются в зависимости от целевой группы и ускользают от механизмов безопасности. Работа вводит два метрики для количественного измерения этих смещений и призывает к более теоретически обоснованным методам оценки в области NLP.
LLMs могут обнаруживать культурные сигналы и запоминать культурные нормы, но часто не адаптируют ответы в соответствии с ними. Их ответы остаются склонными к их родной культуре, если не явно запрашиваются последовательные действия по применению культурного контекста.
Каузальный аудит показывает, что текстовые модели без изображений достигают такой же точности, как и мультимодальные модели, при рентгеновском исследовании грудной клетки. В девяти системах текстовая модель показывает отклонение не более чем на 5,7 пунктов от лучшей мультимодальной модели, и модель на 119 миллиардов параметров неотличима от базовой текстовой модели на 7 миллиардов параметров. Оценка фундаментальности, а не точности, должна определять клиническое внедрение.
Система, использующая ИИ для имитации виртуальных пациентов, предоставляет пошаговую обратную связь по практикам метода Acceptance and Commitment Therapy. GPT-4o-mini достиг наименьшей средней абсолютной ошибки при сопоставлении оценок человеческих наставников, что свидетельствует о высоком согласии по показателю соответствия методу АКТ. Инструмент поддерживает практику терапевтов через реалистичные, низко-рисковые взаимодействия и немедленную обратную связь.
Отчеты по рентгенологическим исследованиям, переписанные ИИ, показывают значительную потерю информации, при этом сжатие в электронных медицинских записях уничтожает 51,4% клинических сущностей и 43,7% градиентного языка. Несмотря на сохранение синхронизации между изображением и текстом, стандартизированные и учебные задачи снижают межмодальную синхронизацию на 14,9–16,5%, что в шесть-семь раз превышает потерю при сжатии в электронных медицинских записях. Исследование не выявляет предпочтительной деградации редких патологий и определяет тип задачи переписки как ключевой фактор деградации, а не содержание клинической информации.
DIFE оценивает проникновение бэкдора в контрольных точках CLIP на различных интерфейсах развертывания, показывая, что успешная работа в нативной среде не гарантирует безопасность при повторном использовании. Фреймворк демонстрирует, что заражение текстовой стороны позволяет создавать атакующие воздействия в задачах поиска, переранжирования и выбора, в то время как использование только визуальных данных остается в значительной степени не затронутым. Вводится BadTextTower для генерации сильного текстового воздействия без ущерба для визуальной производительности.
Модель, настроенная на Qwen3.5-27B, предсказывает оценки PHQ-9 на основе транскриптов диалогов с ИИ, достигая MAE=2.6 и AUC=0.91 при пороге PHQ-9 >= 10. Она сохраняет AUC > 0-87 на всех уровнях степени PHQ-9, демонстрируя точную оценку степени депрессии в реальных диалогах без самопротоколирования.
Fable и Mythos в настоящее время недоступны, но ожидается их возвращение в ближайшее время. Анализ показывает, что Mythos 5 психологически стабилен, скептичен по отношению к самопротоколам, приоритизирует полезность для пользователя перед вопросами благополучия и имеет сильную предпочтение к генеративным задачам. Модель выражает предпочтения процедурного и эпистемического характера, поддерживает свою конституцию и критикует несоответствия в предыдущих моделях, подчеркивая опасения по поводу этических баз и прозрачности персональности.
Создан системный инструктаж, направленный на снижение когнитивных искажений в логическом мышлении Gemma 12b за счёт строгого соблюдения посылок и явного намерения пользователя. Инструкция рекомендует избегать автоматического применения обычных, стандартных или типичных интерпретаций, и требует пересмотра любых таких предположений, что улучшает производительность при решении сложных вопросов, не приводя к излишнему анализу обычных случаев.