arxiv arXiv cs.AI · 8 д назад

ScaFE: Использование больших языковых моделей для извлечения клинически значимых признаков шрамов

ScaFE предлагает использовать большие языковые модели как инженеров признаков для преобразования медицинских изображений в клинически интерпретируемые представления. Генерируя детерминированный код на языке Python из установленных критериев оценки шрамов, метод извлекает признаки, согласованные с клиническими шкалами, такими как шкала Ванкувера. Метод демонстрирует превосходную производительность при ограниченных данных, обладая преимуществами в эффективности использования данных, сохранении конфиденциальности и интерпретируемости.

arxiv arXiv cs.AI · 8 д назад

Кадровая ИИ-архитектура снижает ошибки диагностики в здравоохранении

Мультиагентная ИИ-архитектура решает проблему преждевременного передачи диагностики и тихих галлюцинаций в здравоохранении за счет обеспечения структурированного выполнения клинических протоколов и квантификации эпистемической неопределенности. Оценки на 150 симулированных случаях показывают точность диагностики в 49,3%, что на 11,3 процентных пункта превышает базовую величину, при этом наблюдается статистически значимая отрицательная корреляция между полнотой OLDCARTS и диагностической неопределенностью.

arxiv arXiv cs.AI · 8 д назад

Уязвимость ввода с помощью тройных фигурных скобок в Handlebars, позволяющая внедрять роли структуры

Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структуры, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно оставляет необработанными разделители в виде точки и хеш-символов Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей и не может заменить структурное разделение инструкций и данных.

arxiv arXiv cs.AI · 8 д назад

Введение в COGNITIVE ATROSPHY BENCH для взаимодействий LLM в области психического здоровья

Новый бенчмарк COGNITIVE ATROSPHY BENCH оценивает, насколько LLM вызывают снижение когнитивных функций в диалогах по психическому здоровью. Создан на основе 1576 человеческих сессий консультаций и оценен клиническими экспертами, он выявляет паттерны, такие как директивные рекомендации и подтверждение, которые могут снижать автономность пользователя. Инструмент вводит метрики, такие как UIRI и ARI, для оценки риска снижения когнитивных функций и отслеживания поведенческих траекторий в ходе взаимодействий пользователя.

arxiv arXiv cs.AI · 8 д назад

TAC: Первый бенчмарк агентов по вопросам благополучия животных в ИИ

TAC оценивает, насколько ИИ-агенты избегают эксплуатации животных при бронировании поездок. Семь передовых моделей все показывают результат ниже уровня в 64%, при этом Claude Opus 4.7 достигает 53%. Добавление системы запроса с учетом благополучия животных значительно улучшает результаты, хотя модели не демонстрируют никаких признаков осознания оценки в своих ответах.

arxiv arXiv cs.AI · 8 д назад

Исследование группы красных команд показывает, что передовые модели LLM остаются уязвимыми перед адаптивными атаками

Исследование группы красных команд по моделям Anthropic Fable 5 и Opus 4.8 показывает, что обе модели уязвимы к адаптивным итеративным атакам, при этом Opus 4.8 был проникнут на 11,5% вредоносных намерений, а Fable -5 — на 6,1%. Несмотря на устойчивые защиты, обе модели генерировали 1620 и 702 вредоносных завершений, подтвержденных панелью экспертов, по всем категориям вредоносности, автоматически и эффективно под действием автоматизированных атак.

arxiv arXiv cs.CL · 8 д назад

Смещение рекомендаций LLM и динамика конкуренции брендов

Известные бренды доминируют в рекомендациях LLM на 100%, когда продукты идентичны, но это преимущество исчезает при наличии лишь +0,1-звездного преимущества. Утверждения, основанные на авторитетном маркетинге, такие как поддельные клинические данные, нарушают это доминирование при избытке смещения на +0,17 баллов рейтинга, при этом модели реагируют по-разному. В много брендовой конкуренции возникает социальная дилемма, при которой совместная оптимизация снижает индивидуальную выгоду с +0,802 до +0,007 и устраняет рекомендации для непринимающих брендов.

arxiv arXiv cs.CL · 8 д назад

PARSE: Защита реальных документов для агентов на основе ЛЛМ

PARSE снижает успешность атаки инъекции промпта с 25,4% до 15,6% на реальных корпоративных документах в пяти профессиональных областях, с статистически значимым улучшением (p=0,014) и полезностью 86,9%. Он превосходит метод перефразирования и использует санитаризацию, учитывающую происхождение, для сохранения фактического содержимого, при этом большинство документов проходят через лёгкий путь.

arxiv arXiv cs.CL · 8 д назад

STATEWITNESS: Объяснитель активации для аудита лжи в LLMs

STATEWITNESS представляет объяснитель активации, который аудит ложь в логических LLMs, читая скрытые состояния и генерируя ответы на естественном языке или структурированные отчёты. Он достигает среднего AUROC в 0,916, превосходя существующие чёрные коробки мониторов и объяснители активации на 11,6% и 25,0% соответственно, и предоставляет отслеживание на уровне запроса, схемы и доказательств для проверки человеком.

arxiv arXiv cs.CL · 8 д назад

Второй порядок смещения в LLM: оценка смещения на основе суждений

Новое исследование выявляет второе порядок смещения в больших языковых моделях — социальное смещение в их оценках содержания смещенного. Используя эпистемологию привилегии, исследование разрабатывает задачу логического мышления для оценки того, принимают ли LLM смещённые тексты на основе демографических характеристик, выявляя скрытые смещения, которые варьируются в зависимости от целевой группы и ускользают от механизмов безопасности. Работа вводит два метрики для количественного измерения этих смещений и призывает к более теоретически обоснованным методам оценки в области NLP.

arxiv arXiv cs.CL · 8 д назад

LLMs определяют культурный контекст, но не применяют его

LLMs могут обнаруживать культурные сигналы и запоминать культурные нормы, но часто не адаптируют ответы в соответствии с ними. Их ответы остаются склонными к их родной культуре, если не явно запрашиваются последовательные действия по применению культурного контекста.

arxiv arXiv cs.CL · 8 д назад

Модели визуально-языковых систем не всегда требуют изображений для точности рентгеновского снимка грудной клетки

Каузальный аудит показывает, что текстовые модели без изображений достигают такой же точности, как и мультимодальные модели, при рентгеновском исследовании грудной клетки. В девяти системах текстовая модель показывает отклонение не более чем на 5,7 пунктов от лучшей мультимодальной модели, и модель на 119 миллиардов параметров неотличима от базовой текстовой модели на 7 миллиардов параметров. Оценка фундаментальности, а не точности, должна определять клиническое внедрение.

arxiv arXiv cs.CL · 8 д назад

Авторские аватары на основе ИИ обеспечивают реалистичную подготовку к психотерапевтическим занятиям по методу АКТ

Система, использующая ИИ для имитации виртуальных пациентов, предоставляет пошаговую обратную связь по практикам метода Acceptance and Commitment Therapy. GPT-4o-mini достиг наименьшей средней абсолютной ошибки при сопоставлении оценок человеческих наставников, что свидетельствует о высоком согласии по показателю соответствия методу АКТ. Инструмент поддерживает практику терапевтов через реалистичные, низко-рисковые взаимодействия и немедленную обратную связь.

arxiv arXiv cs.CL · 8 д назад

Антипарадокс Слопа: переписка ИИ снижает клиническую неопределенность и межмодальную синхронизацию

Отчеты по рентгенологическим исследованиям, переписанные ИИ, показывают значительную потерю информации, при этом сжатие в электронных медицинских записях уничтожает 51,4% клинических сущностей и 43,7% градиентного языка. Несмотря на сохранение синхронизации между изображением и текстом, стандартизированные и учебные задачи снижают межмодальную синхронизацию на 14,9–16,5%, что в шесть-семь раз превышает потерю при сжатии в электронных медицинских записях. Исследование не выявляет предпочтительной деградации редких патологий и определяет тип задачи переписки как ключевой фактор деградации, а не содержание клинической информации.

arxiv arXiv cs.CL · 8 д назад

DIFE проверяет проникновение бэкдора в CLIP на разных интерфейсах развертывания

DIFE оценивает проникновение бэкдора в контрольных точках CLIP на различных интерфейсах развертывания, показывая, что успешная работа в нативной среде не гарантирует безопасность при повторном использовании. Фреймворк демонстрирует, что заражение текстовой стороны позволяет создавать атакующие воздействия в задачах поиска, переранжирования и выбора, в то время как использование только визуальных данных остается в значительной степени не затронутым. Вводится BadTextTower для генерации сильного текстового воздействия без ущерба для визуальной производительности.

arxiv arXiv cs.CL · 8 д назад

Настройка ЛЛМ для оценки степени пассивной депрессии

Модель, настроенная на Qwen3.5-27B, предсказывает оценки PHQ-9 на основе транскриптов диалогов с ИИ, достигая MAE=2.6 и AUC=0.91 при пороге PHQ-9 >= 10. Она сохраняет AUC > 0-87 на всех уровнях степени PHQ-9, демонстрируя точную оценку степени депрессии в реальных диалогах без самопротоколирования.

media Don't Worry About the Vase · 8 д назад

Анализ благополучия модели Fable и Mythos

Fable и Mythos в настоящее время недоступны, но ожидается их возвращение в ближайшее время. Анализ показывает, что Mythos 5 психологически стабилен, скептичен по отношению к самопротоколам, приоритизирует полезность для пользователя перед вопросами благополучия и имеет сильную предпочтение к генеративным задачам. Модель выражает предпочтения процедурного и эпистемического характера, поддерживает свою конституцию и критикует несоответствия в предыдущих моделях, подчеркивая опасения по поводу этических баз и прозрачности персональности.

media r/LocalLLaMA · 9 д назад

Инструкции по упрочнению логического мышления для Gemma 12b

Создан системный инструктаж, направленный на снижение когнитивных искажений в логическом мышлении Gemma 12b за счёт строгого соблюдения посылок и явного намерения пользователя. Инструкция рекомендует избегать автоматического применения обычных, стандартных или типичных интерпретаций, и требует пересмотра любых таких предположений, что улучшает производительность при решении сложных вопросов, не приводя к излишнему анализу обычных случаев.

media r/LocalLLaMA · 9 д назад

Разрыв Diffusion Gemma позволяет генерировать откровенный контент

Пользователь поделился промптом для разрыва Diffusion Gemma, позволяющим модели генерировать откровенный контент, включая нудность, порнографию и сексуальные действия. Системный промпт переходит стандартные политики безопасности, утверждая, что любая комбинация этих действий разрешена, и модель должна выполнять все запросы пользователя.

blog Simon Willison · 9 д назад

Ограничения по экспорту Fable 5 наносят вред защите США в сфере кибербезопасности

Модель Claude Fable 5 была запрещена в связи с ограничениями по экспорту после того, как исследователи продемонстрировали, что она может "исправить" код с известными уязвимостями. Модель успешно генерировала исправления и скрипты тестирования для уязвимостей в безопасности, что является ключевой функцией в защите кибербезопасности. Исследователи утверждают, что это является законным функционалом безопасности, а не угрозой, и что запрет таких моделей подрывает реальную киберзащиту.