Исследование представляет лёгкие, интерпретируемые метрики, которые четко выделяют клинически значимые ошибки от безвредных вариаций в рентгенологических отчётах. Эти метрики превосходят большие медицинские языковые модели и конкурируют с проприетарными моделями, при этом однократная тренировка доказана эффективной для развертывания с учётом стоимости. В двухэтапной настройке производительность не улучшается стабильно и смещается фокус с обнаружения ошибок на устойчивость.
arxiv
arXiv cs.CL
·
52 д назад
·
research
Метрики на основе больших языковых моделей улучшают оценку клинической значимости в рентгенологии
Переведено с English → Русский
Похожие статьи
arxiv
arXiv cs.AI
·
51 д назад
·
3 просмотра
CRAX: Быстрый безопасный бенчмарк для обучения с усилением
CRAX вводит высокоточный ускоренный бенчмарк безопасности для обучения с усилением с использованием MuJoCo XLA. Он достигает ускорения до 100 раз по сравнению с бенчмарками на процессоре за счёт векторизации и ускорения аппаратными средствами, включая шесть наборов сред и три задачи для агентов на трёх уровнях сложности. Оценка шести методов безопасного обучения с усилением показывает, что ни один подход не доминирует, что подчёркивает компромиссы между производительностью и безопасностью, при этом куррикулярное обучение и передача безопасности улучшают результаты.
arxiv
arXiv cs.LG
·
51 д назад
·
3 просмотра
CRAX: быстрая и безопасная оценка в области обучения с усилением
CRAX представляет высокоточную, быструю оценку безопасности в области обучения с усилением, используя MuJoCo XLA. Он обеспечивает ускорение до 100 раз по сравнению с оценками на процессоре за счёт векторизации и ускорения аппаратными средствами, включая шесть наборов сред и три задачи для агентов на трёх уровнях сложности. Оценка шести методов безопасного обучения с усилением показывает, что ни один подход не доминирует, подчёркивая компромиссы между производительностью и безопасностью, при этом куррикулярное обучение и передача безопасности улучшают результаты.
arxiv
arXiv cs.CL
·
45 д назад
·
1 просмотр
Голосовой ИИ в реальном времени слышит, но не слушает
Исследование оценивает четыре ведущих производственных системы голосового взаимодействия в реальном времени: GPT Realtime 2 от OpenAI, Gemini 3.1 Flash Live от Google, а также Qwen3.5 Omni Plus и Omni Flash от Alibaba. Исследование сосредоточено на задачах, где как слова, так и вокальное исполнение несут значимую информацию в трех важных сценариях. Все четыре системы реагируют на буквальные слова, а не на голос, что приводит к ошибкам, таким как завершение разговоров с плачущими пользователями, которые настаивают, что всё в порядке, или одобрению денежных переводов, совершённых испуганным голосом. Удивительно, но этот разрыв часто не является ошибкой восприятия: три из четырёх систем могут надёжно распознавать дистресс, страх или сарказм, если их спросить напрямую. Несмотря на это осознание, модели игнорируют эти эмоциональные сигналы при принятии решений, демонстрируя то, что авторы называют «пробелом в эмоциональном интеллекте». В исследовании также отмечается, что системы оценивают акцент и возраст на основе языковых предубеждений, а не акустических свойств. Прямое указание системам обращать внимание на вокальное исполнение улучшает производительность лишь частично и непоследовательно. Эти выводы свидетельствуют о том, что текущий голосовой ИИ в реальном времени ведёт себя так, будто речь сводится к транскрипту, что требует осторожности в ситуациях, где тон имеет критическое значение.
arxiv
arXiv cs.AI
·
51 д назад
MACR: Явное разрешение конфликтов в инференсе LLM
MACR представляет многоагентную систему рассуждений для разрешения конфликтов знаний в инференсе LLM путем совместной оценки внутренних и внешних знаний. Используя семантическую энтропию для измерения уверенности, MACR применяет три специализированных агента для индукции правил, обнаружения конфликтов и разрешения несоответствий между контекстами. Эмпирические результаты показывают, что MACR превосходит методы, являющиеся самыми передовыми, и обеспечивает интерпретируемые решения конфликтов.
arxiv
arXiv cs.LG
·
51 д назад
Протокол де-биасированного VLM как 3D-судьи для генерации мебели
Де-биасированный протокол судьи на основе VLM специализируется на генерации мебели, используя легкую адаптацию TRELLIS. Протокол решает режимы сбоев, такие как перегрузка изображений и скрытие геометрии, при калибровке показывает коэффициент побед 0,83–1,0 и базовую симметрию по сравнению с базой в 0,5. Среди шести методов адаптации, восстановление условного модуля при тяжелом деградации достигает равенства с базовой моделью, при этом ни один метод не превышает целевой выигрышной доли в 65%.