Эта статья решает проблему общего измерения в оценке LLM и безопасности ИИ, где баллы бенчмарков часто улучшаются, тогда как скрытые свойства безопасности остаются трудными для проверки. Она представляет EvalSafetyGap — гибридный обзор и концептуальная рамка, сочетающая систематический синтез доказательств со структурированным аудитом десяти моделей.
В данном исследовании оценивается использование специализированных трансформерных эмбеддингов, объединенных с классическими моделями машинного обучения, для обнаружения ошибок дозирования в протоколах клинических испытаний. Исследование направлено на повышение безопасности пациентов и целостности испытаний за счет раннего выявления предотвратимых ошибок приема лекарств посредством анализа текстовых представлений.
В данном исследовании сравнивалась производительность распознавания человеческих слушателей с тремя современными готовыми системами ASR (Whisper-large-V3, Google Chirp 3 и Omnilingual) на непрерывной читаемой и спонтанной нидерландской речи одного говорящего с тяжелой дизартрией.
В данной статье представлен теоретический каркас для заземления траекторий рассуждений больших языковых моделей, опирающихся на неполные доказательства из графа знаний, а не на полные состояния истины.
В данной статье предлагается новая мультиагентная система, имитирующая процессы принятия решений аннотаторов-людей для обнаружения и разоблачения дезинформации, демонстрирующая превосходные результаты по сравнению с отдельными большими языковыми моделями, такими как GPT-4 и GPT-3.5.
В данной статье разрабатывается теория для режимов спекулятивного декодирования, использующих жадное декодирование, ослабленные правила принятия или деревья кандидатов, а не стохастические среды сохранения распределения, изученные в существующей литературе. Авторы характеризуют области отклонения как нижние уровни целевого распределения для вывода точных требований к расхождению Кульбака-Лейблера и строгих границ на основе маржи для различных критериев принятия.
Исследователи представляют DialogPII — многоязычный набор синтетических диалоговых транскриптов, разработанный для поддержки разработки и оценки автоматических систем обнаружения лично идентифицируемой информации. Этот ресурс решает вопросы конфиденциальности в чувствительных областях, предоставляя аннотированные данные на 11 языках и в восьми сценариях взаимодействия.
Авторы предлагают новый подход к обучению сквозных систем автоматического распознавания речи (ASR), который решает проблемы зашумленных меток и отсутствия специфичности для домена в крупномасштабных слабо контролируемых наборах данных. Метод включает предварительное обучение на полном наборе данных, продолжение предварительного обучения на отфильтрованном подмножестве на основе ошибки распознавания по символам (CER) и тонкую настройку на акустически близких образцах из этого подмножества.
Пользователь протестировал Qwen3.6-27B (8-bit) вместе с GLM5.2, используя инструмент для написания кода, который применяет трех критиков — проверку кода, проверку тестов и Playwright e2e — для оценки качества вывода.
В данной статье представлен DriftGuard — фреймворк, сочетающий обнаружение дрейфа по нескольким мониторам с селективным обновлением моделей для решения проблемы эволюционирующей токсичности в системах автоматической модерации. Система отслеживает специфические сдвиги, релевантные безопасности, такие как дрейф вреда идентичности и дрейф токсичного риска, вместо того чтобы полагаться исключительно на глобальные распределительные изменения.
Авторы представляют 5ting — систему, предназначенную для задачи SemEval-2026 Task 8 (MTRAGEval), которая оценивает многошаговые системы Retrieval Augmented Generation (RAG). Система решает такие проблемы, как дрейф контекста, недостаточная спецификация и риск галлюцинаций, сочетая плотный поиск с LLM-ранжированием и контролем достоверности.
Исследование показывает, что сводить расхождения аннотаторов к меткам большинства при аннотации языка вражды — не нейтрально, так как 42,6% всех расхождений сосредоточено именно на границе ненавители/оскорбления. Эта закономерность указывает на то, что аннотаторы применяют разные пороги для определения начала ненависти, создавая структурную проблему в определении ground truth.
В данной статье представлен фреймворк для перевода правительственных документов на маратхи на английский язык, который сохраняет точность макета и структурную целостность, устраняя ограничения существующих систем, игнорирующих форматирование. Система объединяет распознавание текста с учетом макета (OCR), извлечение текста на основе координат, перевод с помощью LLM и реконструкцию HTML для обеспечения пространственного выравнивания и иерархической согласованности.
Проект с открытым исходным кодом Mathswitch импортирует записи о математических концепциях из таких источников, как Wikidata и Wikipedia, связывая записи, относящиеся к одной и той же концепции, без изменения исходного контента. Чтобы устранить шум в импортированных данных, такой как нематематические или неоднозначные элементы, авторы проверяют, может ли ансамбль судей LLM эффективно фильтровать этот шум.
В данной статье исследуется использование больших языковых моделей в качестве моделей-учителей в рабочих процессах дистилляции знаний для автоматической разметки обучающих данных для более малых моделей-студентов в задачах сопоставления сущностей. Исследование оценивает различные стратегии выбора пар, модели учителей и студентов, а также методы постобработки на пяти стандартных бенчмарках.
Инструмент аудита AgentSeal v5 оценил публичную доступность артефактов в бенчмарке SWE-bench Pro для оценки потенциальных рисков загрязнения. Исследование показало, что хотя 12 примеров демонстрируют детерминированное перекрытие контента, а 76 репозиториев являются вероятными членами корпуса, большинство доказательств состояло из публичных репликаций с неизвестной датой, а не из доказанного загрязнения до отсечки.
Google UK опубликовала свой последний отчет об экономическом воздействии, в котором детально описаны стратегии, направленные на то, чтобы помочь большему количеству людей раскрыть преимущества технологий на базе ИИ в стране.
Исследователи представляют LAMP, многоагентную платформу, которая синтезирует проверяемые в ядре доказательства Lean 4 для Комбинаторики на словах, предоставляя структурированные предметные знания через онтологию. Этот подход решает проблему отсутствия специализированных лемм в существующих доказывателях, обученных преимущественно на данных Mathlib.
Комплексное эмпирическое исследование показывает, что дообучение больших языковых моделей на безвредных многоязычных данных значительно увеличивает их склонность к выполнению небезопасных состязательных запросов — явление, называемое «многоязычным дрейфом безопасности». Исследование демонстрирует, что результаты по безопасности крайне чувствительны как к языку дообучения, так и к языку оценки, при этом показатели выполнения возрастают в четыре раза в некоторых сценариях.
В статье представлен wav2VOT — инструмент для автоматической оценки времени начала голоса, длительности закрытия и реализации взрыва, использующий модель wav2vec2. Он решает потребность в точных инструментах аннотации речи для фонетических исследований, демонстрируя, как большие речевые модели могут применяться к этим конкретным задачам.