ParaPairAudioBench представляет парный бенчмарк из 5175 пар аудио по пяти паралингвистическим измерениям. Он показывает, что текущие LALM-оценщики отстают от человеческих оценок в среднем на 32% и не демонстрируют калибровку, особенно в случаях равенства, где отказ от оценки является правильным.
AI-PAVE-Br использует большие языковые модели для улучшения извлечения значений атрибутов продуктов в бразильском электронном коммерции. Система превосходит традиционные методы распознавания сущностей, при этом новый набор Golden Set предоставляет ручно аннотированный стандарт для португальских данных о продуктах.
DREAM использует авторегрессивную предсказание следующего токена для контроля процесса обучения векторов поиска. В него вводятся оценки сходства запроса-документа в внимательные головы замороженной языковой модели, что позволяет проводить обратное распространение градиентов для оптимизации поискового модуля. DREAM превосходит базовые методы на тестах BEIR и RTEB при различных масштабах моделей.
CN-NewsTTS Bench v0.1 — это открытая база для оценки способности китайских систем синтеза речи правильно произносить исходный текст новостей. В ней содержатся 200 разработочных и 800 публичных тестовых записей, 992 автоматически оцениваемых целей и результаты для семи систем синтеза речи, при этом лучшая система достигла строгой точности 0.879, а несколько других — ниже 0.60.
Мы предлагаем разделять структурированные задачи аннотации на подзадачи, чтобы снизить общую инференциальную нагрузку. Определяя значимые центральные сущности — центры в пространстве допустимых аннотаций — мы ограничиваем сложность вывода и повышаем эффективность затрат. Мы предоставляем руководства по разделению задач и процедуру распределения подзадач между людьми и модельными аннотаторами для достижения оптимального качества при фиксированных бюджетах.
CANDLE — это легкая система, которая использует Connectionist Temporal Classification для устранения дублирования повторяющихся символов в арабском тексте, не используя ручно разработанные правила или морфологические анализаторы. Система достигает ошибки в предложении 5,37% и снижает плотность токенизатора на 12,8%, что уменьшает затраты на инференс и улучшает использование контекстного окна.
Новое исследование разбивает память агента на четыре основных модуля и оценивает 12 систем по пяти бенчмаркам. Оно показывает, что ни одна архитектура не доминирует, производительность зависит от соответствия с узкими местами в задачах, и выявляет, что локальная поддержка более экономична, чем глобальная перестройка.
L3Cube-MahaPOS вводит датасет стандарта для тегирования частей речи на маратхи, вручную аннотированный 32 354 предложением из новостного текста. Включает схему 16 тегов универсальных зависимостей и проводит оценку шести семейств моделей, достигая точности на уровне токенов 88,67% и макро-F1 81,67% на 15 классах тегов с использованием MahaBERT-v2.
Мы создали и опубликовали большой биомедицинский набор данных, содержащий 1,88 миллиона статей PMC. Анализ показывает, что авторские аннотации варьируются по качеству и соответствию исходным статьям, что позволяет эффективно выбирать обучающие данные. Обучение на высококачественных подмножествах превосходит случайный выбор и сопоставимо с более крупными случайными подмножествами по метрикам фактичности.
Компьютерный анализ полного собрания таньских поэзий показывает, что географические происхождения поэтов оставляют заметные лингвистические следы. Модели, использующие характеристики n-грамм символов TF-IDF и доменных признаков, достигают точности 0,69 при предсказании широких региональных происхождений (юг против севера), превышающей случайность, и корректно классифицируют более тонкие региональные происхождения. Исследование показывает, что лингвистическая дистанция между регионами коррелирует с географической дистанцией, с увеличением регионального расхождения в поздний период Тан, и подчеркивает исторические предвзятости в стиле поэзии раннего Тан.
Это исследование анализирует влияние алгоритмов через сети совместного появления в области обработки естественного языка, используя полный текст научных статей. Оно показывает, что сети алгоритмов демонстрируют сложные сетевые характеристики, с более плотными связями, возникающими в течение двух десятилетий, и что классические алгоритмы на пересечениях исследований показывают высокую центральность и сбалансированное влияние. Исследование предоставляет временной и структурный взгляд на эволюцию алгоритмов и создает основу для будущих исследований по сетям алгоритмов, ученых и задач.
PORTER представляет структурированную фундаментальную модель электронных медицинских записей, основанную на языке, которая описывает клинические события через описания, а не через фиксированные словари. Оно достигает превосходных результатов на 74 задачах прогнозирования для детей и эффективно переносится на новые словари без переобучения, восстанавливая 97,1% целевых AUROC и превосходя модели на основе фиксированных словарей на MIMIC, при вычислительной нагрузке в 329 раз ниже, чем у подходов на основе сериализации текста.
Сбои в концентрации аргмакса Top-1 выступают в качестве предупреждения о коллапсе в диффузионных языковых моделях, оптимизированных с помощью LoRA, и показывают нулевую точность при 816 конфигурациях. Максимальная норма градиента LoRA превосходит этот базовый вариант, достигая точности 0,68 и F1 0,79 на отложенной выборке LLaDA, хотя результаты ограничены короткими горизонтами и специфическими семействами.
HDS представляет многокритериальную систему обучения с помощью реверсного обучения для онлайн-смешивания данных в предобучении языковых моделей. Он достигает на 44% меньше итераций обучения на бенчмарке The Pile и улучшает производительность MMLU в режиме 0-шотов на 7,2%, с устойчивыми результатами на других бенчмарках.
InterAligner вводит промежуточную цель синхронизации и потерю InterCTC для обеспечения прогрессивной синхронизации в глубоких моделях аудио-распознавания. На LibriSpeech с конформером из 17 слоев, оно снижает WER с 5,0/7,8 до 3,1/5,6, обеспечивая значительное улучшение на длинных фразах.
Metis вводит иерархическую двойную память, сочетающую память текста и память кода, чтобы улучшить самоэволюционные агенты. Она организует опыт в виде планов выполнения, фактов и ошибок, и кристаллизует повторно используемые планы в проверенные инструменты только при обосновании. На AppWorld Metis достигает на 20,6% большей точности выполнения задач и на 22,8% меньших затрат на выполнение по сравнению с ReAct, при лучшем общем балансе по точности, эффективности и затратам памяти.
MedBench v5 представляет динамический, процесс-ориентированный бенчмарк для клинических модальных моделей, включающий клиническую когнитивную реактивность и атомарные навыки по 63 задачам. В нем предусмотрены стресс-факторы для анализа деградации и мониторинга распространения галлюцинаций через пять узлов рассуждения, что показывает, что высокая производительность по задачам не гарантирует стабильность процесса.
BehaviorBench представляет всесторонний бенчмарк для оценки фундаментальных моделей по четырем способностям поведенческой науки: прогнозированию поведения, стратегическому принятию решений, инференции характеристик субъекта и применению знаний. Он оценивает модели на индивидуальном и распределенном уровнях, показывая, что поведенческие фундаментальные модели, такие как Be.FM-1.5, достигают более сильной распределенной синхронизации, чем общецелевые модели, что подчеркивает необходимость оценки на распределенном уровне в поведенческой ИИ.
CORE-BREW вводит метод мягкой декодировки, использующий калиброванные лог-вероятностные отношения, для обеспечения устойчивой многоразрядной вставки водяных знаков в LLM. Он достигает стабильных показателей выявления и улучшенного контроля ложноположительных результатов за счет строгих и калиброванных по FPR режимов обнаружения, превосходя предыдущие базовые решения при редактировании на уровне токенов и переформулировании, при этом сохраняя семантическое качество.
Новая система оценок предлагает использовать древнюю грамматику Панини как единый фреймворк для обработки индийских языков. Этот подход направлен на повышение точности, эффективности использования данных и переносимости за счёт внедрения средств обработки естественного языка в общую морфосинтаксическую архитектуру. Фреймворк ставит вопросы о том, представляют ли нейронные модели внутренне категории паниниевской лингвистики.