arxiv arXiv cs.CL · 7 д назад

Данные рецептура повышает долгосрочное мышление в больших языковых моделях

Центрированный на данных подход улучшает долгосрочное мышление в больших языковых моделях, используя восемь отобранных наборов данных с 14 тысячами примерами в задачах поиска, синтеза многоуровневых доказательств и мышления. При сочетании с минимальным обучением на основе результатов GRPO достигается средний рост на 7,2 до 6,4 баллов на семи бенчмарках, превосходя предыдущие наборы обучения по релевантности, и улучшает агентную производительность на 4,8 и 7,0 баллов соответственно на GAIA и BrowseComp.

arxiv arXiv cs.AI · 7 д назад

Данные рецепт улучшает долгосрочное мышление в больших языковых моделях

Центрированный на данных подход улучшает долгосрочное мышление в больших языковых моделях, используя восемь отобранных наборов данных с 14 тысячами примерами в задачах поиска, синтеза многочисленных доказательств и мышления. При сочетании с минимальным обучением на основе результатов GRPO, он достигает средних приростов на 7,2 до 6,4 баллов на семи бенчмарках, превосходя предыдущие наборы для обучения по методу RL, и улучшает агентную производительность на 4,8 и 7,0 баллов соответственно на GAIA и BrowseComp.

arxiv arXiv cs.CL · 8 д назад

Функции LLM могут навредить GNN через интерференцию при конкатенации

Конкатенация функций, сгенерированных LLM, к графовым нейронным сетям систематически снижает точность на тестах с гомофильными данными, при этом точность PubMed снижается на -17,0 ± 0,3 pp. Эта деградация связана с дискриминативностью LLM в отдельности (Delta_sig), которая коррелирует сильно с затратами на конкатенацию (r² = 0,38) и демонстрирует степенную зависимость от размера признаков и количества узлов (r² = 0,97), особенно в условиях низкого Delta_sig и низкого количества узлов.

arxiv arXiv cs.CL · 7 д назад

CDDTLDA: Перенос обучения для дискриминации китайских диалектов

Новую архитектуру под названием CDDTLDA было предложено использовать перенос обучения и усреднение данных для решения задачи дискриминации китайских диалектов при ограниченной аннотации. Модель ASR источника обучается на крупном корпусе диалектов, к ним применяются усреднение скорости, тона и шума для диалектов с низким уровнем ресурсов, а затем модель ASR цели тонко настраивается с использованием самовнимания для выявления общих семантических признаков. Экспериментальные результаты показывают, что CDDTLDA превосходит самые передовые методы на двух проверочных корпусах китайских диалектов.

arxiv arXiv cs.CL · 7 д назад

RegMix-D: динамическое смешивание данных за счёт траекторий обучения через прокси

RegMix-D расширяет RegMix, используя полные траектории потерь из прокси-запусков для динамического выбора смесей данных. Он превосходит RegMix и DoReMi по 13 задачам на последующем этапе, достигая превосходных результатов при использовании всего 128 прокси-моделей — 25% вычислительного бюджета RegMix.

arxiv arXiv cs.CL · 7 д назад

SAMA: Единая платформа для расширения мультимодальных данных в условиях низкой ресурсности

SAMA представляет единую платформу, генерирующую синтетические данные высокого качества и ориентированные на задачу, путем синхронизации семантических опор между модальностями. Используется коллаборативная мультимодальная модель с несколькими экспертами, с общей и задачеспецифической адаптацией, и применяется механизм диффузии с сохранением опор для синтеза изображений, обеспечивая семантическую согласованность при разнообразии визуальных контекстов. Широкие эксперименты показывают, что SAMA превосходит самые современные методы по MNER, MRE и MEE при низком уровне ресурсов.

arxiv arXiv cs.CL · 7 д назад

Дистилляция с синтетическими данными для анализа финансового настроения

Фреймворк передает знания от крупных инструкционно настроенных моделей к компактным моделям с помощью синтетических данных, сгенерированных с помощью структурированного малошагового запроса. Выбор семян на основе кластеризации обеспечивает более репрезентативные синтетические примеры по сравнению с случайным выбором, позволяя компактным моделям достигать высокой производительности при минимальном количестве ручной метки. На сложных, шумных финансовых текстах учащая модель превосходит учителя, при этом оставаясь конкурентоспособной на официальных текстах.

media Latent Space · 8 д назад

Radical AI достигает ускорения в 10 раз в открытии материалов

Radical AI ускорил открытие материалов, создав и исследуя 1200 сплавов за шесть месяцев — почти в 10 раз быстрее, чем цель DARPA/GE MACH по созданию 500 сплавов за год. Их автономные лаборатории используют искусственных ученых для генерации и проверки гипотез в замкнутых системах, что привело к созданию 300 новых материалов, из которых 10 демонстрируют новые, передовые свойства, которые сейчас разрабатываются для коммерческого применения.

arxiv arXiv cs.LG · 8 д назад

Функции LLM могут негативно влиять на GNN через интерференцию при конкатенации

Конкатенация признаков, сгенерированных LLM, к графовым нейронным сетям систематически снижает точность на тестах с гомофильными данными, при этом точность PubMed снижается на -17.0 +/- 0.3 pp. Измерение дискриминативности LLM в отдельности, Delta_sig, коррелирует с производительностью конкатенации (r^2 = 0.38), и правило на основе Delta_sig <= 13.8 pp корректно предсказывает отсутствие положительного влияния в 7 из 9 датасетов.

arxiv arXiv cs.AI · 8 д назад

Внешний выпуск данных по заявкам Стэнфорда

Стэнфорд представляет SEFD, открытую, лаи-точную реконструкцию заявлений SEC в формате MultiMarkdown. Данный набор данных SEFD-v1 объемом 152 миллиарда токенов позволяет проводить финансовые моделирования и включает бенчмарки для прогнозирования и транскрипции таблиц, при этом пересечения с Common Crawl составляют менее 0,1%.

arxiv arXiv cs.AI · 9 д назад

FusionRS: Первый масштабный датасет RGB-инфракрасного дистанционного зондирования

FusionRS представляет первый масштабный датасет RGB-инфракрасно-текстового типа для моделирования визуально-языковых моделей дистанционного зондирования. Он синхронизирует RGB и инфракрасные изображения с инфракрасно-осознанными описаниями, позволяя использовать двумодальные визуально-языковые основные модели. Эксперименты показывают улучшение синхронизации RGB-инфракрасных изображений, поиска и описания, при этом исследования с устранением факторов подтверждают критическую роль модальности-специфического текстового надзора.

arxiv arXiv cs.AI · 7 д назад

Классификация связывает потребности присматривающих с технологиями в области психического здоровья

Новая классификация связывает психическое здоровье присматривающих при болезни Альцгеймера и деменции с технологическими вмешательствами. Она выявляет пробелы в поддержке таких вопросов, как напряжение в отношениях и выгорание сострадания, и предлагает общую рамку для проектирования технологий, ориентированных на человека и основанных на клинических данных.

arxiv arXiv cs.CL · 7 д назад

LOCUS: локальная корпорация нормативных актов для Соединенных Штатов

LOCUS предоставляет машинно-читаемый доступ к почти всем публично доступным нормативным актам муниципальных и городских органов США, охватывая 9239 городов и округов. В нем включена гармонизированная доступная слоистая структура для 2309 из 3144 округов США, охватывающих большинство населения. Корпора, построенная с использованием распознавания печатных символов и метаданных для воспроизводимости, позволяет проводить масштабный анализ местного законодательства, включая такие параметры, как прозрачность и патернализм, с использованием моделей на базе ModernBERT.

arxiv arXiv cs.LG · 7 д назад

Семи-наблюдаемое кластерное моделирование с использованием а-контра-аномалии

Новое кластерное решение использует а-контра-аномалию для определения кластеров как максимальных подмножеств без аномалий при нулевой гипотезе о случайности. Алгоритм Perception идентифицирует выбросы с использованием порога на основе ожидания (\mathbb{E} < 1), обеспечивая устойчивое кластерное моделирование без параметров, которое расширяется от минимальных исходных данных и эффективно справляется с шумом и появляющимися кластерами.

arxiv arXiv cs.LG · 7 д назад

Проверка адаптации на этапе тестирования с использованием метода потокового соответствия для уменьшения шумов в изображениях ОКТ

Метод на основе потокового соответствия выравнивает изображения ОКТ на этапе тестирования с синтетическими эталонными траекториями, обеспечивая совпадение распределений гистограмм для снижения несоответствий пикселей, вызванных шумом. Устранение зависимости от времени позволяет модели адаптироваться к реальным вариациям шума, обеспечивая наилучшее качество сегментации биомаркеров на стадиях возрастной дегенерации сетчатки.

arxiv arXiv cs.LG · 7 д назад

ЛСТМ-Видение Трансформер улучшает предсказание ошибок прогноза HRRR

Гибридная архитектура LSTM-Видение Трансформер улучшает предсказание ошибок прогноза HRRR за счет интеграции профилей атмосферы из профилей мезонета. Она обеспечивает улучшение предсказания ошибок осадков до вдвое, особенно в периоды активной планетарной подстилки, за счет лучшего учета эволюции ошибок конвекции и снижения деградации, связанной с планетарной подстилкой.

arxiv arXiv cs.LG · 7 д назад

Оптимизация интервалов последующих визитов с учётом контекста для диабета 2 типа

Исследование использует контекстуальный марковский процесс принятия решений для оптимизации интервалов последующих визитов для пациентов с диабетом 2 типа на основе данных электронных медицинских записей 22 154 пациентов. Модель выявляет два клинических контекста — низкий и высокий риск — и рекомендует адаптивные интервалы: 1 месяц для неизмеренных лабораторных показателей, до 3 месяцев для повышенных значений или госпитализаций, и 6–12 месяцев для стабильного контроля, при этом интервалы для пациентов с высоким риском короче. Политики CMDP сократили ожидаемые накопленные расходы на 34,8% в контексте высокой сопутствующей патологии и на 6,4% в контексте низкой сопутствующей патологии по сравнению с политикой с фиксированным интервалом.

arxiv arXiv cs.CL · 7 д назад

Graph-ESBMC-PLC: Формальная проверка графических программ PLCopen LD

Graph-ESBMC-PLC обеспечивает формальную проверку графических программ IEC 61131-3 на языке схем (Ladder Diagram) за счет введения разрешителя на основе поиска в глубину, который преобразует графические соединения LD в допустимую промежуточную форму представления GOTO. Проверка на трех реальных программах показывает полное генерирование IR и успешную проверку свойств безопасности при k=2 за 70 мс, без регрессии на текстовых бенчмарках.

arxiv arXiv cs.CL · 7 д назад

Средние и поздние части научных статей раскрывают ключевую методологическую информацию

Этот исследовательский материал показывает, что методологическая информация в научных статьях распределяется неравномерно, и средние-поздние и конечные части содержат большую дискриминирующую силу. Сочетание этих частей с библиографическими метаданными повышает точность автоматической классификации научных методов в библиотечной и информационной науке.

arxiv arXiv cs.CL · 7 д назад

Выпущен набор данных по ручному письму на урду для исследований UHTR

Набор данных по ручному письму на урду (UKHD) — это новый набор данных для оценки офлайн-рукописных строк на урду, отобранный из исторических записей катиба в настальской каллиграфии. Он оценивает модели на основе CRNN, при этом архитектура CNN-BGRU-CTC показывает наименьшие ошибки, что делает её надежной базой для распознавания ручного письма на урду.