arxiv arXiv cs.LG · 8 д назад

Sumi: Открытая унифицированная модель распределенной генерации языка, построенная с нуля

Sumi — это модель распределенной генерации языка с 7 миллиардами параметров, предобученная с нуля на 1,5 трлн токенов. Она конкурирует с автокоррекционными моделями на задачах знаний, логики и программирования, но демонстрирует ухудшение на тестах по общеобразовательным знаниям, вероятно, из-за доминирования в обучающих данных образовательного контента. Веса модели, контрольные точки и полная схема обучения были опубликованы.

arxiv arXiv cs.LG · 8 д назад

Moat: Динамический анализ с учетом жизненного цикла для безопасной выполнения моделей машинного обучения

Moat — это подход динамического анализа, обеспечивающий безопасное выполнение моделей машинного обучения за счёт мониторинга взаимодействий с хост-системой в течение определённых фаз жизненного цикла модели. Реализация Re-Moat обнаруживает все рассмотренные классы атак с почти нулевым коэффициентом ложноположительных результатов при анализе 77 974 реальных моделей и нескольких фреймворков, превосходя существующие решения на основе статического сканирования моделей.

arxiv arXiv cs.LG · 8 д назад

Геометрический и стохастический анализ разрывов в разреженных моделях смеси экспертов

В этой статье анализируются разрывы в моделях разреженной смеси экспертов, классифицируются по порядку и показывается, что разрывы низкого порядка доминируют по объёму. Доказывается, что случайные входные пути почти наверное первоначально достигают разрыва первого порядка с вероятностными оценками конечного времени, и выводятся оценки времени пребывания для каждого порядка. Предлагается простой механизм сглаживания, который улучшает непрерывность и производительность модели с минимальными затратами вычислительных ресурсов.

arxiv arXiv cs.LG · 8 д назад

Обучение с положительными и непримечаемыми примерами для аудита оценки языковых моделей

Новый фреймворк использует обучение с положительными и непримечаемыми примерами и частичный оптимальный транспорт для аудита искажений в оценке языковых моделей. Он выравнивает положительные ответы, подтвержденные людьми, с ответами модели, не имеющими меток, в пространстве вложений, выявляя стабильные предпочтения людей и корректируя искажение избыточности без переобучения. Эксперименты показывают улучшенное соответствие с людьми, устойчивость к искажениям в представлении и интерпретируемость оценок уверенности.

arxiv arXiv cs.LG · 8 д назад

Оптимизация интервалов последующих визитов с учётом контекста для диабета 2 типа

Исследование использует контекстуальный марковский процесс принятия решений для оптимизации интервалов последующих визитов для пациентов с диабетом 2 типа на основе данных электронных медицинских записей 22 154 пациентов. Модель выявляет два клинических контекста — низкий и высокий риск — и рекомендует адаптивные интервалы: 1 месяц для неизмеренных лабораторных показателей, до 3 месяцев для повышенных значений или госпитализаций, и 6–12 месяцев для стабильного контроля, при этом интервалы для пациентов с высоким риском короче. Политики CMDP сократили ожидаемые накопленные расходы на 34,8% в контексте высокой сопутствующей патологии и на 6,4% в контексте низкой сопутствующей патологии по сравнению с политикой с фиксированным интервалом.

arxiv arXiv cs.LG · 8 д назад

XAI раскрывает ключевые факторы в европейских электрических рынках

Исследование, использующее методы SHAP и SSHAP, анализирует факторы, влияющие на цены на электроэнергию, в 39 европейских зонах торгов. Оно выявляет, что солнечная энергия оказывает превосходное влияние на цены, газ остается доминирующим фактором, а взаимосвязи подчеркивают региональную взаимозависимость. Исследование также создает синтетический единый европейский рынок для анализа полностью интегрированной сценария с едицей цены.

arxiv arXiv cs.LG · 8 д назад

Giskard: протокол агрегации с конфиденциальностью и устойчивостью к байзантинским узлам

Giskard обеспечивает агрегацию распределенной машинного обучения с конфиденциальностью и устойчивостью к байзантинским узлам, организуя участников в деревянные комитеты размера O(log n). Он использует MPC в стиле BGW и адаптированный бинарный поиск в комитетах для вычисления приближенного медиана, что снижает асимптотическую сложность коммуникации на каждом участнике, сохраняя полезность модели при до n/4 байзантинских участниках.

arxiv arXiv cs.LG · 8 д назад

OrthoReg: ортогональная регуляризация для гибридных символических-нейронных динамических систем

OrthoReg вводит ортогональную регуляризацию для предотвращения того, что нейронные компоненты переподучивают символические структуры в гибридных динамических системах. Снижая прямое взаимодействие между символическими и нейронными частями, оно обеспечивает дополнительное разложение, при котором символические модели отвечают за выражимую физику, а нейронные модели — за оставшиеся динамики. На тестах с частичным несовпадением библиотеки OrthoReg улучшает восстановление символических структур и производительность за пределами распределения.

arxiv arXiv cs.LG · 8 д назад

Локальные сертификаты риска для обновления моделей

В статье представлены локальные сертификаты, которые обеспечивают двусторонние доверительные интервалы для увеличения риска популяции вокруг текущей модели. Верхняя граница этого интервала определяет правило обновления с контролем риска: обновление принимается только тогда, когда верхняя граница сертифицирована не положительна, в противном случае текущая модель сохраняется.

arxiv arXiv cs.CL · 8 д назад

Morpheus: нейронный токенизатор и векторизатор для турецкого языка

Morpheus — это морфологически осознанный нейронный токенизатор и векторизатор для турецкого языка, который сохраняет исходный текст за счёт безпотерьного кодирования и декодирования. Он достигает наименьшего количества бит на символ (1,425), улучшает морфологическую синхронизацию (MorphScore macro-F1 0,61) и использует на 19% меньше видеопамяти, чем токенизаторы на основе подслов с словарём из 64 тысяч слов. Векторы Morpheus, закреплённые в памяти, превосходят BGE-M3 и BERTurk по лексическому поиску, с показателем MAP по корневым семействам 0,85 и ROC-AUC 1,00.

arxiv arXiv cs.CL · 8 д назад

LegalWorld: Циклическая среда для юридических агентов

LegalWorld моделирует китайские гражданские судебные разбирательства как причинно связанный цепочку из пяти стадий, основываясь на 75 309 решениях. В нем включены повторно используемые инфраструктуры для поддержания согласованности на всех стадиях и позволяет LongJud-Bench оценивать производительность агентов на всех этапах, выявляя значительные пробелы в способностях моделей в различных юридических задачах.

arxiv arXiv cs.CL · 8 д назад

Graph-ESBMC-PLC: Формальная проверка графических программ PLCopen LD

Graph-ESBMC-PLC обеспечивает формальную проверку графических программ IEC 61131-3 на языке схем (Ladder Diagram) за счет введения разрешителя на основе поиска в глубину, который преобразует графические соединения LD в допустимую промежуточную форму представления GOTO. Проверка на трех реальных программах показывает полное генерирование IR и успешную проверку свойств безопасности при k=2 за 70 мс, без регрессии на текстовых бенчмарках.

arxiv arXiv cs.CL · 8 д назад

Средние и поздние части научных статей раскрывают ключевую методологическую информацию

Этот исследовательский материал показывает, что методологическая информация в научных статьях распределяется неравномерно, и средние-поздние и конечные части содержат большую дискриминирующую силу. Сочетание этих частей с библиографическими метаданными повышает точность автоматической классификации научных методов в библиотечной и информационной науке.

arxiv arXiv cs.AI · 8 д назад

Масштабирование системы аварийного торможения с использованием огромных объемов непримечаемых данных через мета-обратную связь в semi-supervised learning

Мета-обратная связь в полуосуществленном обучении позволяет масштабировать систему аварийного торможения с использованием огромных объемов непримечаемых данных из автопарков. Устойчивый подход снижает ошибки псевдометок за счет разъединения, учитывающего шум, и псевдометки, основанные на кинематике, что повышает безопасность за счет соотношения 100:1 между положительными и ложными активациями и на 35% больше километров без аварий по сравнению с системами на основе правил.

arxiv arXiv cs.AI · 8 д назад

Нейронные сети с учетом сдвига домена для оценки несбалансированных масс

Предлагается нейронная сеть с учетом сдвига домена для оценки несбалансированных масс в вращающихся системах при изменяющихся условиях. Модель использует максимальное среднее отклонение для синхронизации представлений признаков между различными рабочими доменами, повышая точность предсказания при том, что поведение системы отличается от условий обучения. Результаты показывают ее эффективность в приложениях мониторинга состояния конструкций.

arxiv arXiv cs.AI · 8 д назад

TransitNet достигает точности 95,2% при поиске транзитов в условиях низкого уровня шума

TransitNet, компактная архитектура глубокого обучения с усилением внимания, достигает точности 95,2% при поиске транзитов в условиях низкого уровня шума, превосходя TLS и BLS по значениям ROC-AUC и PR-AP. Он восстанавливает 93,0% введенных транзитов размером Земли и подземной Земли, 97,4% введенных транзитов полностью охвачены оцененными окнами транзита, и успешно восстанавливает все 34 подтвержденных планет Кеплера с средней ошибкой в середине 1,24 часа.

arxiv arXiv cs.AI · 8 д назад

Изменчивость в программном обеспечении, созданном с помощью ИИ: Новый подход к разработке линейки продуктов

Экспериментальный анализ 10 проектов на языках C/C++, кодированных по принципу vibe, показывает практически нулевую изменчивость в артефактах, при этом все решения принимаются на этапе генерации. В статье предлагается подход Variability by Regeneration (VbR), в котором LLM выступает в роли двигателя дифференциации, генерируя настраиваемые бинарные файлы из декларативных спецификаций, при этом диспетчер вариантов направляет запросы пользователя на соответствующий бинарный файл. Vb-Р переносит изменчивость в спецификации, а не в код, предлагая новый парадигм для инженерии систем с переменными параметрами.

arxiv arXiv cs.AI · 8 д назад

XAI раскрывает ключевые факторы в европейских электрических рынках

Исследование использует методы SHAP и SSHAP для анализа факторов, влияющих на цены на электроэнергию, в 39 европейских зонах торгов. Оно выявляет, что солнечная энергия оказывает превосходное влияние на цены, газ остается доминирующим фактором, а взаимосвязи подчеркивают региональную взаимозависимость. Исследование также строит синтетический единый рынок Европы для анализа полностью интегрированной ситуации.

arxiv arXiv cs.AI · 8 д назад

Техническая классификация протоколов коммуникации агентов на основе ЛЛМ

Новая классификация классифицирует протоколы коммуникации агентов на основе ЛЛМ по пяти измерениям: сопряжённый субъект, нагрузка, состояние взаимодействия, механизм обнаружения и гибкость схемы. Анализ показывает, что гибридные нагрузки, сохранение состояния сессии и переговоры о схеме во время выполнения являются распространенными, в то время как децентрализованное обнаружение остаётся редким. Исследование прогнозирует краткосрочную тенденцию к унификации протоколов агент-к-агенту и агент-к-контексту, и долгосрочное развитие в сторону распределённой, многоуровневой стека протоколов.

arxiv arXiv cs.AI · 8 д назад

OrthoReg: ортогональная регуляризация для гибридных символических-нейронных динамических систем

OrthoReg вводит ортогональную регуляризацию для предотвращения того, что нейронные компоненты переподучивают символические структуры в гибридных динамических системах. Средством прямого штрафа за пересечение между символическими и нейронными частями, оно обеспечивает дополнительную декомпозицию, при которой символические модели отвечают за выражимую физику, а нейронные компоненты — за оставшиеся динамические процессы. На тестовых наборах с частичным несовпадением библиотек, OrthoReg улучшает восстановление символических структур и производительность вне распределения.