media r/LocalLLaMA · 1 д назад

KaLM-Reranker-V1: Быстрый и эффективный переупорядочиватель документов

KaLM-Reranker-V1 — это быстрый, но не последовательный переупорядочиватель, который разделяет вычисление запроса и прохода, при этом сохраняя сильную модель соответствия через перекрестное внимание. Он достигает наилучших результатов на BEIR, превосходит промышленные модели, такие как Qwen3-Reranker, и показывает отличные результаты на MIRACL и LMEB, при этом нано-модель 0.27B остаётся конкурентоспособной по отношению к моделям на 7-12 миллиардов параметров.

arxiv arXiv cs.LG · 1 д назад

Обнаружение аномалий без надзора с помощью резервуарных компьютеров

Проверка на соответствие Колмогорова-Смирнова на весах выходных данных резервуарного компьютера выявляет изменения режимов в нелинейных системах. Метод различает визуально идентичные аттракторы, выявляет смещения параметров на семь раз меньше, чем у базовых моделей глубокого обучения, и определяет вентрикулярную дрожь в записях ЭКГ.

arxiv arXiv cs.LG · 1 д назад

Sea-Scan: обнаружение тёмных судов на основе машинного обучения с использованием слабого надзора

Sea-Scan использует машинное обучение для обнаружения и локализации тёмных судов на незаполненных данных. Оно достигает показателя обнаружения 97,8% при уровне ложных срабатываний 1,98%, используя слабый надзор на основе несовершенных меток AIS.

arxiv arXiv cs.LG · 1 д назад

Ремонт графа Рамануя снижает перенасыщение в ГНН

Метод Рамануя распространения использует графы Рамануя для снижения перенасыщения в графовых нейронных сетях, обеспечивая ненулевую кривизну сопротивления. Метод сохраняет локальную связность, обеспечивая эффективный поток информации на большие расстояния, превосходя девять наиболее передовых методов переподключения.

arxiv arXiv cs.LG · 1 д назад

Резервуарное вычисление для обработки звуковых сигналов без извлечения признаков

В этой статье исследуется резервуарное вычисление как метод обработки звуковых сигналов без извлечения признаков. Показано, что параллельные глубокие архитектуры резервуаров превосходят более узкие и последовательные по точности, при этом сохраняя низкую сложность, что позволяет эффективно и с низким энергопотреблением обрабатывать звуковые сигналы с минимальной предобработкой.

arxiv arXiv cs.LG · 1 д назад

Кадровая система на основе открытых данных определяет топологию городской сети электроснабжения

Новая система использует данные о публичной инфраструктуре и OpenStreetMap для восстановления топологии городской сети электроснабжения от передачи до соединений на уровне зданий. Она успешно отображает сеть для 7330 зданий в районе Альна в Осло, что позволяет проводить детальный анализ электрической системы, включая оптимизацию потоков и исследования устойчивости.

arxiv arXiv cs.LG · 1 д назад

SOHET: трансформатор для гетерогенных потоков событий

SOHET вводит иерархическую архитектуру трансформатора с таблицевыми кодировщиками, специфичными для типа события, и самосупервизированной предобученной. Он превосходит существующие методы на 5,8% на задаче обнаружения мошенничества Booking.com и достигывает лучших результатов на 6 из 8 задач EBES-бенчмарка.

arxiv arXiv cs.LG · 1 д назад

Управление прогнозированием ремонта с использованием многоуровневого внимания и онлайн-обучения

Фреймворк глубокого обучения, использующий многоуровневое внимание и онлайн-обучение, с высокой точностью предсказывает продолжительность ремонта, интегрируя категориальные и числовые исторические данные. Модель достигает точности 78% на реальных данных по ремонту с 2013 по 2020 год, превосходя прямые нейронные сети и случайные леса, при этом веса внимания раскрывают ключевые взаимодействия признаков.

arxiv arXiv cs.LG · 1 д назад

Граф разностей для анатомически структурированной медицинской идентификации

Граф разностей (GoD) вводит анатомически структурированную алигнацию разностей для медицинской идентификации изображений. Он представляет изображения в виде анатомических графов, вычисляет разности на соответствующих анатомических участках и фиксирует сигналы идентификации на гомологичных структурах. GoD повышает точность Rank-1 на 7,1 пункта в фундусе и на 3,1 пункта в CXR, при этом демонстрирует лучшую обобщаемость в условиях нулевого обучения.

arxiv arXiv cs.LG · 1 д назад

Функциональная ортогональность обеспечивает идентифицируемость в непеременной дисентанглменте

В статье доказывается, что локально ортогональные направления в генеративных моделях гарантируют идентифицируемость скрытых факторов без необходимости в статистической независимости или касательных предположениях. Эксперименты с ортогонально регулируемыми нормализующими потоками подтверждают надежное восстановление истинных скрытых факторов, что оспаривает ранее сформулированные утверждения о невозможности непеременной дисентанглменты.

arxiv arXiv cs.LG · 1 д назад

ADualVUOT: Гетерогенная альгебраическая синхронизация пространства скрытых представлений для несупервизированной адаптации домена

ADualVUOT представляет двойной декодер VAE с непрерывными нормализующими потоками для улучшения гибкости скрытых представлений в медицинской томографии. Он использует расстояние Гаусс-Громова-Вассерштейна для синхронизации доменов и противодействующее усилительное усиление для повышения устойчивости, превосходя предыдущие методы на основе оптимального транспорта на медицинских изображениях.

arxiv arXiv cs.LG · 1 д назад

Двойное внимание конволюционных экспертов для заполнения редких тензоров

DCGC вводит сеть двойного внимания конволюции и групповое контрастное обучение для улучшения заполнения редких тензоров. Метод захватывает сложные взаимодействия между модами и снижает уязвимость к редкости данных за счёт самосупервизированных сигналов, превосходя современные методы на датасетах трафика и рекомендаций.

arxiv arXiv cs.LG · 1 д назад

Общие кодеры для модульного реляционного глубокого обучения

В статье предложена модульная реляционная модель глубокого обучения, которая разделяет кодирование строк на передачу сообщений в графе. Вводится трансформер-базированный универсальный кодер строк, который использует метаданные схемы для генерации инвариантных векторов строк, что позволяет улучшить обобщение на разных базах данных и ускорить сходимость на бенчмарках RelBench.

arxiv arXiv cs.LG · 1 д назад

Пipelines на основе пространства субъекта превосходят аналоги в пространстве шаблона при сегментации подкорковых структур

Пipelines на основе пространства субъекта, основанные на UNet, превосходят аналоги в пространстве шаблона при сегментации подкорковых структур, демонстрируя более высокие значения Dice и более низкие значения HD95 для ядер подталамической области, красного ядра и подстволной нервной ткани. Показатели производительности значительно падают при применении к изображениям 3T, при синтетическом обучении на данных 3T наблюдается лишь незначительное улучшение, что подчеркивает существующий разрыв между 7T и 3T МРТ.

arxiv arXiv cs.LG · 1 д назад

Глубокое обучение объединяет данные спутников с метеорологическими характеристиками для оценки влажности почвы

Исследование подтверждает метод кросс-корреляции для определения оптимальных временных и глубинных сдвигов между метеорологическими переменными и влажностью почвы. Используя данные спутников и метеорологических измерений на семи сельскохозяйственных участках в юго-западной части Испании, глубокие нейронные сети достигли значительного улучшения: CNN на уровне пикселя достиг R² = 0,877, в то время как гибридная модель CNN-LSTM достигла наивысшей общей производительности с R² = 0,930. Информация о подземной глубине и метеорологические характеристики значительно повысили точность оценки.

arxiv arXiv cs.LG · 1 д назад

Несоответствие обучения с помощью противоречивых данных для нелинейных моделей

Формальное доказательство показывает, что между риском противоречивого обучения и риском регуляризации в двухслойных сетях не существует эквивалентности. Эмпирические результаты на Wide-ResNets подтверждают, что эта невозможность сохраняется в более глубоких и более выразительных архитектурах.

arxiv arXiv cs.LG · 1 д назад

Машинное обучение предсказывает высокорисковые полипы кишечника у афроамериканцев

Модель машинного обучения, разработанная на основе клинических данных до колоноскопии, предсказывает высокорисковые полипы кишечника у афроамериканцев. Модель, подтвержденная в разнообразной городской группе, использует демографические, образовательные и данные о сопутствующих заболеваниях для выявления пациентов с повышенным риском, с внешней валидацией, проведенной в 2023-2024 годах.

arxiv arXiv cs.LG · 1 д назад

JS-Разделение повышает автокорреляционную синхронизацию текста и изображения в GRPO

Исследование вводит JS-разделение в автокорреляционную синхронизацию текста и изображения в стиле GRPO, демонстрируя его эффективность в балансировке оптимизации политики и разнообразия генерации. Эксперименты на LlamaGen и Janus-7B показывают, что JS-разделение достигает лучших или конкурентоспособных результатов по всем метрикам, сохраняя разнообразные выводы.

arxiv arXiv cs.LG · 1 д назад

Глубокое обучение с параллельной временной сложностью O(log N)

Гиерархическое блочное локальное обучение (HBLL) позволяет обучать глубокие нейронные сети за временной сложностью O(log N) в параллельном режиме, устраняя необходимость полного обратного распространения. HBLL разбивает сети на гиерархически связанные блоки и достигает конкурентоспособных результатов на задачах визуального и языкового понимания, с расширениями на рекуррентные архитектуры.

arxiv arXiv cs.LG · 1 д назад

Анонимизированное распределенное обучение временных графов для кибер-устойчивых систем Интернета вещей

В статье представлено распределенное решение TGCN-A2C, обеспечивающее 99,48% и 99,61% точности на тестовых данных CICDDoS 2019 и TON-IoT, превосходя Fed-Inforce-Fusion на 0,21 процентный пункт. Включает обнаружение аномалий, оценку на основе цифрового двойника, адаптивный выбор действий и улучшенный слой ловушек, при этом все основные классы атак достигают значений F1 выше 0,92 и 0.94 соответственно, и обеспечивает пост-объяснение с помощью SHAP, LIME, Grad-CAM и анализа контрапримеров.