arxiv arXiv cs.CL · 53 д назад · research

OPD-Evolver: Он-политическая дистилляция для всестороннего эволюционирования агентов

Переведено с English → Русский

OPD-Evolver представляет рамку медленного и быстрого совместного эволюционирования, которая позволяет агентам выбирать, действовать и повторно использовать опыт через он-политическую самодистилляцию. Он превосходит существующие методы на основе памяти и обучения на 11,5% и 5,8% соответственно, и демонстрирует способность конкурировать с крупномасштабными моделями, такими как Qwen3.5-397B-A17B и Step-3.5-Flash.

Важность 3/3 Обходит бенчмарк топ-лаборатории Новая фича по сравнению с лидерами Новый бенчмарк-харнесс с отличиями arXiv cs.CL Mistral AI Alibaba (Qwen) DeepSeek AI agents Evaluation & benchmarks Reasoning models

Оригинал

Оценка бенчмарка малых языковых моделей для арабской NLP

Бенчмарк из 240 арабских тестовых заданий в восьми областях и десяти навыках оценивает двенадцать малых языковых моделей в нулевом режиме. Gemma 3 (12B) достигла наивысшей общей оценки (4,548/5), за ним следуют Aya и C4AI Command Arabic, производительность которых связана больше с арабской настройкой и выполнением инструкций, чем с размером модели. Общие недостатки включают утечку промпта, халлюцинации и слабое выполнение задач.

arxiv arXiv cs.CL · 47 д назад · 2 просмотра

Оценка бенчмарка малых языковых моделей для арабской NLP

Бенчмарк из 240 арабских тестовых заданий в восьми областях и десяти навыках оценивает двенадцать малых языковых моделей в нуля-шот условиях. Gemma 3 (12B) достигла наивысшей общей оценки (4,548/5), за ним следуют Aya и C4AI Command Arabic, производительность которых связана больше с арабской настройкой и выполнением инструкций, чем с размером модели. Общие неисправности включают утечку промпта, халлюцинации и слабое выполнение задач.

arxiv arXiv cs.AI · 52 д назад · 1 просмотр

X+Slides: Метрика для генерации слайдов с учетом потребностей аудитории

X+Slides представляет метрику, оценивающую генерацию слайдов с учетом потребностей целевой аудитории. Она использует 8133 исходных пробных заданий по 113 темам и семи сценам для измерения охвата аудитории, охвата по областям, эффективности и корректности, выявляя, что текущие системы восстанавливают лишь частичную аудиторией необходимую информацию, при этом DeepPresenter достигает 0,714 охвата аудитории, SlideTailor — 0,594, а NotebookLM ablation — 0,853, что подчеркивает необходимость оценки на основе исходных данных.

arxiv arXiv cs.LG · 52 д назад

В фокусе: использование GPU Spot для ускорения постобучивания DiT RL

Spotlight позволяет ускорить постобучивание DiT RL за счёт использования пустых GPU Spot, снижая расходы в 1,4–6,4 раза при достижении превосходного качества изображений. Используя устаревшие веса модели при исследовании и динамически переконфигурируя последовательную параллельность, обеспечивается эффективное использование GPU без нарушения обучающих потоков.

arxiv arXiv cs.LG · 53 д назад

Выпущена база данных с метками ATT&CK, объединяющая логи из различных источников в области кибербезопасности

Новая база данных объединяет системные, сетевые и браузерные логи из 870 сессий Windows, включая 70 атак и 800 случаев без нарушений. В ней присутствуют метки на уровне каждого события с идентификаторами техник MITRE ATT&CK для 12 тактик и 53 техник, используя реальные инструменты атак, такие как RAT и туннели C2. Настройка трех малых языковых моделей (SLM) с использованием LoRA повысила точность классификации блоков до 90–97% и достигла точности совпадения до 42% при идентификации техник, что демонстрирует сильную способность к логическому мышлению, несмотря на существующие трудности.