arxiv arXiv cs.LG · 53 д назад · research

Выпущена база данных с метками ATT&CK, объединяющая логи из различных источников в области кибербезопасности

Переведено с English → Русский

Новая база данных объединяет системные, сетевые и браузерные логи из 870 сессий Windows, включая 70 атак и 800 случаев без нарушений. В ней присутствуют метки на уровне каждого события с идентификаторами техник MITRE ATT&CK для 12 тактик и 53 техник, используя реальные инструменты атак, такие как RAT и туннели C2. Настройка трех малых языковых моделей (SLM) с использованием LoRA повысила точность классификации блоков до 90–97% и достигла точности совпадения до 42% при идентификации техник, что демонстрирует сильную способность к логическому мышлению, несмотря на существующие трудности.

Важность 2/3 arXiv cs.LG Alibaba (Qwen) Microsoft Research Mistral AI AI agents Evaluation & benchmarks Reasoning models

Оригинал

Похожие статьи

arxiv arXiv cs.CL · 53 д назад

OPD-Evolver: Он-политическая дистилляция для всестороннего эволюционирования агентов

OPD-Evolver представляет рамку медленного и быстрого совместного эволюционирования, которая позволяет агентам выбирать, действовать и повторно использовать опыт через он-политическую самодистилляцию. Он превосходит существующие методы на основе памяти и обучения на 11,5% и 5,8% соответственно, и демонстрирует способность конкурировать с крупномасштабными моделями, такими как Qwen3.5-397B-A17B и Step-3.5-Flash.

arxiv arXiv cs.AI · 47 д назад

Оценка LLM для обнаружения уязвимостей в веб-приложениях

Исследование оценивает шесть LLM на обнаружение реальных уязвимостей в веб-приложениях в плагинах WordPress, выявляя, что показатели обнаружения варьируются в зависимости от модели и дизайна запроса. Claude Opus 4.6 достиг наивысшего показателя обнаружения — 63%, в то время как Qwen 3.5 достиг лишь 35%, и ни одна модель не стабильно идентифицировала все базовые уязвимости на всех итерациях.

arxiv arXiv cs.AI · 47 д назад · 1 просмотр

Оценка бенчмарка малых языковых моделей для арабской NLP

Бенчмарк из 240 арабских тестовых заданий в восьми областях и десяти навыках оценивает двенадцать малых языковых моделей в нулевом режиме. Gemma 3 (12B) достигла наивысшей общей оценки (4,548/5), за ним следуют Aya и C4AI Command Arabic, производительность которых связана больше с арабской настройкой и выполнением инструкций, чем с размером модели. Общие недостатки включают утечку промпта, халлюцинации и слабое выполнение задач.

arxiv arXiv cs.CL · 47 д назад · 6 просмотров

Метод направления на этапе тестирования устраняет конфликты временных фактов в языковых моделях

Исследователи выявили параметрические временные конфликты в языковых моделях, где устаревшие факты сохраняются в параметрах. Они вводят Метод временного притяжения (TAS), подход на этапе тестирования, который устраняет 29-57% таких конфликтов без переобучения, сохраняя точность 85-99% на запросах без конфликтов и превосходя базовую модель на трёх из четырёх моделей.

arxiv arXiv cs.CL · 47 д назад · 1 просмотр

Фактическое извлечение в LLMs является непрерывным и избыточным

Большие языковые модели используют непрерывные, избыточные пути для извлечения фактических характеристик. Эти пути часто пропускают слои и включают несколько эквивалентных маршрутов, что указывает на распределенное и избыточное вычисление знаний, что подрывает текущее понимание хранения и извлечения знаний в LLMs.