CWE-Trace оценивает восемь прямых и 15 LoRA-настроенных LLM на обнаружении уязвимостей в ядре Linux. Результаты показывают, что заражение данными не дает преимущества, а настройка только сдвигает пороги вывода без изменения политики принятия решений. Несмотря на улучшение показателей обнаружения, LLM не обладают надежным безопасным мышлением, при этом точность по CWE на первом месте составляет менее 1,3%, а бинарная производительность обнаружения достигает 52,1%.
arxiv
arXiv cs.AI
·
6 д назад
·
research
Калибровка без понимания в обнаружении уязвимостей в LLM
Переведено с English → Русский
Важность 3/3
Новый бенчмарк-харнесс с отличиями
arXiv cs.AI
DeepSeek
Meta AI
OpenAI
Evaluation & benchmarks
Reasoning models
Safety & alignment
Бенчмарки
| Бенчмарк | Модель | Результат |
|---|---|---|
| SWE-bench Verified | DeepSeek-R1 | 52.1% |