arxiv arXiv cs.LG · hace 61 d · research

Se lanza el conjunto de datos ATT&CK-Labeled Multi-Source Cybersecurity Logs Dataset

Traducido del English → Español

Un nuevo conjunto de datos combina registros del sistema, de red y del navegador de 870 sesiones de Windows, que incluyen 70 ataques y 800 casos benignos. Proporciona etiquetas por evento con IDs de técnicas MITRE ATT&CK para 12 tácticas y 53 técnicas, utilizando herramientas de ataque reales como RAT y túneles C2. El ajuste fino de tres Modelos de Lenguaje Pequeños (SLMs) mediante LoRA mejoró la precisión de clasificación de fragmentos al 90–97% y logró hasta un 42% de precisión en coincidencia exacta en la identificación de técnicas, mostrando una fuerte captura de razonamiento a pesar de los desafíos.

Importancia 2/3 arXiv cs.LG Alibaba (Qwen) Microsoft Research Mistral AI AI agents Evaluation & benchmarks Reasoning models

Leer original

OPD-Evolver: Destilación on-policy para la evolución holística de agentes

OPD-Evolver introduce un marco de co-evolución lento-rápido que permite a los agentes seleccionar, actuar y reutilizar experiencias mediante auto-destilación on-policy. Supera a los métodos existentes basados en memoria y entrenamiento hasta en un 11.5% y un 5.8% respectivamente, y demuestra capacidad para desafiar modelos a gran escala como Qwen3.5-397B-A17B y Step-3.5-Flash.

arxiv arXiv cs.AI · hace 54 d

LLMs evaluados para la detección de vulnerabilidades web

Un estudio evalúa seis LLMs en la detección de vulnerabilidades web del mundo real en plugins de WordPress, encontrando que las tasas de detección varían según el modelo y el diseño del prompt. Claude Opus 4.6 logró la tasa de detección más alta con un 63%, mientras que Qwen 3.5 solo alcanzó un 35%, y ningún modelo identificó consistentemente todas las vulnerabilidades de referencia a través de las iteraciones.

arxiv arXiv cs.AI · hace 54 d · 2 vistas

Evaluación de referencia de modelos de lenguaje pequeños para PLN en árabe

Una evaluación de referencia con 240 elementos de prueba en árabe en ocho dominios y diez habilidades evalúa doce modelos de lenguaje pequeños en configuraciones zero-shot. Gemma 3 (12B) obtuvo la puntuación general más alta (4.548/5), seguido por Aya y C4AI Command Arabic, con un rendimiento vinculado más a la alineación con el árabe y al seguimiento de instrucciones que al tamaño del modelo. Los modos de fallo comunes incluyen filtración de prompt, alucinación y débil adherencia a la tarea.

arxiv arXiv cs.CL · hace 55 d · 7 vistas

La dirección en tiempo de prueba resuelve conflictos de hechos temporales en LLMs

Los investigadores identifican conflictos temporales paramétricos en modelos de lenguaje donde los hechos desactualizados persisten en los parámetros. Introducen la Dirección Atractora Temporal (TAS), un método en tiempo de prueba que resuelve del 29% al 57% de estos conflictos sin reentrenamiento, manteniendo una precisión del 85-99% en consultas sin conflicto y superando a una línea base en tres de cuatro modelos.

arxiv arXiv cs.CL · hace 55 d · 1 vista

La recuperación factual en los LLMs es no contigua y redundante

Los modelos de lenguaje grandes utilizan rutas no contiguas y redundantes para recuperar atributos factuales. Estas rutas a menudo saltan capas e involucran múltiples rutas equivalentes, lo que indica un cálculo de conocimiento distribuido y redundante, desafiando la comprensión actual del almacenamiento y la recuperación de conocimiento en los LLMs.