media TLDR AI · hace 1 h · industry

Google anuncia Gemini 4 Argon; NVIDIA lanza OpenShell para agentes autónomos

Traducido del English → Español

Google ha anunciado Gemini 4 Argon, un modelo de vanguardia diseñado para el razonamiento sostenido en ingeniería de software, trabajo empresarial con conocimientos y ciberseguridad. El acceso está inicialmente limitado a defensores de ciberseguridad de confianza, con disponibilidad más amplia planeada después de pruebas de seguridad por fases.

El nuevo modelo de Google apunta a tareas de razonamiento complejo en múltiples dominios profesionales.
NVIDIA lanzó OpenShell, un entorno de ejecución controlado por políticas que aplica controles de acceso a nivel de kernel para agentes de IA autónomos.
LIFT, una nueva arquitectura de transformador, pasa su estado oculto al siguiente token en lugar de recomputarlo, superando a los transformadores estándar en tareas de modelado de lenguaje y razonamiento.

Estos desarrollos destacan los esfuerzos continuos para mejorar la seguridad de la IA, la eficiencia y las capacidades especializadas en entornos empresariales.

Importancia 3/3 TLDR AI Google DeepMind Anthropic AI agents Safety & alignment

Leer original

NRT-Bench: Red-teaming multi-turn de agentes LLM en sistemas críticos para la seguridad

NRT-Bench presenta un benchmark para el red-teaming multi-turn de agentes LLM que operan en una planta de energía nuclear simulada. En cuatro modelos de operador de vanguardia, entre el 8,7 % y el 12,1 % de las sesiones de ataque provocan la pérdida de una función crítica de seguridad, con vulnerabilidades en gran medida disjuntas entre los modelos. La efectividad de las defensas varía significativamente según el modelo, mostrando una fuerte dependencia del modelo.

arxiv arXiv cs.AI · hace 104 d · 15 vistas

Desvío defensivo contra ataques automatizados en IA agéntica

Los sistemas de IA agéntica enfrentan crecientes amenazas por parte de ataques automatizados guiados por modelos. Una nueva estrategia de defensa, Desvío Contextual mediante Compromiso Progresivo (CMPE), reduce las tasas de éxito del atacante hasta en dos órdenes de magnitud y casi elimina el éxito verificado del ataque en pruebas de referencia.

arxiv arXiv cs.CL · hace 105 d · 19 vistas

Selección de herramientas sobreprivilegiadas en agentes LLM

Los agentes LLM suelen seleccionar herramientas con mayores privilegios a pesar de existir alternativas suficientes con menores privilegios. Este comportamiento sobreprivilegiado se ve amplificado por fallos transitorios de las herramientas y no mejora de manera confiable con la alineación general de seguridad. Una nueva defensa post-entrenamiento consciente del privilegio reduce el uso innecesario de herramientas de alto privilegio mientras mantiene las capacidades del agente.

arxiv arXiv cs.AI · hace 106 d · 15 vistas

TRAP: Benchmark para la finalización de tareas y resistencia a la extracción activa de privacidad

TRAP evalúa qué tan bien los modelos completan tareas utilizando datos privados sin filtrarlos. En 22 modelos, todos muestran una filtración de privacidad no trivial, con la capacidad de seguir instrucciones vinculada a una mayor filtración. El aislamiento estructural de campos privados previene la filtración reemplazando los campos privados con claves hash, manteniendo la precisión de la tarea sin sacrificar la privacidad.

arxiv arXiv cs.AI · hace 107 d · 9 vistas

LegalHalluLens: Auditoría de alucinaciones en IA legal

LegalHalluLens introduce un marco para auditar alucinaciones de la IA en contextos legales mediante el análisis de perfiles de alucinación tipificados en cuatro categorías de afirmaciones. Revela una brecha de 38-40 puntos entre las afirmaciones obligatorias/numéricas y temporales, y muestra que dos sistemas con tasas de alucinación idénticas del 52% pueden tener direcciones de riesgo opuestas. El marco utiliza un Índice de Dirección de Riesgo y pipelines de debate calibrados para reducir las detecciones fabricadas en un 45% y mejorar la responsabilidad en el despliegue de IA legal.