arxiv arXiv cs.CL · hace 76 d · research

LegalHalluLens: Auditoría de alucinaciones en IA legal

Traducido del English → Español

LegalHalluLens introduce un marco para auditar alucinaciones de IA en contextos legales mediante el análisis de perfiles de alucinación tipificados en cuatro categorías de afirmaciones. Revela una brecha de 38-40 puntos entre las afirmaciones obligatorias/numéricas y temporales, y muestra que dos sistemas con tasas de alucinación idénticas del 52% pueden tener direcciones de riesgo opuestas. El marco utiliza un Índice de Dirección de Riesgo y pipelines de debate calibrados para reducir las detecciones fabricadas en un 45% y mejorar la responsabilidad en el despliegue de IA legal.

Importancia 3/3 Nueva función frente a los líderes Nuevo entorno de evaluación con diferenciadores arXiv cs.CL Cohere Mistral AI OpenAI AI agents Reasoning models Safety & alignment

Leer original

LedgerAgent: Estado estructurado para agentes de llamada de herramientas adherentes a la política

LedgerAgent introduce un libro mayor estructurado para mantener los estados de las tareas por separado en agentes de llamada de herramientas. Convierte los estados en prompts y aplica restricciones de la política antes de la ejecución de herramientas, reduciendo las violaciones de la política y mejorando el rendimiento en dominios de atención al cliente.

arxiv arXiv cs.CL · hace 74 d · 4 vistas

LedgerAgent: Estado estructurado para agentes de llamada a herramientas adherentes a la política

LedgerAgent introduce un libro contable estructurado para mantener los estados de las tareas separados en agentes que llaman a herramientas. Convierte estos estados en prompts y aplica restricciones de políticas antes de la ejecución de las herramientas, reduciendo las violaciones de políticas y mejorando el rendimiento en dominios de atención al cliente.

arxiv arXiv cs.AI · hace 75 d · 4 vistas

La minería de trayectorias revela la estructura de habilidades pero no mejora las políticas

Una tubería de tres etapas extrae bibliotecas de habilidades a partir de datos de interacción con GUI, logrando una alta pureza en cinco de los ocho clústeres frente a las etiquetas de InteraSkill. Sin embargo, el método solo mejora ligeramente la precisión de pasos de habilidad en IW y no logra avanzar el rendimiento en BrowseComp+ ni en métricas clave, lo que indica limitaciones en la transferencia de políticas entre dominios.

arxiv arXiv cs.LG · hace 76 d · 6 vistas

LegalHalluLens: Auditoría de alucinaciones en IA legal

LegalHalluLens presenta un marco para auditar alucinaciones de IA en contextos legales mediante el análisis de perfiles tipificados de alucinaciones en cuatro categorías de afirmaciones. Revela una brecha de 38-40 puntos entre las afirmaciones obligatorias/numéricas y temporales, y muestra que dos sistemas con tasas de alucinación idénticas del 52% pueden tener direcciones de riesgo opuestas. El marco utiliza un Índice de Dirección de Riesgo y pipelines de debate calibrados para reducir las detecciones fabricadas en un 45%, ofreciendo diagnósticos accionables para el despliegue confiable de IA legal.

arxiv arXiv cs.CL · hace 76 d · 10 vistas

SkillWeaver: Enrutamiento de Habilidades Composicionales para Agentes LLM

SkillWeaver introduce un framework de descomponer-recuperar-componer para agentes LLM, formalizando el problema del Enrutamiento de Habilidades Composicionales. Logra una precisión de descomposición del 67.7% mediante Descomposición Iterativa Consciente de Habilidades (SAD), mejorando desde el 51.0% con un valor p menor a 10^-6, y reduce el uso de la ventana de contexto en más del 99%.