arxiv arXiv cs.LG · hace 1 h · research

ReFold: plegado reversible de contexto sin entrenamiento para agentes de horizonte prolongado

Traducido del English → Español

Los investigadores presentan ReFold, una capa de renderizado sin entrenamiento que preserva el historial de interacciones mientras comprime el contexto renderizado del modelo para agentes LLM de horizonte prolongado. Elimina la redundancia entre turnos al reemplazar el contenido mostrado con marcadores y plegar los turnos finalizados reportados por el agente en notas de una sola línea, utilizando reescritura fragmentada para mantener las cachés de prefijo.

Elimina el contenido ya mostrado en turnos anteriores y pliega los turnos finalizados reportados por el agente en notas de una sola línea.
Utiliza renderizado fragmentado para reescribir el prefijo en caché cada pocos pasos en lugar de en cada paso.
Garantiza que todas las eliminaciones sean estrictamente reversibles, permitiendo la restauración desde el historial si una eliminación es incorrecta.
Reduce el consumo de tokens hasta 2.5 veces y reduce a la mitad la memoria de la caché KV por sesión sin degradar las tasas de éxito de la tarea.
Evita hasta el 92% de las compacciones forzadas bajo presupuestos de contexto limitados y reduce los retrasos en la cola de solicitudes hasta un 100%.

ReFold opera como una solución plug-and-play en arneses estándar estilo ReAct, acelerando la inferencia hasta 1.7 veces mientras reduce los costos de inferencia hasta 3.4 veces.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.LG AI agents Inference efficiency

Artículos relacionados

arxiv arXiv cs.CL · hace 3 h · 1 vista

ReFold: plegado reversible de contexto sin entrenamiento para agentes de horizonte largo

Los investigadores presentan ReFold, una capa de renderizado sin entrenamiento que comprime el contexto renderizado del modelo en agentes LLM de horizonte largo sin descartar el historial de interacción subyacente. Elimina la redundancia entre turnos reemplazando el contenido mostrado con marcadores y plegando los turnos finalizados en notas, utilizando renderizado por fragmentos para reescribir periódicamente el prefijo en caché.

arxiv arXiv cs.CL · hace 12 d · 29 vistas

El marco de puente de corutinas gana el Pista 2 de CAR-bench con 60.0% Pass^3

Un nuevo marco de puente de corutinas para agentes que utilizan herramientas ganó la Pista 2 de la evaluación CAR-bench, logrando una puntuación de 60.0% Pass@3 en el conjunto de pruebas ocultas oficial. El sistema desacopla la invocación del modelo de los viajes de ida y vuelta de las herramientas haciendo que el modelo emita programas Python que bloquean y reanudan a través de los intercambios del evaluador.

arxiv arXiv cs.AI · hace 14 d · 48 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 14 d · 44 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

lab OpenAI News · hace 14 d · 55 vistas

Reducción a la mitad del tiempo y costo de investigación con GPT-6 Astra

Parallel ha integrado GPT-6 Astra de OpenAI en su infraestructura de agentes de IA, logrando una reducción del 50% tanto en el tiempo de investigación como en los costos de código en comparación con modelos anteriores. La empresa informa que el nuevo modelo permite a los agentes completar trabajos de conocimiento complejos significativamente más rápido mientras mantiene un alto nivel de calidad.