arxiv arXiv cs.CL · 3 jam lalu · research

Pelatihan-bebas ReFold untuk lipatan konteks reversibel pada agen jangka panjang

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan ReFold, lapisan rendering tanpa pelatihan yang mengompresi konteks yang dirender oleh model dalam agen LLM jangka panjang tanpa membuang riwayat interaksi mendasarnya. Metode ini menghilangkan redundansi antar giliran dengan mengganti konten yang ditampilkan dengan stub dan melipat giliran yang selesai menjadi catatan, menggunakan rendering terpotong untuk menulis ulang awalan cache secara berkala.

ReFold menghilangkan dua jenis redundansi antar giliran: konten yang pernah ditampilkan dan giliran yang telah selesai dilaporkan oleh agen.
Metode ini menggunakan rendering terpotong untuk memperbarui awalan cache setiap beberapa langkah, bukan pada setiap langkah.
Semua penghapusan bersifat sepenuhnya reversibel, memungkinkan pemulihan dari riwayat jika penghapusan salah.
Evaluasi di lima benchmark dan dua LLM terdepan menunjukkan pengurangan konsumsi token hingga 2.5x dan pengurangan memori KV-cache menjadi setengahnya.
Di bawah anggaran konteks yang dibatasi, ReFold menghindari hingga 92% kompresi paksa.
Dalam beban kerja penyiapan konkuren, metode ini mengurangi penundaant antrean permintaan hingga 100%, mempercepat inferensi hingga 1.7x, dan memangkas biaya hingga 3.4x.

ReFold dirancang sebagai solusi plug-and-play untuk harness bergaya ReAct standar, mengatasi keterbatasan metode manajemen konteks prediktif yang ada yang memperkenalkan overhead waktu eksekusi dan membatalkan cache awalan.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.CL AI agents Inference efficiency

Artikel terkait

arxiv arXiv cs.LG · 1 jam lalu Langsung

Pelatihan-bebas ReFold untuk lipat balik konteks jangka panjang agen

Para peneliti memperkenalkan ReFold, lapisan rendering tanpa pelatihan yang mempertahankan riwayat interaksi sambil mengompresi konteks yang dirender oleh model untuk agen LLM jangka panjang. Ini menghapus redundansi antar giliran dengan mengganti konten yang ditampilkan dengan stub dan melipat giliran selesai menjadi catatan, menggunakan penulisan ulang terpotong untuk menjaga cache prefix.

arxiv arXiv cs.CL · 12 hari lalu · 29 tayangan

Kerangka kerja koroutin-bridge memenangkan Jalur 2 CAR-bench dengan Pass^3 sebesar 60,0%

Sebuah kerangka kerja koroutin-bridge baru untuk agen yang menggunakan alat memenangkan Jalur 2 dari evaluasi CAR-bench, mencapai skor Pass@3 sebesar 60,0% pada set uji tersembunyi resmi. Sistem ini memisahkan pemanggilan model dari putaran balik alat dengan membuat model menghasilkan program Python yang memblokir dan melanjutkan kembali di antara pertukaran evaluator.

arxiv arXiv cs.AI · 14 hari lalu · 48 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 14 hari lalu · 44 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

lab OpenAI News · 14 hari lalu · 55 tayangan

Mengurangi waktu dan biaya penelitian menjadi setengah dengan GPT-6 Astra

Parallel telah mengintegrasikan GPT-6 Astra dari OpenAI ke dalam infrastruktur agen AI-nya, mencapai pengurangan 50% baik dalam waktu penelitian maupun biaya kode dibandingkan dengan model sebelumnya. Perusahaan melaporkan bahwa model baru memungkinkan agen menyelesaikan pekerjaan pengetahuan kompleks secara signifikan lebih cepat sambil mempertahankan output berkualitas tinggi.