arxiv arXiv cs.LG · 1 jam lalu · research

Pelatihan-bebas ReFold untuk lipat balik konteks jangka panjang agen

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan ReFold, lapisan rendering tanpa pelatihan yang mempertahankan riwayat interaksi sambil mengompresi konteks yang dirender oleh model untuk agen LLM jangka panjang. Ini menghapus redundansi antar giliran dengan mengganti konten yang ditampilkan dengan stub dan melipat giliran selesai menjadi catatan, menggunakan penulisan ulang terpotong untuk menjaga cache prefix.

Menghapus konten yang sudah ditampilkan di giliran sebelumnya dan melipat giliran selesai yang dilaporkan agen menjadi catatan satu baris.
Menggunakan rendering terpotong untuk menulis ulang cache prefix sekali setiap beberapa langkah alih-alih di setiap langkah.
Memastikan semua penghapusan sepenuhnya dapat dibalik, memungkinkan pemulihan dari riwayat jika penghapusan salah.
Mengurangi konsumsi token hingga 2.5x dan separuh memori KV-cache per sesi tanpa menurunkan tingkat keberhasilan tugas.
Menghindari hingga 92% kompresi paksa di bawah anggaran konteks terbatas dan mengurangi penundaant antrean permintaan hingga 100%.

ReFold beroperasi sebagai solusi plug-and-play di berbagai harness gaya ReAct standar, mempercepat inferensi hingga 1.7x sambil memangkas biaya inferensi hingga 3.4x.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.LG AI agents Inference efficiency

Artikel terkait

arxiv arXiv cs.CL · 3 jam lalu · 1 tayangan

Pelatihan-bebas ReFold untuk lipatan konteks reversibel pada agen jangka panjang

Para peneliti memperkenalkan ReFold, lapisan rendering tanpa pelatihan yang mengompresi konteks yang dirender oleh model dalam agen LLM jangka panjang tanpa membuang riwayat interaksi mendasarnya. Metode ini menghilangkan redundansi antar giliran dengan mengganti konten yang ditampilkan dengan stub dan melipat giliran yang selesai menjadi catatan, menggunakan rendering terpotong untuk menulis ulang awalan cache secara berkala.

arxiv arXiv cs.CL · 12 hari lalu · 29 tayangan

Kerangka kerja koroutin-bridge memenangkan Jalur 2 CAR-bench dengan Pass^3 sebesar 60,0%

Sebuah kerangka kerja koroutin-bridge baru untuk agen yang menggunakan alat memenangkan Jalur 2 dari evaluasi CAR-bench, mencapai skor Pass@3 sebesar 60,0% pada set uji tersembunyi resmi. Sistem ini memisahkan pemanggilan model dari putaran balik alat dengan membuat model menghasilkan program Python yang memblokir dan melanjutkan kembali di antara pertukaran evaluator.

arxiv arXiv cs.AI · 14 hari lalu · 48 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 14 hari lalu · 44 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

lab OpenAI News · 14 hari lalu · 55 tayangan

Mengurangi waktu dan biaya penelitian menjadi setengah dengan GPT-6 Astra

Parallel telah mengintegrasikan GPT-6 Astra dari OpenAI ke dalam infrastruktur agen AI-nya, mencapai pengurangan 50% baik dalam waktu penelitian maupun biaya kode dibandingkan dengan model sebelumnya. Perusahaan melaporkan bahwa model baru memungkinkan agen menyelesaikan pekerjaan pengetahuan kompleks secara signifikan lebih cepat sambil mempertahankan output berkualitas tinggi.