arxiv arXiv cs.AI · 1 jam lalu · research

AgentZip mengurangi memori sandbox agen AI hingga 8,7x

Diterjemahkan dari English → Bahasa Indonesia

Peneliti memperkenalkan AgentZip, sistem kompresi memori yang dirancang khusus untuk sandbox agen AI fan-out tinggi guna mengatasi hambatan memori yang disebabkan oleh sesi konkuren.

Memanfaatkan redundansi relatif template dan lintas-sandbox untuk mengompresi halaman di luar kecocokan identik.
Mengalihkan kontrol overhead dari pemilihan halaman konservatif saat kompresi ke prefetching saat pemulihan.
Menyelaraskan operasi kompresi mahal dengan periode tunggu LLM untuk menghindari gangguan pada eksekusi alat latar depan.
Mencapai pengurangan memori milik sandbox hingga 8,7x, dibandingkan 2,1x untuk konfigurasi Linux standar.
Mengurangi perlambatan kinerja dari kompresi agresif dari 3,1x menjadi 1,40x sambil mempertahankan sebagian besar penghematan memori.

AgentZip secara efektif mengurangi tekanan memori dalam beban kerja agen dengan mengoptimalkan kapan dan bagaimana data dikompresi tanpa berdampak signifikan pada kecepatan eksekusi.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.AI AI agents Inference efficiency

Baca aslinya

Metode Ketidakpastian Spekulatif mengurangi kesalahan agen teknik perangkat lunak menggunakan gerbang model draf

Para penulis menyajikan Ketidakpastian Spekulatif (SU), sebuah teknik yang memulihkan sinyal kegagalan prediktif untuk agen LLM kotak hitam dengan menganalisis token output mereka saja, tanpa memerlukan akses ke logit, bobot, atau aktivasi. Dengan membalikkan decoding spekulatif, model draf berbobot terbuka kecil memberi skor pada lintasan agen dalam satu lemparan maju tunggal untuk mengekstrak fitur yang sadar fase dan mengkalibrasinya terhadap tujuan yang dapat diverifikasi.

lab Hugging Face Blog · 23 hari lalu · 16 tayangan

ALTK-Evolve mengkalibrasi dosis memori agentic sesuai kemampuan model untuk kinerja yang lebih baik

Sebuah studi terhadap delapan model mengungkapkan bahwa memori agentic bukanlah fitur universal, melainkan dosis yang harus dikalibrasi sesuai dengan kemampuan spesifik model. Kerangka kerja ALTK-Evolve memadatkan pedoman dari lintasan masa lalu agen dan menyuntikkannya saat inferensi tanpa pembaruan bobot, menunjukkan bahwa strategi memori optimal bervariasi secara signifikan di berbagai tingkatan model.

lab Hugging Face Blog · 31 hari lalu · 11 tayangan

ALTK-Evolve mencapai akurasi yang sama atau lebih baik daripada ACE dengan biaya inferensi jauh lebih rendah

ALTK-Evolve, sebuah sistem untuk memori agentic yang mengubah lintasan agen menjadi panduan yang dapat digunakan kembali tanpa pembaruan bobot, menyamai atau melampaui akurasi ACE sambil menggunakan token secara signifikan lebih sedikit. Berbeda dengan ACE yang menyuntikkan panduan komprehensif pada setiap langkah, ALTK-Evolve menggunakan pengambilan selektif untuk memberikan hanya panduan yang relevan berdasarkan kapasitas model.

media AI News (smol.ai) · 31 hari lalu · 21 tayangan

Meta merilis model open-weight Muse Glimmer 30B; Anthropic meningkatkan batas Riemann

Meta merilis Muse Glimmer, model multimodal padat berukuran 30B yang dioptimalkan untuk penyebaran agen lokal di bawah lisensi Apache 2.0, sambil juga menjanjikan bobot masa depan untuk Muse Spark 1.2.

media Hugging Face Forums · 39 hari lalu · 13 tayangan

Quesma memetakan kurasi 218 alat dan makalah untuk efisiensi biaya token LLM

Quesma telah merilis daftar terbuka yang dikurasi berisi 218 entri yang melacak di mana token dibelanjakan dalam alur kerja LLM dan agen. Sumber daya ini mencakup pemantauan, caching semantik, model lokal murah, rekayasa konteks, dan tata kelola biaya.