arxiv arXiv cs.CL · 1 hari lalu · sumber: 4 hari lalu · research

AgentRouter mengurangi biaya alur kerja agentic sebesar 72% melalui penataan model per langkah

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agentic multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan satu model terdepan untuk semua tugas. Sistem ini mengatasi inefisiensi sistem perusahaan yang membuang 60-80% dari anggaran inferensi mereka pada sub-tugas yang dapat ditangani sama baiknya oleh model yang lebih kecil.

AgentRouter menggunakan klasifikator dengan 12M parameter dan overhead kurang dari 5ms per langkah pada GPU A100 untuk memetakan langkah ke empat tingkat model berdasarkan lima fitur yang dapat diekstrak.
Dilatih pada 50.000 langkah lintasan agen yang dianotasi, sistem ini mencapai pengurangan biaya sebesar 72% dibandingkan dengan baseline yang hanya menggunakan model terdepan, sambil mempertahankan 97,3% dari kualitasnya.
Sistem ini menunjukkan akurasi penataan per-langkah sebesar 91% pada langkah dengan kompleksitas minimal dan 85% pada langkah tingkat efisien.
Sistem ini mengungguli RouteLLM dan FrugalGPT, yang hanya mencapai pengurangan biaya masing-masing sebesar 31% dan 44%, dengan memperhitungkan ketergantungan kualitas pada tingkat lintasan yang terlewatkan oleh solusi satu giliran.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.CL AI agents Inference efficiency

Artikel terkait

arxiv arXiv cs.AI · 4 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 5 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

lab OpenAI News · 11 jam lalu · 16 tayangan

Mengurangi waktu dan biaya penelitian menjadi setengah dengan GPT-6 Astra

Parallel telah mengintegrasikan GPT-6 Astra dari OpenAI ke dalam infrastruktur agen AI-nya, mencapai pengurangan 50% baik dalam waktu penelitian maupun biaya kode dibandingkan dengan model sebelumnya. Perusahaan melaporkan bahwa model baru memungkinkan agen menyelesaikan pekerjaan pengetahuan kompleks secara signifikan lebih cepat sambil mempertahankan output berkualitas tinggi.

arxiv arXiv cs.AI · 1 hari lalu · 9 tayangan

AgentRouter mengurangi biaya alur kerja agen sebesar 72% melalui penataan model per langkah

Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agen multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan model terdepan untuk setiap tugas. Sistem ini mengatasi inefisiensi solusi yang ada yang mengabaikan kompleksitas sub-tugas yang bervariasi dalam satu sesi agen.

arxiv arXiv cs.AI · 12 hari lalu · 17 tayangan

AgentZip mengurangi memori sandbox agen AI hingga 8,7x

Peneliti memperkenalkan AgentZip, sistem kompresi memori yang dirancang khusus untuk sandbox agen AI fan-out tinggi guna mengatasi hambatan memori yang disebabkan oleh sesi konkuren.