arxiv arXiv cs.AI · 1 hari lalu · sumber: 4 hari lalu · research

AgentRouter mengurangi biaya alur kerja agen sebesar 72% melalui penataan model per langkah

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agen multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan model terdepan untuk setiap tugas. Sistem ini mengatasi inefisiensi solusi yang ada yang mengabaikan kompleksitas sub-tugas yang bervariasi dalam satu sesi agen.

AgentRouter menggunakan model 12M parameter dengan overhead kurang dari 5ms per langkah pada GPU A100 untuk memetakan langkah ke empat tingkat berdasarkan lima fitur.
Dilatih pada 50.000 langkah beranotasi di tugas perencanaan, pemrograman, penelitian, dan analisis data, sistem ini mencapai pengurangan biaya sebesar 72% sambil mempertahankan 97,3% kualitas dari model terdepan saja.
Akurasi penataan mencapai 91% pada langkah dengan kompleksitas minimal dan 85% pada langkah tingkat efisien, mengungguli RouteLLM dan FrugalGPT yang hanya mencapai pengurangan biaya masing-masing sebesar 31% dan 44%.

Pendekatan ini secara signifikan menurunkan biaya inferensi untuk sistem agen perusahaan dengan mengakui bahwa langkah-langkah berbeda dalam satu lintasan memerlukan tingkat kemampuan model yang berbeda.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.AI AI agents Inference efficiency

Artikel terkait

arxiv arXiv cs.AI · 4 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 5 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

lab OpenAI News · 11 jam lalu · 16 tayangan

Mengurangi waktu dan biaya penelitian menjadi setengah dengan GPT-6 Astra

Parallel telah mengintegrasikan GPT-6 Astra dari OpenAI ke dalam infrastruktur agen AI-nya, mencapai pengurangan 50% baik dalam waktu penelitian maupun biaya kode dibandingkan dengan model sebelumnya. Perusahaan melaporkan bahwa model baru memungkinkan agen menyelesaikan pekerjaan pengetahuan kompleks secara signifikan lebih cepat sambil mempertahankan output berkualitas tinggi.

arxiv arXiv cs.CL · 1 hari lalu · 11 tayangan

AgentRouter mengurangi biaya alur kerja agentic sebesar 72% melalui penataan model per langkah

Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agentic multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan satu model terdepan untuk semua tugas. Sistem ini mengatasi inefisiensi sistem perusahaan yang membuang 60-80% dari anggaran inferensi mereka pada sub-tugas yang dapat ditangani sama baiknya oleh model yang lebih kecil.

arxiv arXiv cs.AI · 12 hari lalu · 17 tayangan

AgentZip mengurangi memori sandbox agen AI hingga 8,7x

Peneliti memperkenalkan AgentZip, sistem kompresi memori yang dirancang khusus untuk sandbox agen AI fan-out tinggi guna mengatasi hambatan memori yang disebabkan oleh sesi konkuren.