arxiv arXiv cs.CL · baru saja · research

Kerangka kerja koroutin-bridge memenangkan Jalur 2 CAR-bench dengan Pass^3 sebesar 60,0%

Diterjemahkan dari English → Bahasa Indonesia

Sebuah kerangka kerja koroutin-bridge baru untuk agen yang menggunakan alat memenangkan Jalur 2 dari evaluasi CAR-bench, mencapai skor Pass@3 sebesar 60,0% pada set uji tersembunyi resmi. Sistem ini memisahkan pemanggilan model dari putaran balik alat dengan membuat model menghasilkan program Python yang memblokir dan melanjutkan kembali di antara pertukaran evaluator.

Agen menggunakan median dua panggilan model terhadap tujuh giliran agen per tugas, menyelesaikan tugas dalam median 1,8 detik latensi model pada Cerebras gpt-oss-120b.
Sistem ini mencapai 4,5 kali lipat dari baseline penyelenggara dengan biaya terendah dan latensi tugas median tercepat (3,14 s) di antara entri yang mencetak skor di atas baseline tersebut.
Kerangka kerja yang tidak berubah mereproduksi Pass@3 identik sebesar 60,0% pada GPT-5.5 di Jalur Terbuka, menyamai agen model terdepan.
Satu prompt statis melayani 78% token input dari cache, secara signifikan mengurangi komputasi input nominal.

Pendekatan ini memaksakan kepatuhan tanpa biaya penalaran dengan mengkodekan kebijakan deterministik sebagai logika di lapisan alat, bukan aturan dalam prompt.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.CL AI agents Inference efficiency

Artikel terkait

arxiv arXiv cs.AI · 2 hari lalu · 17 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 2 hari lalu · 15 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

lab OpenAI News · 2 hari lalu · 19 tayangan

Mengurangi waktu dan biaya penelitian menjadi setengah dengan GPT-6 Astra

Parallel telah mengintegrasikan GPT-6 Astra dari OpenAI ke dalam infrastruktur agen AI-nya, mencapai pengurangan 50% baik dalam waktu penelitian maupun biaya kode dibandingkan dengan model sebelumnya. Perusahaan melaporkan bahwa model baru memungkinkan agen menyelesaikan pekerjaan pengetahuan kompleks secara signifikan lebih cepat sambil mempertahankan output berkualitas tinggi.

arxiv arXiv cs.AI · 3 hari lalu · 13 tayangan

AgentRouter mengurangi biaya alur kerja agen sebesar 72% melalui penataan model per langkah

Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agen multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan model terdepan untuk setiap tugas. Sistem ini mengatasi inefisiensi solusi yang ada yang mengabaikan kompleksitas sub-tugas yang bervariasi dalam satu sesi agen.

arxiv arXiv cs.CL · 3 hari lalu · 13 tayangan

AgentRouter mengurangi biaya alur kerja agentic sebesar 72% melalui penataan model per langkah

Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agentic multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan satu model terdepan untuk semua tugas. Sistem ini mengatasi inefisiensi sistem perusahaan yang membuang 60-80% dari anggaran inferensi mereka pada sub-tugas yang dapat ditangani sama baiknya oleh model yang lebih kecil.