arxiv Moonshot AI (arXiv) · 850 hari lalu

OSWorld memperkenalkan benchmark untuk agen multimodal di lingkungan komputer nyata

Diterjemahkan dari English → Bahasa Indonesia

Peneliti memperkenalkan OSWorld, lingkungan komputer nyata yang dapat diskalakan pertama yang dirancang untuk mengevaluasi agen multimodal pada tugas terbuka di Ubuntu, Windows, dan macOS.

Benchmark ini mencakup 369 tugas komputer yang berasal dari kasus penggunaan dunia nyata yang melibatkan aplikasi web dan desktop, I/O file, dan alur kerja multi-aplikasi.
Setiap tugas memiliki pengaturan keadaan awal yang terperinci dan skrip evaluasi berbasis eksekusi kustom untuk penilaian yang andal.
Evaluasi agen LLM/VLM mutakhir menunjukkan defisit signifikan, dengan model terbaik hanya mencapai keberhasilan 12,24% dibandingkan kinerja manusia lebih dari 72,36%.
Kesulitan utama yang diidentifikasi adalah grounding GUI dan pengetahuan operasional.

Benchmark ini menyediakan lingkungan terpadu untuk mengevaluasi skalabilitas agen dan memberikan wawasan untuk mengembangkan agen generalis multimodal yang tidak dapat didukung oleh benchmark sebelumnya.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Moonshot AI (arXiv) AI agents Research paper

Benchmark

Benchmark	Model	Skor
OSWorld	best model	12.24%

Baca aslinya

Argus: Runtime Agentic Serbaguna untuk Penalaran Jangka Panjang

Para peneliti menyajikan Argus, sebuah runtime agentic yang persisten dan berevolusi secara mandiri, dirancang untuk penalaran jangka panjang yang memisahkan niat pengguna yang stabil dari tujuan operasional. Sistem ini memanfaatkan peran Manajer, Perencana, Insinyur, dan Peninjau untuk menjalankan misi terbatas di atas keadaan proyek yang tahan lama, memungkinkan eksekusi otonom antara titik eskalasi yang dimiliki operator.

media MarkTechPost · 3 hari lalu

SkillOpt dari Microsoft memungkinkan transfer keterampilan agen antara Codex dan Claude Code

Peneliti dari Microsoft, Universitas Shanghai Jiao Tong, Universitas Tongji, dan Universitas Fudan mengembangkan SkillOpt, sebuah pengoptimal ruang teks yang melatih dokumen keterampilan berbasis bahasa alami sambil menjaga model target tetap beku. Sistem ini menggunakan model pengoptimal untuk mengusulkan suntingan terbatas berdasarkan rollout yang dinilai, mengekspor hasilnya sebagai satu file `best_skill.md`.

arxiv arXiv cs.LG · 5 hari lalu · 6 tayangan

Qwen merilis Qwen-CUA, agen penggunaan komputer asli 397B-A17B

Qwen memperkenalkan Qwen-CUA, agen penggunaan komputer asli yang dibangun di atas backbone mixture-of-experts 397B-A17B yang beroperasi melalui tangkapan layar dan peristiwa input tanpa mengandalkan pohon DOM atau metadata aksesibilitas. Sistem ini memanfaatkan kerangka kerja untuk mempertahankan hingga 20 tangkapan layar aktif dan dilatih menggunakan armada rollout cloud dengan hampir 100.000 vCPU di sekitar 40.000 tugas yang dapat diverifikasi.

arxiv arXiv cs.CL · 5 hari lalu · 4 tayangan

Qwen merilis Qwen-CUA, agen penggunaan komputer asli 397B-A17B

Peneliti telah memperkenalkan Qwen-CUA, agen penggunaan komputer asli yang dibangun di atas backbone campuran-ahli Qwen 397B-A17B. Sistem ini beroperasi dengan mengamati tangkapan layar dan bertindak melalui peristiwa keyboard dan mouse, tanpa bergantung pada pohon DOM atau metadata aksesibilitas.

lab OpenAI News · 8 hari lalu · 16 tayangan

Model Astra memecahkan sepuluh masalah terbuka dalam matematika dan ilmu komputer teoretis

Model internal Astra dari OpenAI telah menghasilkan solusi untuk sepuluh masalah terbuka yang telah berlangsung lama di bidang matematika dan ilmu komputer teoretis, dengan argumen yang diformalisasi dalam Lean. Hasil-hasil ini mencakup geometri berdimensi tinggi, teori pengkodean, teori grup, dan kompleksitas kuantum, menjawab pertanyaan-pertanyaan yang tidak menunjukkan kemajuan selama setidaknya satu dekade.