arxiv Moonshot AI (arXiv) · 565 hari lalu

UI-TARS memperkenalkan model agen GUI asli yang mengungguli kerangka kerja komersial

Diterjemahkan dari English → Bahasa Indonesia

Makalah ini memperkenalkan UI-TARS, sebuah model agen GUI asli end-to-end yang mempersepsikan tangkapan layar sebagai input dan melakukan interaksi keyboard serta mouse layaknya manusia tanpa bergantung pada model komersial yang dibungkus.

Mencapai kinerja state-of-the-art di lebih dari 10 benchmark agen GUI yang mengevaluasi persepsi, grounding, dan eksekusi tugas.
Meraih skor 24.6 dengan 50 langkah dan 22.7 dengan 15 langkah pada benchmark OSWorld, mengungguli Claude (masing-masing 22.0 dan 14.9).
Mencapai skor 46.6 di AndroidWorld, melampaui skor GPT-4o sebesar 34.5.
Mengintegrasikan persepsi yang ditingkatkan melalui dataset tangkapan layar GUI skala besar untuk kaptingan yang presisi.
Memanfaatkan pemodelan aksi terunifikasi untuk menstandarkan aksi di berbagai platform dan mencapai grounding yang presisi.
Menerapkan System-2 Reasoning untuk pengambilan keputusan multi-langkah, termasuk dekomposisi tugas dan refleksi.
Menggunakan pelatihan iteratif dengan jejak online reflektif yang dikumpulkan dari ratusan mesin virtual untuk mengatasi kemacetan data.

Para penulis menganalisis jalur evolusi agen GUI untuk membimbing pengembangan lebih lanjut di domain ini, menunjukkan bahwa model asli dapat mengungguli kerangka kerja canggih yang bergantung pada prompt buatan ahli.

Kepentingan 2/3 Mengungguli benchmark lab papan atas Moonshot AI (arXiv) AI agents Research paper

Benchmark

Benchmark	Model	Skor
Android World	UI-TARS	46.6%
OSWorld	UI-TARS	24.6%

Artikel terkait

arxiv arXiv cs.AI · 3 hari lalu

Argus: Runtime Agentic Serbaguna untuk Penalaran Jangka Panjang

Para peneliti menyajikan Argus, sebuah runtime agentic yang persisten dan berevolusi secara mandiri, dirancang untuk penalaran jangka panjang yang memisahkan niat pengguna yang stabil dari tujuan operasional. Sistem ini memanfaatkan peran Manajer, Perencana, Insinyur, dan Peninjau untuk menjalankan misi terbatas di atas keadaan proyek yang tahan lama, memungkinkan eksekusi otonom antara titik eskalasi yang dimiliki operator.

media MarkTechPost · 3 hari lalu

SkillOpt dari Microsoft memungkinkan transfer keterampilan agen antara Codex dan Claude Code

Peneliti dari Microsoft, Universitas Shanghai Jiao Tong, Universitas Tongji, dan Universitas Fudan mengembangkan SkillOpt, sebuah pengoptimal ruang teks yang melatih dokumen keterampilan berbasis bahasa alami sambil menjaga model target tetap beku. Sistem ini menggunakan model pengoptimal untuk mengusulkan suntingan terbatas berdasarkan rollout yang dinilai, mengekspor hasilnya sebagai satu file `best_skill.md`.

arxiv arXiv cs.LG · 5 hari lalu · 6 tayangan

Qwen merilis Qwen-CUA, agen penggunaan komputer asli 397B-A17B

Qwen memperkenalkan Qwen-CUA, agen penggunaan komputer asli yang dibangun di atas backbone mixture-of-experts 397B-A17B yang beroperasi melalui tangkapan layar dan peristiwa input tanpa mengandalkan pohon DOM atau metadata aksesibilitas. Sistem ini memanfaatkan kerangka kerja untuk mempertahankan hingga 20 tangkapan layar aktif dan dilatih menggunakan armada rollout cloud dengan hampir 100.000 vCPU di sekitar 40.000 tugas yang dapat diverifikasi.

arxiv arXiv cs.CL · 5 hari lalu · 4 tayangan

Qwen merilis Qwen-CUA, agen penggunaan komputer asli 397B-A17B

Peneliti telah memperkenalkan Qwen-CUA, agen penggunaan komputer asli yang dibangun di atas backbone campuran-ahli Qwen 397B-A17B. Sistem ini beroperasi dengan mengamati tangkapan layar dan bertindak melalui peristiwa keyboard dan mouse, tanpa bergantung pada pohon DOM atau metadata aksesibilitas.

lab OpenAI News · 8 hari lalu · 16 tayangan

Model Astra memecahkan sepuluh masalah terbuka dalam matematika dan ilmu komputer teoretis

Model internal Astra dari OpenAI telah menghasilkan solusi untuk sepuluh masalah terbuka yang telah berlangsung lama di bidang matematika dan ilmu komputer teoretis, dengan argumen yang diformalisasi dalam Lean. Hasil-hasil ini mencakup geometri berdimensi tinggi, teori pengkodean, teori grup, dan kompleksitas kuantum, menjawab pertanyaan-pertanyaan yang tidak menunjukkan kemajuan selama setidaknya satu dekade.