H2O.ai telah mengumumkan bahwa agen h2oGPTe perusahaannya telah mencapai posisi teratas di papan peringkat benchmark GAIA (General AI Assistants), dengan skor 65%. Hasil ini jauh melampaui berbagai kontribusi utama lainnya, termasuk Langfun Agent dari Google yang meraih 49% dan penggunaan OpenAI o1 oleh Microsoft Research yang meraih 38%.
- Benchmark GAIA, yang dibuat oleh Meta-FAIR, HuggingFace, dan pihak lain, menguji AI pada tugas dunia nyata yang memerlukan penalaran, penanganan multi-modality, dan penggunaan alat di seluruh 466 pertanyaan.
- h2oGPTe mencapai skornya menggunakan pendekatan yang disederhanakan dengan Sonnet 3.5 dari Anthropic, caching prompt, dan scaffolding minimal alih-alih orkestrasi multi-agent yang kompleks.
- Agen ini mengintegrasikan alat untuk penjelajahan web, eksekusi kode, penanganan file, dan pemodelan data science tanpa memerlukan penyetelan halus (fine-tuning) pada model dasar.
- Kinerja ini menyoroti pergeseran dari aplikasi SaaS mandiri ke agen AI yang dapat mengoordinasikan berbagai alat dan sumber data untuk alur kerja bisnis.
Pencapaian ini memvalidasi strategi H2O.ai dalam membangun sistem AI yang adaptif dan hemat biaya, yang dapat membantu dalam tugas praktis tanpa kendala arsitektur yang kaku.