Trase telah mengamankan posisi nomor satu di benchmark GAIA Hugging Face, sebuah tes yang mengukur kemampuan agen AI dunia nyata termasuk penalaran dan penggunaan alat, mengungguli pengiriman dari Meta, Microsoft, dan lainnya.

  • Trase mencapai tingkat keberhasilan keseluruhan 35.55% pada benchmark lebih dari 450 pertanyaan.
  • Sistem menggunakan perbaikan diri iteratif melalui STaR (Self-Taught Reasoner) yang di-fine-tune pada lintasan aksi mirip manusia.
  • Ini meningkatkan aksi LLM dasar dengan kode untuk menyusun beberapa panggilan alat menjadi satu aksi kode.
  • Agen tingkat atas melakukan kritik diri untuk menentukan apakah informasi yang cukup telah dikumpulkan sebelum beralih alat atau memanggil agen khusus.

Artikel tersebut mencatat bahwa 90% proficiency dianggap sebagai ambang batas untuk menggantikan manusia dalam tugas kompleks, sebuah tujuan yang ingin dicapai Trase.