H2O.aiは、自社のエンタープライズ向けh2oGPTeエージェントが、GAIA（General AI Assistants）ベンチマークリーダーボードで首位を獲得し、65%のスコアを達成したと発表した。この結果は、GoogleのLangfunエージェントが49%、Microsoft ResearchがOpenAI o1を使用した場合に38%という他の主要な提出結果を大きく上回っている。

  • Meta-FAIR、HuggingFaceなどによって作成されたGAIAベンチマークは、推論、マルチモーダル処理、ツール使用を必要とする実世界のタスクを466問の質問でテストする。
  • h2oGPTeは、複雑なマルチエージェントオーケストレーションではなく、AnthropicのSonnet 3.5、プロンプトキャッシング、最小限のスケルトンを使用した簡素化されたアプローチによってこのスコアを達成した。
  • エージェントは、基盤モデルのファインチューニングを必要とせずに、ウェブブラウジング、コード実行、ファイル処理、データサイエンスモデリングのためのツールを統合している。
  • このパフォーマンスは、スタンドアロンのSaaSアプリケーションから、ビジネスワークフローのために複数のツールやデータソースをオーケストレーションできるAIエージェントへの移行を示している。

この成果は、厳格なアーキテクチャの制約なしに実用的なタスクを支援できる、適応性が高くコスト効果の高いAIシステムの構築というH2O.aiの戦略を検証するものである。