第37回Hot Chips会議において、OpenAIは独自推論用チップ「Jalapeño」のベンチマーク詳細を発表し、NVIDIAのGB200およびGB300システムと比較してワットあたりのパフォーマンスが優れていると主張した。このチップは、ピークスループット時にワットあたり1.5–1.9倍多くの処理能力を提供し、エンドツーエンドのレイテンシを1.7–3.6倍低減しており、OpenAIのインフラへの展開は年内に予定されている。

  • Jalapeñoは、700W定格にもかかわらず550W以下で維持しながら、対話型のワークロードにおいて2.1–4.1倍の高いパフォーマンスを達成した。
  • このアーキテクチャは、従来のスループットとレイテンシのトレードオフを軽減し、積極的なprefill/decode分離や推論デコーディングがなくても良好な性能を発揮する。
  • OpenAIはGPT-AstraとCodexを使用して低レベルカーネルを最適化し、2ヶ月間で3つのオープンウェイトモデルを高パフォーマンスに引き上げ、人間が記述したコードと比較して1.5–1.8倍の高速化を実現した。
  • その他の発表には、MicrosoftのAutoSaddlerハーネスの改善、NVIDIA DGX Spark上のPerplexityによるローカルファーストのPortable Computer、およびエージェントメモリシステムに関する新たな知見が含まれる。