OpenAI는 자체 첫 번째 맞춤형 추론 칩인 할라페뇨의 초기 성능 결과를 발표했으며, 기존 상용 시스템 대비 속도와 전력 효율성에서 상당한 개선을 보였습니다. 회사는 새로운 아키텍처가 동시에 더 높은 처리량과 낮은 지연 시간을 가능하게 하여 현재 하드웨어에서 흔히 발생하는 트레이드오프를 해결한다고 밝혔습니다.

  • 할라페뇨는 피크 처리량 시점에서 비교 시스템 대비 와트당 1.5배에서 1.9배 더 많은 AI 작업을 수행했습니다.
  • GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T를 포함한 테스트된 모델 전반에 걸쳐 엔드투엔드 지연 시간이 1.7배에서 3.6배 감소했습니다.
  • 높은 상호작용성 워크로드의 경우 칩이 2.1배에서 4.1배 더 높은 성능을 제공했습니다.
  • 시스템은 700와트 정격임에도 불구하고 550와트 이하의 지속 전력 소모를 달성했습니다.

이러한 개선은 성공적인 결과 제공 비용을 낮추고 에이전틱 워크로드에 대한 빠른 반복을 지원함으로써 점점 더 강력한 AI를 더 저렴하고 널리 이용 가능하게 만드는 것을 목표로 합니다.