한 개발자가 Rust와 CUDA로 구축된 커스텀 어텐션 트랜스포머 엔진의 세부 사항을 공개했습니다. 이 엔진은 결정론과 에너지 효율성에 중점을 둡니다. 시스템은 동일한 스택에서 추론과 훈련을 모두 지원하며, H100, M2 Pro, 소비자용 GPU 및 WebGPU를 포함한 여러 하드웨어 백엔드에서 실행됩니다.
- 연속 배치 처리를 사용하는 28레이어 7B 클래스 스택이 탑재된 H100 NVL에서 처리량은 약 403 토큰/초에 도달합니다.
- 에너지 소비량은 보드 전력 중앙값이 약 254 W일 때 0.63 J/token으로 측정되었습니다.
- 이 엔진은 비트 단위로 정확하며 AUDIT로 검증되었고, GAE, ATE, WNSM 및 가역 훈련 기술을 활용합니다.
전체 벤치마크와 방법은 개발자 사이트에서 확인할 수 있으며, 이번 달 특허 발급 후 듀얼 라이선스 하에 오픈소스 릴리스가 계획되어 있습니다.