NVIDIA는 새로운 d1 의사결정 모델 계열의 일환으로 d1-3B와 d1-omni-600M이라는 두 개의 오픈 가중치 모델을 출시했습니다. 토큰을 생성하는 생성형 모델과 달리, 이 모델들은 단일 순전파로 답변을 생성하여 데이터 센터부터 엣지 디바이스에 이르기까지 NVIDIA의 풀 스택 전반에 걸쳐 극도로 낮은 지연 시간 추론을 가능하게 합니다.
- d1-3B는 Decision Index v0.2.1 공개 분할에서 48.57점을 기록하여 10B 미만인 모든 모델을 압도하고, 크기의 극히 일부로 Decider 35B-A3B와 동급의 성능을 달성했습니다.
- d1-omni-600M은 텍스트, 이미지, 오디오 입력을 처리하는 실험적 체크포인트로, 동일한 인덱스에서 15.95점을 기록했습니다.
- d1-3B는 NVIDIA GeForce RTX 4090에서 8 ms, Jetson AGX Thor에서 16 ms, Jetson AGX Orin에서 26 ms의 추론 지연 시간을 달성합니다.
- 두 모델 모두 llama.cpp와의 첫날 호환성을 지원하며 Apple M5 Pro, AMD MI325X 및 다양한 NVIDIA Jetstone 디바이스에서 실행됩니다.
이 오픈 가중치 모델들은 사용자가 제한 없이 다중 모달 입력을 위한 빠르고 구조화된 의사결정 기능을 다운로드, 파인튜닝 및 배포할 수 있게 합니다.