hexagon 백엔드는 행 분할 전략을 사용하여 여러 장치에 모델을 분할하는 지원을 도입합니다. 이 변경으로 융합된 커널에서 작업 분배가 가능해지고 장치 그룹을 처리하기 위해 장치 구성이 업데이트됩니다.

  • hexagon 아키텍처에 다중 장치 행 분할 기능을 추가합니다.
  • 융합된 커널과 matmul 및 argsort와 같은 다양한 연산에 대한 작업 분할 로직을 구현합니다.
  • 다중 장치 시나리오에서의 견고성을 위해 세션 초기화, fence 처리 및 오류 복구를 업데이트합니다.
  • 파티셔닝 로직을 리팩토링하고 장치 그룹 간 상태를 동기화합니다.

이 향상으로 모델을 여러 Hexagon 코어 또는 장치에 분배할 수 있어 처리량 향상이 가능해지고 더 큰 모델 추론을 지원할 수 있습니다.