hexagon バックエンドは、行分割戦略を使用して複数のデバイスにモデルを分割するサポートを導入します。この変更により、融合カーネルでのワーク分散が可能になり、デバイスグループを処理するようにデバイス構成が更新されます。

  • hexagon アーキテクチャにマルチデバイス行分割機能を追加します。
  • 融合カーネルおよび matmul や argsort などの各種操作のワーク分割ロジックを実装します。
  • マルチデバイスシナリオでの堅牢性のために、セッション初期化、フェンス処理、エラー回復を更新します。
  • パーティショニングロジックをリファクタリングし、デバイスグループ間で状態を同期します。

この強化により、モデルを複数の Hexagon コアまたはデバイスに分散でき、スループットの向上やより大きなモデルの推論が可能になる可能性があります。