Бэкенд hexagon вводит поддержку разделения моделей между несколькими устройствами с использованием стратегии разделения по строкам. Это изменение обеспечивает распределение работы в слитых ядрах и обновляет конфигурацию устройств для обработки групп устройств.

  • Добавляет возможности разделения строк на нескольких устройствах в архитектуру hexagon.
  • Реализует логику разделения работы для слитых ядер и различных операций, таких как matmul и argsort.
  • Обновляет инициализацию сессии, обработку fence и восстановление после ошибок для надежности в многоустройственных сценариях.
  • Рефакторит логику партиционирования и синхронизирует состояние между группами устройств.

Это улучшение позволяет распределять модели между несколькими ядрами или устройствами Hexagon, что потенциально повышает пропускную способность и позволяет выполнять вывод более крупных моделей.