hexagon 后端引入了使用行分割策略在多个设备上分割模型的支持。此更改使融合内核中的工作分布成为可能,并更新了设备配置以处理设备组。
- 向 hexagon 架构添加了多设备行分割功能。
- 为融合内核和各种操作(如 matmul 和 argsort)实现了工作分割逻辑。
- 更新了会话初始化、fence 处理和错误恢复,以增强多设备场景下的鲁棒性。
- 重构了分区逻辑并同步了设备组之间的状态。
此增强功能允许将模型分布在多个 Hexagon 核心或设备上,有望提高吞吐量并支持更大模型的推理。
hexagon 后端引入了使用行分割策略在多个设备上分割模型的支持。此更改使融合内核中的工作分布成为可能,并更新了设备配置以处理设备组。
此增强功能允许将模型分布在多个 Hexagon 核心或设备上,有望提高吞吐量并支持更大模型的推理。