OpenCLの実装では、Flash Attention (FA) と Mixture of Experts (MoE) の重みの再パックが無効化されました。この変更は、これらの操作に影響を与える特定のコンパイラの問題を回避するために実装されています。
OpenCLがコンパイラの問題を回避するためにFAとMoEの重み再パックを無効化
翻訳元 English → 日本語
OpenCLの実装では、Flash Attention (FA) と Mixture of Experts (MoE) の重みの再パックが無効化されました。この変更は、これらの操作に影響を与える特定のコンパイラの問題を回避するために実装されています。