あるRedditユーザーは、モデル圧縮技術にAnthropicの「J space」概念を適用することを提案しています。この提案では、最終的な出力に最も影響を与える活性化を特定するためにヤコビ行列を使用し、より効果的なプルーニング、マージング、蒸留を実現します。
- このアプローチは、重要なベクトル変化に焦点を当てることで、推論能力を損なうことなく密なモデルを圧縮することを目指しています。
- これにより、大規模モデルの推論信号のノイズ除去または増幅が可能になり、小規模モデルへの転送が容易になる可能性があります。
- この手法は、最先端モデルを小規模なバリアントに蒸留する際の計算負荷を軽減する可能性があります。
著者はこれらのアイデアがローカルAIコミュニティに役立つことを望んでいますが、専門家の検証が必要であることを認めています。