HuiHui abliteratedモデルに適用されたカスタム量子化レシピは、数学およびコーディングタスクにおいてvanilla 3.6-35B-a3bバリアントと比較して優れたパフォーマンスを示しています。結果は、拒否メカニズムを削除することで、これらのドメインでより高い精度と知恵を実現できることを示唆しています。

  • HuiHuiとVanilla 3.6-35B-a3bの両方のモデルに同一のカスタム量子化が使用されました。
  • ベンチマークは、長い推論チェーンなしでoMLXスイートのinstructモードを使用して実施されました。
  • サンプルサイズが小さいにもかかわらず、abliteratedモデルは数学およびコーディングベンチマークでパフォーマンスの向上を示しました。

調査結果は、abliterationが特定の技術領域におけるモデルの能力を向上させる可能性を示しており、HuiHuiモデルは提供されたHugging Faceリンクからダウンロード可能です。