HERMESは、学習されたセマンティック変換と3段階の残差ベクトル量子化を用いて、文書を最大約130kのセルを持つ粗から細へのコードに注釈付けるデータ由来のラベリング基盤です。

  • プレフィックス長による粒度制御を可能にし、単一のセマンティック軸にコミットする既存のラベルの制限を克服します。
  • 粗い粒度では、HERMESは標準的なクラスタリング指標においてKMeans系手法と同等のパフォーマンスを発揮します。
  • 1Bパラメータ、25Bトークンのプレトレーニングにおいて、ステージ2のルールコントラストと等しいサブバケットカバレッジを組み合わせることで、16タスクの能力マクロ平均が+0.0253向上しました。
  • 候補プールが約5倍に縮小したより細かいレベルでは、パフォーマンスの向上は消失しました。

HERMESは、データミキチャー設計を固定ラベルセット間の選択から、再利用可能なデータ由来の粒度階層のナビゲーションへと再定義します。