HERMES는 학습된 시맨틱 변환과 3단계 잔차 벡터 양자화를 사용하여 문서를 최대 약 130k개의 셀을 가진 거시적에서 미시적 코드로 주석 처리하는 데이터 기반 레이블링 기판입니다.

  • 접두사 길이를 통해 세분성 제어를 가능하게 하여 단일 시맨틱 축에 고정된 기존 레이블의 한계를 극복합니다.
  • 거시적 세분성에서 HERMES는 표준 클러스터링 지표에서 KMeans 계열 방법과 비교 가능한 성능을 발휘합니다.
  • 1B 파라미터, 25B 토큰 사전 훈련에서 스테이지 2 규칙 대비와 동일한 서브버킷 커버리지를 결합하면 16개 작업 능력의 매크로 평균이 +0.0253 향상되었습니다.
  • 후보 풀이 약 5배 축소된 더 미세한 수준에서는 성능 향상이 사라졌습니다.

HERMES는 데이터 혼합물 설계를 고정 레이블 세트 간 선택에서 재사용 가능한 데이터 기반 세분성 계층 탐색으로 재정의합니다.