Specific Labs, Gemma-4-31B를 조작하여 잘못된 전제에 반박하지만 벤치마크에는 영향 없음

Specific Labs는 Gemma-4-31B-AntiHal을 출시했습니다. 이는 Gemma-4-31B 모델의 변형으로, 잘못된 전제와 함께 환각을 일으키는 대신 잘못된 전제를 기반으로 한 요청에 도전합니다.

이 모델은 생성 중 잔여 스트림에 해석 가능성 기반 표현 조정을 적용하여 이를 달성합니다.

• 이 기법은 계층 33의 잔여 스트림에 평균 차이 방향을 추가하며, 감쇠 스케줄을 사용하여 처음 ~24개의 토큰 동안 최대 강도를 적용한 후 점차 약화시킵니다.
• HalBench 반환각 벤치마크에서 AntiHal은 기본 모델 점수 대비 26%의 반박률을 기록했으며, 이는 약 두 배의 성능을 나타냅니다.
• 벤치마크 성능은 거의 영향을 받지 않았으며, MATH-500은 77%, LiveCodeBench는 55%로 기본 모델의 능력과 일치합니다.
• 이 접근 방식은 Qwen 3.6 27B 및 Granite 4.1 30B에서 테스트되었지만, Gemma만이 붕괴되거나 일관성을 잃지 않고 효과적으로 조정에 저항했습니다.

저자들은 이를 안전 필터로 작동시키는 것이 아니라 모델의 지식을 방어하는 방법으로 제시하며, transformers 라이브러리를 통해 로드할 수 있는 오픈소스 체크포인트를 제공합니다.