Jason Van Pham과 공동 엔지니어 Grok(xAI)는 커스텀 Gemma 4 지시 경로를 사용할 때 Hydrodynamic Swarm 하네스에서 발생하는 거의 기본값인 다중 턴 실패 모드를 상세히 설명하는 진단 보고서를 게시했습니다. 이 연구는 탐습적 디코딩과 긴 토큰 예산, 그리고 문자 수준 제약을 결합하면 반복과 철자법 혼란을 포함한 고전적인 텍스트 붕괴가 발생함을 확인했습니다.
- 구성은 최대 토큰 수 제한이 300이고 잔류 물리 조정이 비활성화(force_cap = 0)된 상태에서 탐욕적 디코딩(temperature = 0)을 사용했습니다.
- 초기 유창한 영어 출력은 모델이 문자 수준 제약을 만족시키려 시도한 후 반복 루프와 혼합 스크립트 파편으로 붕괴되었습니다.
- 이후 메타 진단 턴에서 합리적인 자기 보고가 생성된 후 동일한 붕괴적 끌개 상태에 다시 진입했습니다.
- 저자들은 이 실패를 가중치 로딩 오류나 잔류 물리 간섭이 아닌 다중 턴 기록, 탐욕적 디코딩, 그리고 하드 제약의 조합으로 귀속합니다.
이 보고서는 성공적인 데모와 함께 커스텀 로더에서의 불완전한 출력과 엔지니어링 과제를 문서화해야 하는 방법을 강조하기 위한 공개 진단 아티팩트 역할을 합니다.