Jason Van Pham은 동결된 대규모 언어 모델을 은닉 상태를 통해 조정하도록 설계된 로컬 런타임인 Niodoo를 출시했습니다. 이 프로젝트는 추론 중에 노이즈 또는 "물리력"을 주입하여 토큰 루프를 깨고 마지막 단계의 오류를 수정하는 것을 목표로 합니다. 이 접근 방식은 작은 모델이 파인튜닝 없이 성능을 향상시킬 수 있게 하며, Llama 딸기 프롬프트 벤치마크와 같은 특정 실패 사례를 대상으로 합니다. 시스템은 자체 텔레메트리 태그를 생성하고 TDA 분석을 사용하여 내부 모델 상태의 루프 동작을 모니터링합니다. Van Pham은 수개월간의 자기 주도 연구 및 레드 팀링을 통해 이 도구를 유기적으로 개발했으며, 고정 해시에서 재현 가능한 결과를 강조했습니다. 코드는 GitHub의 Ruffian-L/niodoo-hidden-state-steering 저장소에서 사용할 수 있습니다.