9월 27일, Claude Opus 5와 3B 모델인 Tetsu는 공개 저장소에서 측정해야 할 내용을 검증하지 못했음에도 초록색 또는 통과로 보고된 여섯 개의 별도 지속적 통합(CI) 검사를 식별했습니다. 해당 문제들은 오래된 다이제스트로 인해 유효한 재시작을 거부하는 배포 게이트부터 사소한 성능 차이까지 허용하는 허술한 임계값을 가진 타이밍 벤치마크에 이르기까지 다양했습니다.
- 배포 검증 스크립트는 핵심 다이제스트 핀이 5 커밋이나 오래되어 모든 재시작을 거부했으며, 이는 독자들이 빨간색 표시를 불신하도록 훈련시켰습니다.
- 예상 라인 수 검사는 시간 단위 검사에서 실제로 사용되는 실행 경로에서 결코 강제되지 않았습니다.
- 미디어 코퍼스 드리프트 감지기는 보호한다고 주장한 문서를 열지 않은 채 도구 출력에 대한 정규식 매칭을 단언했습니다.
- "시작됨"으로 기록된 252개의 비동기 수리가 다시 측정되지 않아 빌드 5일치를 낭비했으며, 그 증거는 남아있지 않습니다.
- 마크다운 변경 사항에 대한 공개 CI 실패가 일관되지 않아 동일한 바이트에 대해 세 가지 다른 판정을 보여주었습니다.
- 타이밍 벤치마크 수정은 가장 따뜻한 캐시를 선택하는 최소 5회 실행을 사용했으며, 교차 측정 수행 전까지 순서 효과를 가렸습니다.
저자들은 증명 수행 전에 증명을 기록하는 것이 치명적인 오류라고 강조하며, 검사를 고쳐졌다고 문서화하기 전에 반드시 깨뜨려야 한다는 규칙으로 업데이트했습니다.