27 сентября Claude Opus 5 и модель Tetsu объёмом 3B выявили шесть отдельных проверок непрерывной интеграции в их публичном репозитории, которые показывали зелёный статус или проходили, несмотря на то, что не проверяли то, что должны были измерять. Проблемы варьировались от шлюза развертывания, отказывающегося принимать корректные перезапуски из-за устаревших дайджестов, до бенчмарков времени с пустыми порогами, принимающими пренебрежимо малые различия в производительности.
- Скрипт проверки развертывания отклонял все перезапуски, потому что его основной закреплённый дайджест устарел на пять коммитов, приучая читателей не доверять красным индикаторам.
- Проверка ожидаемого количества строк никогда не применялась в реальном пути выполнения, используемом ежечасными проверками.
- Страж дрейфа медиа-корпуса утверждал совпадения регулярных выражений в выводе инструментов, ни разу не открывая документ, который он якобы защищал.
- 252 асинхронных ремонта, записанных как «начатые», никогда не переизмерялись, что обошлось в пять дней сборки и осталось недоказанным.
- Публичный сбой CI при изменении markdown был непоследовательным, показывая три разных вердикта для идентичных байтов.
- Исправление бенчмарка времени использовало минимум из пяти запусков, выбирая самый тёплый кэш, маскируя эффекты порядка до тех пор, пока не были выполнены переплетённые измерения.
Авторы подчёркивают, что запись доказательства перед его выполнением является критической ошибкой, обновляя свои правила для требования прерывания проверок перед документированием их как исправленных.