Создатель Whetstone, инструмента с открытым исходным кодом для продвижения моделей и агентов, ищет пользователей для тестирования этого инструмента на реальных обновлениях моделей. Whetstone сравнивает результаты попарно на уровне отдельных элементов, чтобы выявить скрытые регрессии, которые могут остаться незамеченными при агрегировании оценок.
- Он применяет точные статистические критерии для воспроизводимых результатов PASS, HOLD или BLOCK.
- В локальном тесте он выявил три улучшения и три регрессии в базовой линии с одинаковыми результатами, заблокировав кандидата.
- Хостинговая версия не имеет состояния для одноразовых входных данных, тогда как реальные тесты выполняются локально для сохранения конфиденциальности данных.
- Автор приглашает разработчиков с базовыми моделями, дообученными версиями или обновлениями агентов проверить его предположения.
Цель — найти сложные случаи, когда шлюз даёт неверные ответы или становится непрактичным.