ScottRBK выпустил eval-harness, инструмент, предназначенный для создания персональных оценок как для LLM, так и для агентных CLI-хабрешей, в которых они работают. Проект решает необходимость оценки производительности моделей в реальных условиях использования, а не полагаться на общие бенчмарки или интуицию.
- Репозиторий позволяет пользователям создавать приватные списки оценок, хранящиеся вдали от публичных датасетов.
- Включены примеры оценок для демонстрации различных паттернов оценки моделей и хабрешей.
- Предоставлен набор навыков, помогающий CLI-агентам генерировать эти оценки, хотя автор отмечает их хрупкость.
- Инструмент помогает пользователям принимать решения о переключении между локальными моделями, такими как qwen3.6-27b, и облачными моделями на основе эмпирических данных.
Фреймворк помогает пользователям принимать обоснованные решения о выборе моделей для профессиональных рабочих процессов, предоставляя структурированный способ тестирования возможностей в конкретных агентных средах.