ScottRBK a publié eval-harness, un outil conçu pour générer des évaluations personnelles à la fois pour les LLM et les harnais CLI agents dans lesquels ils opèrent. Le projet répond au besoin d'évaluer les performances des modèles dans des contextes d'utilisation réels plutôt que de s'appuyer sur des benchmarks généraux ou l'intuition.
- Le dépôt permet aux utilisateurs de créer des listes privées d'évaluations conservées à l'écart des ensembles de données publics.
- Il inclut des évaluations exemples pour démontrer différents patterns d'évaluation des modèles et harnais.
- Un ensemble de compétences est fourni pour aider les agents CLI à générer ces évaluations, bien que l'auteur note qu'elles peuvent être fragiles.
- L'outil vise à aider les utilisateurs à décider quand basculer entre des modèles locaux comme qwen3.6-27b et des modèles cloud sur la base de données empiriques.
Le framework aide les utilisateurs à prendre des décisions éclairées concernant la sélection de modèles pour des flux de travail professionnels en fournissant une manière structurée de tester les capacités dans des environnements agents spécifiques.