Une étude évalue un générateur 4B déployable fonctionnant sur un ordinateur portable de 24 Go pour déterminer ce qui rend ses citations fidèles et exhaustives dans les tâches de recherche approfondie sur appareil. La recherche sépare la fidélité des affirmations citées de la couverture fiable, analysant comment la longueur d'exposition de la source et la qualité de la source affectent ces métriques.
- L'augmentation de l'exposition par source de 400 à 1500 caractères élève la fidélité de 0,45 à 0,58 sur les sources récupérées et de 0,37 à 0,58 sur les sources de référence, montrant que la fidélité est liée à l'exposition plutôt qu'à la correction de la source.
- La couverture fiable reste proche de 0,22 sur les sources récupérées indépendamment de l'exposition car le rappel est maintenu près de 0,40, indiquant que la qualité de la récupération limite quelles sources sont citées.
- L'exposition supplémentaire coûte environ 235 jetons de sortie.
Les auteurs concluent que l'approche pratique consiste à augmenter d'abord l'exposition par source comme un levier peu coûteux, puis à traiter le rappel de récupération comme le seul facteur restant pour améliorer la couverture.