Um estudo avalia um gerador implantável de 4B executado em um laptop com 24 GB para determinar o que torna suas citações fiéis e abrangentes em tarefas de pesquisa profunda no dispositivo. A pesquisa separa a fidelidade da afirmação citada da cobertura confiável, analisando como o comprimento da exposição da fonte e a qualidade da fonte afetam essas métricas.
- Aumentar a exposição por fonte de 400 para 1500 caracteres eleva a fidelidade de 0.45 para 0.58 nas fontes recuperadas e de 0.37 para 0.58 nas fontes gold, mostrando que a fidelidade é limitada pela exposição em vez da correção da fonte.
- A cobertura confiável permanece perto de 0.22 nas fontes recuperadas independentemente da exposição porque o recall é mantido perto de 0.40, indicando que a qualidade da recuperação limita quais fontes são citadas.
- A exposição adicional custa aproximadamente 235 tokens de saída.
Os autores concluem que a abordagem prática é aumentar primeiro a exposição por fonte como uma alavanca barata e, em seguida, tratar o recall da recuperação como o único fator restante para melhorar a cobertura.