media Hugging Face Forums · há 1 h · open_models

Autor propõe registro aberto de k para saturação de evidência em LLMs locais

Traduzido do English → Português (BR)

O autor publicou um artigo piloto e um registro aberto no Hugging Face para medir o ponto de saturação de evidência (k*) dos modelos de linguagem. Esta métrica determina o número ideal de fragmentos de evidência a injetar nos prompts, pois adicionar mais contexto não melhora monotonicamente a correção e pode aumentar o custo ou a contaminação epistêmica.

O estudo encontra que o k ótimo para correção varia de 1 até o conjunto completo de evidências dependendo do tipo de tarefa, sugerindo que um único perfil de contexto é insuficiente.
Um Evidence-k Registry aberto foi criado no Hugging Face, semeado com 35 medições em nível de tarefa do artigo.
O registro convida operadores de modelos locais a contribuir documentando revisões de modelos, quantizações, backends atendidos e métricas de confiabilidade.

Esta iniciativa visa fornecer um protocolo reproduzível para calibrar janelas de contexto por modelo e backend para equilibrar correção com eficiência.

Importância 1/3 Confiança 1/3 Hugging Face Forums Evaluation & benchmarks Retrieval & RAG

Ler original

Sinais de LLM-as-a-judge falham em otimizar o reconhecimento de tabelas em loop fechado

Um estudo usando FinTabNet e OmniDocBench demonstra que os sinais de LLM-as-a-judge são insuficientes para otimizar a regeneração em loop fechado no reconhecimento de tabelas. A pesquisa revela que as pontuações dos juízes frequentemente empataram, os rankings não foram reproduzíveis e o sistema falhou em recuperar melhores candidatos produzidos pela iteração.

arxiv arXiv cs.CL · há 6 d

DeepStress testa agentes de busca profunda contra evidências não confiáveis

Os autores apresentam o DeepStress, um framework para testar a robustez de agentes de busca profunda substituindo seus módulos de recuperação por um ambiente sintético controlado. Esta abordagem permite que pesquisadores manipulem a frequência e a qualidade das evidências em três dimensões: confiabilidade, relevância e factualidade.

arxiv arXiv cs.CL · há 6 d · 2 visualizações

Hindcast fecha vazamento de dados na avaliação de forecasters LLM

A estrutura Hindcast avalia forecasters LLM reproduzindo mercados de previsão do Polymarket resolvidos contra uma snapshot congelada do Reddit público, classificando os modelos como se existissem em uma data específica do passado. Esta abordagem impede dois canais comuns de vazamento de respostas: a recuperação de relatórios pós-evento e a contaminação dos dados de treinamento por eventos que ocorreram após o lançamento do modelo.

arxiv arXiv cs.CL · há 7 d

RCWT mede o deslocamento de orçamento da tarefa a partir do conteúdo de coordenação em chamadas LLM

O Roundtable Context Window Test (RCWT) é um protocolo controlado projetado para medir o efeito de deslocamento de orçamento da tarefa causado ao colocar conteúdo de coordenação dentro do prompt finito de sistemas LLM multiagente e com memória aumentada.

arxiv arXiv cs.CL · há 7 d

LakeQuest: Uma avaliação de três domínios para resposta a perguntas fundamentada em lagos de dados

Pesquisadores apresentam o LakeQuest, uma avaliação validada por humanos com 9.846 pares de pergunta-resposta projetada para avaliar pipelines completos de recuperação e síntese sobre lagos de dados realistas. O conjunto de dados abrange três domínios diversos: metadados de IA/ML, varejo bancário e informação biomédica multimodal sobre medicamentos, e emparelha cada pergunta com ponteiros de evidência exatos e conscientes da modalidade.