media Hugging Face Forums · hace 1 h · open_models

El autor propone un registro abierto de k para la saturación de evidencia en LLM locales

Traducido del English → Español

El autor ha publicado un artículo piloto y un registro abierto en Hugging Face para medir el punto de saturación de evidencia (k*) de los modelos de lenguaje. Esta métrica determina el número óptimo de fragmentos de evidencia para inyectar en los prompts, ya que agregar más contexto no mejora monótonamente la corrección y puede aumentar el costo o la contaminación epistémica.

El estudio encuentra que el k óptimo para la corrección varía de 1 hasta el conjunto completo de evidencia dependiendo del tipo de tarea, lo que sugiere que un único perfil de contexto es insuficiente.
Se ha creado un Evidence-k Registry abierto en Hugging Face, sembrado con 35 mediciones a nivel de tarea del artículo.
El registro invita a los operadores de modelos locales a contribuir documentando revisiones de modelos, cuantizaciones, backends atendidos y métricas de confiabilidad.

Esta iniciativa tiene como objetivo proporcionar un protocolo reproducible para calibrar las ventanas de contexto por modelo y backend para equilibrar la corrección con la eficiencia.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Evaluation & benchmarks Retrieval & RAG

Artículos relacionados

arxiv arXiv cs.CL · hace 6 d

Las señales de LLM-as-a-judge no optimizan el reconocimiento de tablas en bucle cerrado

Un estudio que utiliza FinTabNet y OmniDocBench demuestra que las señales de LLM-as-a-judge son insuficientes para optimizar la regeneración en bucle cerrado en el reconocimiento de tablas. La investigación revela que las puntuaciones de los jueces frecuentemente empataron, los rangos no fueron reproducibles y el sistema falló al recuperar mejores candidatos producidos por la iteración.

arxiv arXiv cs.CL · hace 6 d

DeepStress somete a prueba de estrés a agentes de búsqueda profunda frente a evidencia no confiable

Los autores presentan DeepStress, un marco para realizar pruebas de estrés a agentes de búsqueda profunda reemplazando sus módulos de recuperación con un entorno sintético controlado. Este enfoque permite a los investigadores manipular la frecuencia y calidad de la evidencia en tres dimensiones: confiabilidad, relevancia y factualidad.

arxiv arXiv cs.CL · hace 6 d · 2 vistas

Hindcast cierra la fuga de datos en la evaluación de pronosticadores LLM

El marco Hindcast evalúa los pronosticadores LLM reproduciendo mercados de predicción cerrados de Polymarket contra una instantánea congelada de Reddit público, calificando a los modelos como si existieran en una fecha pasada específica. Este enfoque previene dos canales comunes de fuga de respuestas: la recuperación de informes posteriores al evento y la contaminación de los datos de entrenamiento por eventos que ocurrieron después del lanzamiento del modelo.

arxiv arXiv cs.CL · hace 7 d

RCWT mide el desplazamiento de la tarea-presupuesto por contenido de coordinación en llamadas LLM

El Roundtable Context Window Test (RCWT) es un protocolo controlado diseñado para medir el efecto de desplazamiento de la tarea-presupuesto causado al colocar contenido de coordinación dentro del prompt finito de sistemas LLM multiagente y con memoria aumentada.

arxiv arXiv cs.CL · hace 7 d

LakeQuest: Una evaluación de tres dominios para respuesta a preguntas fundamentada en lagos de datos

Los investigadores presentan LakeQuest, una evaluación validada por humanos con 9.846 pares de pregunta-respuesta diseñada para evaluar pipelines completos de recuperación y síntesis sobre lagos de datos realistas. El conjunto de datos abarca tres dominios diversos: metadatos de IA/ML, banca minorista e información biomédica multimodal sobre medicamentos, y empareja cada pregunta con punteros de evidencia exactos y conscientes de la modalidad.