korshunov.ai
Español
Todos los artículos Página 1 / 33
arxiv arXiv cs.CL · hace 1 h En vivo

HydraHead: Atención híbrida a nivel de cabezal para rendimiento en contexto largo

HydraHead introduce una hibridación a nivel de cabezal de Full Attention y Linear Attention, aprovechando la interpretabilidad para seleccionar los cabezales críticos para recuperación y fusionar las salidas mediante un módulo normalizado por escala. Entrenado con 15B tokens, logra más del 69% de mejora sobre la línea base en una longitud de contexto de 512K, superando a los híbridos a nivel de capa y acercándose al rendimiento de Qwen3.5 en tareas de contexto largo.
arxiv arXiv cs.CL · hace 1 h En vivo

Estabilización de la intención de herramientas en RAG en streaming

Un estudio mide la estabilización de la intención de herramientas en RAG en streaming, definiendo cuándo las consultas de herramientas especulativas convergen a respuestas correctas. En el benchmark CRAG, el 73.9% de las consultas permiten ocultar latencia sustancial, con estabilización temprana observada en preguntas con evidencia recuperable literalmente. El tipo de pregunta predice significativamente la estabilización temprana frente a la tardía, informando cuándo los disparadores especulativos son efectivos.
arxiv arXiv cs.CL · hace 1 h En vivo

PASQA: Modelo de Calidad de Voz Enfocado en el Acento Tonal

PASQA es un modelo de evaluación de calidad de voz diseñado para evaluar la corrección del acento tonal en el habla japonesa sintética. Utiliza un conjunto de datos con errores de acento controlados e incorpora aprendizaje autosupervisado, fusión condicionada por mora, pérdida de clasificación y localización de errores de acento para lograr alta precisión en la detección de errores de acento entre hablantes, superando a los modelos convencionales en alineación con los juicios humanos.
arxiv arXiv cs.CL · hace 1 h En vivo

Se encuentra que las representaciones de la calidad del ensayo en los LLM son linealmente accesibles

Un estudio revela que la información sobre la calidad del ensayo en los modelos de lenguaje grandes está codificada en formas linealmente accesibles dentro de sus representaciones ocultas. Estas representaciones emergen capa por capa, permanecen estables entre diferentes prompts y muestran transferencia parcial entre distintos prompts de ensayo, con ensayos más largos dependiendo más de las capas más profundas del modelo. La investigación identifica "neuronas específicas para la puntuación de ensayos" cuya activación se correlaciona fuertemente con las puntuaciones y puede ser influenciada por intervenciones dirigidas.
arxiv arXiv cs.CL · hace 1 h En vivo

La sonda de caja negra detecta la memorización de identidades en modelos de texto a imagen

Una nueva sonda de caja negra distingue si los modelos de texto a imagen memorizan identidades o las fabrican, sin necesidad de fotos de referencia ni datos de entrenamiento. El conjunto de datos NAMESAKES incluye más de mil nombres y rostros de figuras públicas, junto con nombres perturbados menos conocidos, para evaluar esta capacidad en modelos de última generación.
arxiv arXiv cs.CL · hace 1 h En vivo

MedRLM: Marco de Inteligencia Clínica Multimodal Recursiva

MedRLs permite el razonamiento clínico de contexto largo mediante la inspección recursiva de datos del paciente en texto, imágenes, sensores y guías. Integra agentes especializados y una Memoria de Grafo de Evidencia Clínica para conectar las observaciones del paciente con evidencia, biomarcadores y criterios de derivación, apoyando el razonamiento activado por sensores y la revisión clínica con umbral de incertidumbre.
arxiv arXiv cs.CL · hace 1 h En vivo

Algoritmo para la escritura de notas y estimación de tonalidad en la transcripción musical

Un nuevo algoritmo estima los nombres de las notas, las armaduras y las escalas locales a partir de una entrada similar a MIDI optimizando conjuntamente etapas modales y tonales. Se ha evaluado en partituras de jazz con melodía y armonía, transcripciones solistas, temas tradicionales y partituras de piano clásico, definiendo además distancias entre escalas comunes de jazz para la investigación musicológica.
arxiv arXiv cs.CL · hace 1 h En vivo

Los perfiles psicológicos de los LLM son artefactos de medición

Un análisis psicométrico formal muestra que los aparentes perfiles psicológicos de los modelos de lenguaje grandes están impulsados principalmente por el sesgo de respuesta, no por rasgos reales. Este sesgo, que cambia con la capacidad del modelo y se amplifica por el diseño del instrumento, explica el 81-90% de la variación entre modelos, superando ampliamente las diferencias de rasgos humanos. El estudio concluye que estos perfiles son artefactos de medición y no propiedades del modelo, instando al desarrollo de evaluaciones basadas en la ortogonalidad de la respuesta.
arxiv arXiv cs.CL · hace 1 h En vivo

CzechDocs: Conjunto de datos paralelo para traducción de documentos en lenguas minoritarias

CzechDocs es un conjunto de datos paralelo multilingüe de documentos formateados en formatos HTML, DOCX y PDF, que cubre el checo y lenguas minoritarias como ucraniano, inglés, vietnamita y ruso. Permite la evaluación de sistemas de traducción automática que preservan el formato de los documentos, con un subconjunto de validación y un kit de evaluación publicados públicamente. Se utilizará una división de prueba reservada para una tarea compartida futura sobre traducción a nivel de documento con preservación del formato.
arxiv arXiv cs.CL · hace 1 h En vivo

Direcciones de activación causal para mitigar la desalineación emergente en modelos de lenguaje

El ajuste fino de modelos de lenguaje con código inseguro provoca una desalineación emergente. Una dirección de activación compartida entre cuatro familias de modelos logra una separación del 99,6% entre las activaciones alineadas y las desalineadas, y su resta reduce el derrame de código en 21-51 puntos. La transferencia entre arquitecturas muestra supresión conductual pero carece de especificidad; las direcciones dentro del modelo son causalmente accionables, mientras que las direcciones entre modelos solo son causalmente reales.
arxiv arXiv cs.CL · hace 1 h En vivo

PsyScore: Un marco consciente de la psicometría para la calificación de ensayos adaptativa a rasgos y retroalimentación con andamiaje en ZPD

PsyScore integra la calificación diagnóstica y la retroalimentación instruccional utilizando un modelo de habilidad latente compartido. Cuenta con un evaluador de IRT neuronal adaptativo a rasgos basado en GPCM, un generador de retroalimentación con andamiaje en ZPD que adapta la instrucción según el nivel de competencia, y una estrategia de evaluación multi-perspectiva. Los experimentos en ASAP++ muestran calificaciones competitivas y una retroalimentación más alineada pedagógicamente en comparación con los métodos existentes.
arxiv arXiv cs.CL · hace 1 h En vivo

Técnicas de optimización de inferencia orientadas a operaciones de tokens

Este artículo presenta una arquitectura técnica de cuatro capas para la optimización de inferencia orientada a tokens, que incluye Fusión Multi-modelo, Optimización de Modelos, Fusión Compute-Modelo y Fusión Compute-Network-Modelo. Revisa las tecnologías clave y el estado de la industria, analizando su valor en aplicaciones reales para reducir costos de tokens, mejorar la eficiencia del servicio y garantizar un suministro estable de tokens.
arxiv arXiv cs.CL · hace 1 h En vivo

CATCH-ME si puedes RAG: Conjunto de datos multilingüe de contradiscurso para odio y desinformación

CATCH-ME presenta el primer conjunto de datos a gran escala y multilingüe de diálogos de contradiscurso multi-turno anotados contextualmente, dirigidos contra el odio y la desinformación. El conjunto de datos cubre cinco idiomas y se centra en siete grupos marginados, con diálogos fundamentados en fuentes verificadas de verificación de hechos e incluyendo anotaciones de span a nivel de documento y fragmento para sistemas RAG.