korshunov.ai
Español
Todos los artículos Página 1 / 37
arxiv arXiv cs.CL · hace 2 h

Deliberación impulsada por IA: Escalar la inclusividad y empoderar a grupos marginados

Los Modelos de Lenguaje Grande pueden escalar la deliberación democrática mediante el andamiaje de la argumentación y la reducción de sesgos lingüísticos. El capítulo utiliza la Lingüística Sistémico-Funcional para analizar cómo las variaciones sociodemográficas y comunicativas afectan la participación, destacando el potencial de la IA para desafiar normas excluyentes, mientras advierte contra la sobreestimación o subestimación de sus capacidades. Se insta a implementar salvaguardas éticas y realizar más investigaciones para garantizar un compromiso equitativo asistido por IA.
arxiv arXiv cs.CL · hace 2 h

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.
arxiv arXiv cs.CL · hace 2 h

GEMS: Las restricciones geométricas permiten la superposición multi-semántica en LLMs

GEMS permite la superposición sin entrenamiento de múltiples direcciones semánticas en LLMs abordando la desviación distribucional y la interferencia direccional mediante restricciones geométricas. En GSM8K, mantiene una precisión del 98% con tres direcciones no matemáticas, mientras que la adición sin restricciones cae al 4%; en Wikitext-2, aumenta el PPL solo un 2.2%.
arxiv arXiv cs.CL · hace 2 h

Los modelos de calidad de voz fallan en capturar la variabilidad prosódica y de F0

Los modelos de predicción MOS capturan con precisión la degradación acústica, pero no logran detectar errores prosódicos ni características específicas del hablante, como el tono y la velocidad del habla. Los oyentes humanos perciben caídas significativas en la calidad ante estas perturbaciones, mientras que los modelos muestran fuertes sesgos en la frecuencia fundamental y carecen de sensibilidad ante la velocidad del habla y la variabilidad de F0.
arxiv arXiv cs.CL · hace 2 h

Entrenamiento de LLMs para agentes de ciclo de vida largo mediante generalización interdominio

Un nuevo marco permite a los modelos de lenguaje grandes aprender 'Conecta los puntos' utilizando aprendizaje por refuerzo con secuencias de rollout largas. El método incluye tareas y entornos adaptados para fomentar el desarrollo de meta-capacidades, mostrando una fuerte generalización interdominio y rendimiento en configuraciones fuera de distribución. Las implementaciones están disponibles en https://github.com/agentscope-ai/Trinity-RFT/tree/research/cod/examples/research_cod.
arxiv arXiv cs.CL · hace 2 h

Selección de herramientas sobreprivilegiadas en agentes LLM

Los agentes LLM suelen seleccionar herramientas con mayores privilegios a pesar de existir alternativas suficientes con menores privilegios. Este comportamiento sobreprivilegiado se ve amplificado por fallos transitorios de las herramientas y no mejora de manera confiable con la alineación general de seguridad. Una nueva defensa post-entrenamiento consciente del privilegio reduce el uso innecesario de herramientas de alto privilegio mientras mantiene las capacidades del agente.
arxiv arXiv cs.CL · hace 2 h

Optimización de Motores Generativos: Midiendo la Visibilidad en Búsquedas de IA

Un estudio a gran escala de más de 100K respuestas de prompts de IA en más de 100 marcas revela una escalera de visibilidad de marca de tres niveles: las marcas globales aparecen en el 73% de las respuestas, las de mercado medio en el 44%, y las marcas de nicho solo en el 11%. Los motores de IA citan principalmente sitios web corporativos, con YouTube liderando las fuentes no corporativas, y los listados de "lo mejor" representando el 21% de las citas. El sentimiento en las menciones de marca es inestable, cambiando seis veces más a menudo que la mera mención.
arxiv arXiv cs.CL · hace 2 h

Análisis de la Información Teórica de la Supervisión Efectiva en el Pensamiento en Cadena Latente

Este trabajo identifica un doble colapso en el razonamiento latente: atenuación del gradiente y deriva representacional. Propone la Supervisión de Trayectoria y Espacio, demostrando que la reconstrucción generativa preserva mejor la capacidad de información que la compresión geométrica. La Sonda Latente Unificada mide la información mutua entre las trayectorias latentes y los pasos de razonamiento, revelando un vínculo entre información y rendimiento en la precisión del razonamiento.
arxiv arXiv cs.CL · hace 2 h

IHUBERT: Modelo preentrenado en persa con deduplicación semántica

IHUBERT es un modelo de lenguaje preentrenado monolingüe en persa, entrenado sobre un subconjunto curado de 45 GB de la colección Sepahr-Danesh. Utiliza deduplicación semántica basada en vectores y una canalización de preentrenamiento equilibrada por dominio para mejorar la calidad del corpus y reducir la redundancia, logrando un rendimiento destacado en respuesta a preguntas extractivas y resultados sólidos en NER y clasificación de temas, aunque la extracción de relaciones sigue siendo un desafío.
arxiv arXiv cs.CL · hace 2 h

Sin preferencia propia en la revisión de modelos bajo autoría genuina

Una prueba con cuatro modelos en IFEval muestra que no hay una preferencia propia detectable en los grandes modelos de lenguaje al revisar su propio texto. Los autores rechazan ediciones verificadas como correctas a tasas comparables a las de modelos nuevos, con una diferencia de -5.1 puntos porcentuales (IC 95% [-12.9, +2.7]). Cuando los autores rechazan correcciones, el 97% de las razones se deben a la detección de defectos, no a preferencia.
arxiv arXiv cs.CL · hace 2 h

HydraHead: Atención híbrida a nivel de cabezal para rendimiento en contexto largo

HydraHead introduce una hibridación a nivel de cabezal de Full Attention y Linear Attention, aprovechando la interpretabilidad para seleccionar los cabezales críticos para recuperación y fusionar las salidas mediante un módulo normalizado por escala. Entrenado con 15B tokens, logra más del 69% de mejora sobre la línea base en una longitud de contexto de 512K, superando a los híbridos a nivel de capa y acercándose al rendimiento de Qwen3.5 en tareas de contexto largo.
arxiv arXiv cs.CL · hace 2 h

Estabilización de la intención de herramientas en RAG en streaming

Un estudio mide la estabilización de la intención de herramientas en RAG en streaming, definiendo cuándo las consultas de herramientas especulativas convergen a respuestas correctas. En el benchmark CRAG, el 73.9% de las consultas permiten ocultar latencia sustancial, con estabilización temprana observada en preguntas con evidencia recuperable literalmente. El tipo de pregunta predice significativamente la estabilización temprana frente a la tardía, informando cuándo los disparadores especulativos son efectivos.
arxiv arXiv cs.CL · hace 2 h

PASQA: Modelo de Calidad de Voz Enfocado en el Acento Tonal

PASQA es un modelo de evaluación de calidad de voz diseñado para evaluar la corrección del acento tonal en el habla japonesa sintética. Utiliza un conjunto de datos con errores de acento controlados e incorpora aprendizaje autosupervisado, fusión condicionada por mora, pérdida de clasificación y localización de errores de acento para lograr alta precisión en la detección de errores de acento entre hablantes, superando a los modelos convencionales en alineación con los juicios humanos.
arxiv arXiv cs.CL · hace 2 h

Se encuentra que las representaciones de la calidad del ensayo en los LLM son linealmente accesibles

Un estudio revela que la información sobre la calidad del ensayo en los modelos de lenguaje grandes está codificada en formas linealmente accesibles dentro de sus representaciones ocultas. Estas representaciones emergen capa por capa, permanecen estables entre diferentes prompts y muestran transferencia parcial entre distintos prompts de ensayo, con ensayos más largos dependiendo más de las capas más profundas del modelo. La investigación identifica "neuronas específicas para la puntuación de ensayos" cuya activación se correlaciona fuertemente con las puntuaciones y puede ser influenciada por intervenciones dirigidas.