SuCo introduce el CoT Mínimo Suficiente (MSC) como el prefijo de razonamiento más corto adecuado para respuestas correctas. Emplea un marco de entrenamiento en dos etapas—Ajuste Fino Alineado con MSC y Optimización de Política Consciente de la Suficiencia—para reducir la longitud del razonamiento mientras se mantiene o mejora la precisión en tareas de matemáticas, código y ciencias.
Los LLMs pueden detectar indicios culturales y recordar convenciones culturales, pero a menudo fallan al adaptar las respuestas en consecuencia. Sus respuestas permanecen sesgadas hacia su cultura nativa a menos que se les solicite explícitamente aplicar el contexto cultural de manera secuencial.
EComAgentBench introduce un benchmark de 662 tareas reales de Amazon que dispersan los requisitos del comprador entre la consulta, el perfil y la aclaración. Los agentes deben descubrir la intención oculta, verificar candidatos con evidencia y comprometerse a un producto dentro de 100 llamadas a herramientas, con rúbricas tipadas que atribuyen fallos a fuentes específicas de requisitos. La evaluación muestra que incluso los mejores modelos logran solo 57.1% de precisión, y la satisfacción de las rúbricas disminuye cuando la intención está oculta.
Una auditoría causal muestra que los modelos solo de texto igualan a los modelos multimodales en precisión de radiografía torácica. En nueve sistemas, un modelo solo de texto se mantiene dentro de 5.7 puntos del mejor modelo multimodal, y un modelo de 119 mil millones de parámetros es indistinguible de una línea base solo de texto de 7 mil millones de parámetros. Las auditorías de fundamentación, no la precisión, deben determinar el despliegue clínico.
Un sistema que utiliza IA para simular pacientes virtuales proporciona retroalimentación paso a paso sobre las prácticas de la terapia de aceptación y compromiso. GPT-4o-mini logró el error absoluto medio más bajo al igualar las calificaciones de los supervisores humanos, mostrando una fuerte concordancia en la fidelidad de la TAC. La herramienta apoya la práctica del terapeuta mediante interacciones realistas y de bajo riesgo con retroalimentación inmediata.
Los informes de radiología reescritos por IA muestran una pérdida significativa de información, con la resumización del EHR erosionando el 51.4% de las entidades clínicas y el 43.7% del lenguaje de cautela. A pesar de preservar la alineación imagen-texto, las tareas de casos estandarizados y de enseñanza reducen la alineación multimodal en un 14.9-16.5%, seis a siete veces más que la resumización del EHR. El estudio no encuentra una degradación preferencial de patologías raras e identifica el tipo de tarea de reescritura como el principal impulsor de la degradación, no el contenido clínico.
Las pruebas de código actuales fueron diseñadas antes de la ingeniería de software agéntica y no logran capturar la complejidad de los sistemas del mundo real. Confunden el rendimiento del modelo con todo el sistema, ignoran soluciones alternativas válidas y carecen de señales de retroalimentación a nivel de componentes individuales, lo que dificulta la mejora iterativa.
DIFE evalúa checkpoints de CLIP con backdoors en diferentes interfaces de despliegue, revelando que el éxito nativo no garantiza seguridad en la reutilización. El framework muestra que el envenenamiento del lado textual permite exposición adversaria en tareas de recuperación, reranking y selección, mientras que el uso únicamente visual permanece mayormente sin afectar. Se introduce BadTextTower para generar una exposición fuerte condicionada por texto sin comprometer el rendimiento visual.
Presentamos un marco para evaluar habilidades agénticas mediante la construcción de tareas realistas y la evaluación de la utilidad de las habilidades a través de la ejecución de tareas. Aplicado a 500 habilidades del mundo real, genera 1,000 tareas y rúbricas de puntuación, evaluando 19 configuraciones de modelos agénticos en modelos propietarios y de código abierto. Los resultados muestran una variación significativa en el cumplimiento de instrucciones y las mejoras de rendimiento, con las habilidades que alteran sustancialmente el comportamiento del modelo en comparación con configuraciones sin habilidades.
Un estudio descubre que el ajuste fino bilingüe mejora el reconocimiento automático del habla en idiomas con pocos recursos cuando la identificación del idioma es precisa. Incluir un token de identificación del idioma durante la inferencia mejora el rendimiento del ASR cuando la precisión de la identificación es baja, especialmente en pares de idiomas diversos entre diferentes familias y sistemas de escritura.
MultiClin presenta un benchmark de ASR clínico que evalúa la robustez de los modelos frente a la variabilidad multiscripto. Muestra que la evaluación consciente del multiscripto supera a los métodos convencionales de referencia única, y la unificación de scripts produce el mejor rendimiento de ASR, mientras que las mapeos de script inconsistentes aumentan la incertidumbre ortográfica.
El modelo wav2vec2.0 no muestra evidencia de compensación perceptual para los tones del mandarín en las similitudes de incrustaciones. Los clasificadores de sondeo revelan una compensación limitada y no logran igualar el rendimiento humano en sílabas aisladas, lo que sugiere que se necesita entrenamiento supervisado para la abstracción de regularidades fonológicas.
Un nuevo marco automatiza el refinamiento de prompts para agentes LLM dividiendo el pipeline de observación a acción en módulos condicionados por objetivos y de selección de acciones. Utiliza un bucle evolutivo impulsado por LLM para mejorar iterativamente los prompts basándose en la retroalimentación del entorno, logrando hasta un 72.5% de éxito en PutNext donde agentes anteriores fallaron, sin ajuste fino del modelo.
GameCraft-Bench introduce un benchmark con 140 tareas de Godot en 15 familias de juegos para evaluar la capacidad de los agentes de codificación para generar juegos jugables. Las evaluaciones muestran que el mejor agente logra solo un 41.46% de éxito, lo que indica desafíos significativos en la producción de juegos completos e interactivos con jugabilidad coherente y retroalimentación visual.
La edición dinámica de rollout (DRE) aborda el sobreanálisis en modelos de razonamiento entrenados con RL modificando trayectorias exitosas tras la aparición de la respuesta. DRE preserva el prefijo de razonamiento correcto mientras edita la continuación innecesaria, debilitando el crédito asignado al pensamiento redundante sin penalizar el razonamiento válido. Los experimentos en diversas tareas demuestran su efectividad para reducir el sobreanálisis.
ChLogic evalúa qué tan bien los modelos de lenguaje grandes mantienen el razonamiento lógico cuando las estructuras lógicas en inglés se expresan en chino. Revela una brecha persistente de rendimiento entre inglés y chino, con la traducción inversa mejorando los resultados en elementos generales pero perjudicando el rendimiento en problemas difíciles. El benchmark destaca el impacto de la realización superficial, artefactos de traducción y comportamientos específicos del modelo en el razonamiento multilingüe.
La descodificación NNN selecciona documentos como un conjunto conjunto que reconstruye conjuntamente la incrustación de la consulta mediante una combinación lineal dispersa y no negativa. Extiende estrictamente la recuperación densa al manejar consultas en las que falla la recuperación densa, especialmente en corpus con documentos correlacionados, y logra un rendimiento superior mediante el entrenamiento de extremo a extremo de las incrustaciones.
Una oferta de empleo busca un ingeniero experimentado en NLP o LLM para desarrollar el primer motor de localización basado en Generación Aumentada por Recuperación (RAG) para una lengua de bajos recursos hablada en Sudamérica. El proyecto utiliza un corpus propietario de contenido pedagógico y datos de diccionario desarrollado durante cuatro años.
Una reciente discusión en los foros de Hugging Face explora los métodos más eficientes para personalizar modelos de IA pequeños para tareas específicas. El hilo, titulado "¿Cuál es la forma más rentable de ajustar finamente un modelo de lenguaje pequeño en 2026?", busca consejos sobre cómo minimizar los gastos mientras se mantiene el rendimiento. Fue iniciado por un único participante que busca optimizar su flujo de trabajo para aplicaciones especializadas. La consulta destaca el creciente interés en aprovechar modelos más pequeños para reducir la carga computacional. Se anima a los participantes a compartir estrategias que equilibren el costo y la eficiencia en el panorama actual. Este tema refleja los esfuerzos continuos para hacer que la adaptación de modelos sea más accesible y asequible.
La versión 2.1.195 de Claude Code introduce varias correcciones y mejoras, incluyendo nuevas variables de entorno para el control del mouse en modo de pantalla completa y correcciones a la lógica del emparejador de hooks.