Los autores presentan TailorMind, un sistema para la generación personalizada de contenido multimodal que produce salidas adaptadas al usuario sin depender de conjuntos de elementos existentes ni esperar a que se genere contenido por parte del usuario. El enfoque vincula el modelado colaborativo de preferencias con la generación multimodal controlable, enriqueciendo los historiales escasos de los usuarios mediante filtrado colaborativo basado en hipergrafos. Además, optimiza los perfiles textuales utilizando retroalimentación de error de clasificación y descenso de gradiente textual para capturar mejor las preferencias del usuario. Para garantizar la calidad, el sistema emplea un control de estilo aumentado por recuperación basado en patrones auténticos y una reflexión de cohesión multimodal para reducir la deriva semántica. Los investigadores también presentan TailorBench, un conjunto de evaluación evaluado en cinco dimensiones que incluyen coherencia, novedad, calidad estética, alucinación y perfilado. Los experimentos demuestran que TailorMind logra una coherencia competitiva o superior en comparación con los modelos base, mientras mejora la novedad y la calidad estética sobre modelos de generación representativos y datos de referencia. Además, el sistema muestra ventajas sobre la recuperación de contenido disponible y alcanza ganancias de hasta un 29% en Recall en tareas de reordenamiento.
TailorMind: Hacia la Generación de Contenido Multimodal Alineada con Preferencias
Traducido del English → Español