Las redes neuronales gráficas a menudo presentan transferibilidad limitada debido a su estrecho acoplamiento con espacios de características específicos del conjunto de datos, mientras que los modelos de lenguaje ofrecen generalización flexible a través de una interfaz unificada. Los métodos existentes para adaptar modelos de lenguaje a tareas de grafos tienen dificultades para codificar información de todo el grafo, lo que puede provocar una pérdida significativa de información y una comprensión subóptima. Para abordar esta limitación, los autores proponen GaRA, un nuevo modelo de generación de LoRA consciente del grafo que implementa un paradigma de inyección de información a nivel de pesos. Este enfoque genera actualizaciones de peso específicas para la tarea condicionadas por las estructuras originales del grafo, permitiendo que interactúen directamente con las representaciones ocultas. El método restringe la norma de estas actualizaciones generadas para inyectar información de todo el grafo mientras evita el sesgo de optimización inherente a la generación estándar de pesos. Los estudios empíricos demuestran que GaRA supera consistentemente a los métodos base en varias tareas de aprendizaje de grafos zero-shot.
GaRA: Generación de LoRA consciente del grafo para mejorar LLMs en tareas de grafos
Traducido del English → Español