Авторы представляют GRAB, конструктор-кодировщик-мостовой конвейер, предназначенный для ответов на вопросы по таблицам, который поднимает реляционные данные в гетерогенный граф и кодирует их с помощью передачи сообщений. Метод передает сигналы замороженной большой языковой модели через небольшой набор латентных токенов, обусловленных запросом, обеспечивая компактное структурное представление, сохраняя при этом общие способности к рассуждению LLM.

  • GRAB использует легкий графический кодировщик и латентный мост с всего 91M параметров, что позволяет эффективно обучать без обновления весов LLM.
  • Подход значительно улучшает производительность в задачах реляционного ответа на вопросы, достигая наибольших улучшений в сложных многопользовательских настройках.
  • Конвейер предлагает эффективный и обоснованный метод для соединения реляционного глубокого обучения с большими языковыми моделями.