Авторы предлагают LongCrafter, структурированную рамку для синтеза данных контролируемой тонкой настройки (SFT) с длинным контекстом, которая устраняет ограничения в охвате задач и достоверности. Она сочетает иерархическую таксономию из 32 типов задач с конвейером, основанным на доказательствах, для генерации пар инструкция-ответ, строго привязанных к найденным фрагментам доказательств.

  • Модели, дообученные на данных LongCrafter, превосходят все базовые модели SFT и официальные постобученные модели в задачах LongBench, LongBench v2 и LooGLE для Qwen2.5-7B и LLaMA-3.1-8B.
  • Подход дает наибольший прирост на задачах высокой сложности и создает данные, которые более разнообразны и лучше распределены по уровням сложности.
  • Обученные модели надежно находят доказательства независимо от их позиции, эффективно смягчая проблему «потерянности в середине».

LongCrafter обеспечивает контролируемую сложность и достоверное, прослеживаемое рассуждение, предоставляя масштабируемый способ улучшения понимания длинного контекста в больших языковых моделях.