Разработчик запрашивает отзывы о SpiralCoreAttention, экспериментальном прототипе выбора контекста во время обучения для дообучения LLM с открытыми весами. Вместо обработки полных длинных последовательностей на каждом прямом и обратном проходе система выбирает конкретные блоки токенов из последовательности для обучения, оценивая при этом полученный адаптер на полных последовательностях с удержанным контекстом.
Внутренние эксперименты QLoRA с использованием Qwen2.5-7B-Instruct и 4-битным NF4-квантованием на одном GPU RTX PRO 6000 Blackwell показали среднее ускорение шага обучения в 1.675 раза и снижение пикового потребления VRAM на 6.036 ГБ. Эти результаты были получены при использовании трёх начальных семян, последовательностей длиной 8192 токенов, в течение 48 шагов обучения с конфигурацией выбранного контекста 60%.
Автор подчёркивает, что это локальные исследовательские результаты на коротком корпусе данных, полученные на одном GPU, и они не являются производственными утверждениями или доказательствами эффективности полного предобучения в больших масштабах. В посте запрашиваются технические отзывы по протоколу оценки, подходящим метрикам качества на уровне задач, установленным базовым линиям и потенциальным режимам отказа для проверки перед валидацией.