Seorang pengembang meminta umpan balik mengenai SpiralCoreAttention, sebuah prototipe pemilihan konteks selama pelatihan yang bersifat eksperimental untuk penyetelan halus LLM bobot terbuka. Alih-alih memproses seluruh urutan panjang dalam setiap langkah maju dan mundur, sistem memilih blok token tertentu dari urutan tersebut untuk dilatih, sambil mengevaluasi adapter yang dihasilkan pada urutan konteks penuh yang diisolasi.
Eksperimen QLoRA internal menggunakan Qwen2.5-7B-Instruct dengan kuantisasi NF4 4-bit pada satu GPU RTX PRO 6000 Blackwell menunjukkan percepatan langkah pelatihan rata-rata sebesar 1.675× dan pengurangan VRAM puncak sebesar 6.036 GB. Hasil-hasil ini diamati di tiga seed menggunakan urutan token 8.192 selama 48 langkah pelatihan dengan konfigurasi konteks terpilih sebesar 60%.
Penulis menekankan bahwa ini adalah hasil penelitian lokal pada korpus, berdurasi pendek, dan pada satu GPU, bukan klaim produksi atau bukti untuk pra-pelatihan penuh pada skala yang lebih besar. Postingan tersebut meminta umpan balik teknis mengenai protokol evaluasi, metrik kualitas tingkat tugas yang sesuai, baseline yang mapan, serta potensi mode kegagalan yang perlu diuji sebelum validasi.