webAI telah merilis TwIL-LM, sebuah keluarga dua model penalar logika formal dengan parameter 1,7B dan 3B yang dirancang untuk autoformalisasi pada perangkat keras lokal. Model-model ini menerjemahkan bahasa Inggris ke dalam logika orde pertama dan memeriksa validitas kesimpulan, dengan varian 3B mencapai skor gerbang makro sebesar 0,4218 pada tugas logika formal dalam domain.

  • TwIL-LM3 (3B) adalah fine-tune gabungan dari SmolLM3-3B, sedangkan model 1,7B adalah adapter LoRA PEFT untuk SmolLM2-1.7B-Instruct.
  • Kedua model dapat dijalankan secara lokal dengan build kuantisasi sebesar 1,06 GB dan 1,78 GiB masing-masing, yang hanya memerlukan 4 GB VRAM.
  • Pelatihan melibatkan fine-tuning terawasi LoRA, fusi checkpoint, interpolasi WiSE-FT pada λ = 0,25, dan MGPO terhadap verifier programatik.
  • TwIL-LM3 memimpin semua kategori hingga LFM2.5-8B-A1B pada enam jalur objektif, tetapi tertinggal dari gpt-oss-120b pada rata-rata enam jalur (0,4488 vs 0,5192).
  • Model 3B menghasilkan generasi terpendek dengan 482 token, menghasilkan 32,9 jawaban per detik dibandingkan dengan 4,2 dari gpt-oss-120b.

Rilis ini memungkinkan eksekusi lokal untuk lingkungan yang sensitif terhadap data seperti kepatuhan dan operasi hukum, menawarkan keseimbangan antara kinerja dalam domain dan retensi kemampuan di luar domain.