Jason Van Pham telah merilis Niodoo, sebuah runtime lokal yang dirancang untuk mengendalikan model bahasa besar (LLM) yang beku melalui state tersembunyi mereka. Proyek ini bertujuan memperbaiki kesalahan pada langkah terakhir dengan menyuntikkan noise atau "gaya fisika" selama inferensi untuk memutus loop token. Pendekatan ini memungkinkan model yang lebih kecil meningkatkan performa tanpa fine-tuning, menargetkan kasus kegagalan spesifik seperti benchmark prompt stroberi Llama. Sistem ini menghasilkan tag telemetri sendiri dan memanfaatkan analisis TDA untuk memantau state internal model guna mendeteksi perilaku looping. Van Pham mengembangkan alat ini secara organik melalui berbulan-bulan penelitian mandiri dan red-teaming, menekankan hasil yang dapat direproduksi dari hash yang dipin. Kode tersedia di GitHub di bawah repositori Ruffian-L/niodoo-hidden-state-steering.
Niodoo: Runtime Lokal untuk Pengendalian State Tersembunyi LLM yang Beku
Diterjemahkan dari English → Bahasa Indonesia