JLens-GGUF menambahkan visualisasi Jacobian-Lens interaktif dan steering ke llama.cpp

Sebuah alat baru bernama JLens-GGUF membawa visualisasi Jacobian-Lens interaktif dan kemampuan steering langsung ke model GGUF yang berjalan di llama.cpp. Terinspirasi oleh penelitian Anthropic, proyek ini mengisi celang untuk mesin inferensi berbasis GGUF dengan memungkinkan pengguna mengamati dan memanipulasi keadaan internal model mereka.

• Ini memiliki server GGUF native yang didasarkan erat pada llama.cpp yang mendukung observasi model, j-space swapping, abliteration, dan steering.
• Alat ini bekerja dengan format GGUF dense dan Mixture-of-Experts (MoE).
• Meskipun dapat mengamati model llama-server yang sedang berjalan, alat ini tidak dapat melakukan steering secara langsung; steering memerlukan server native.
• Kebutuhan memori untuk lens berbanding lurus dengan ukuran model sekitar 1/8 dari footprint model.

Implementasi ini memberikan pengguna lokal akses ke fitur interpretabilitas dan kontrol canggih yang sebelumnya terbatas pada lingkungan PyTorch atau Hugging Face.