새로운 도구 JLens-GGUF은 llama.cpp에서 실행되는 GGUF 모델에 대화형 야코비안 렌즈 시각화와 실시간 스티어링 기능을 제공합니다. Anthropic의 연구에서 영감을 받은 이 프로젝트는 GGUF 기반 추론 엔진의 격차를 해소하여 사용자가 모델의 내부 상태를 관찰하고 조작할 수 있게 합니다.
- 모델 관찰, j-space 스왑, abliteration(abliteration), 스티어링을 지원하는 llama.cpp에 밀접하게 기반한 네이티브 GGUF 서버를 특징으로 합니다.
- 이 도구는稠密(dense)과 Mixture-of-Experts (MoE) GGUF 형식 모두에서 작동합니다.
- 실행 중인 llama-server 모델을 관찰할 수 있지만 직접 스티어링할 수는 없습니다; 스티어링에는 네이티브 서버가 필요합니다.
- 렌즈의 메모리 요구사항은 모델 크기에 비례하며 모델의 풋프린트의 약 1/8입니다.
이 구현은 로컬 사용자에게 이전에 PyTorch 또는 Hugging Face 환경으로 제한되었던 고급 해석 가능성 및 제어 기능에 대한 접근을 제공합니다.