Uma nova ferramenta chamada JLens-GGUF traz capacidades de visualização interativa de lente de Jacobiano e direção em tempo real para modelos GGUF executados no llama.cpp. Inspirado pela pesquisa da Anthropic, este projeto preenche uma lacuna para mecanismos de inferência baseados em GGUF, permitindo que os usuários observem e manipulem o estado interno de seus modelos.
- Ele apresenta um servidor GGUF nativo baseado estreitamente no llama.cpp que suporta observação de modelos e troca de j-space, abliteration e direção.
- A ferramenta funciona com formatos GGUF densos e Mixture-of-Experts (MoE).
- Embora possa observar modelos llama-server em execução, não pode direcioná-los diretamente; a direção requer o servidor nativo.
- Os requisitos de memória para a lente escalam com o tamanho do modelo em aproximadamente 1/8 da pegada do modelo.
Esta implementação fornece aos usuários locais acesso a recursos avançados de interpretabilidade e controle anteriormente limitados aos ambientes PyTorch ou Hugging Face.