Una nueva herramienta llamada JLens-GGUF aporta capacidades de visualización interactiva de lente de Jacobiano y dirección en vivo a modelos GGUF que se ejecutan en llama.cpp. Inspirado por la investigación de Anthropic, este proyecto llena un vacío para motores de inferencia basados en GGUF al permitir a los usuarios observar y manipular el estado interno de sus modelos.
- Cuenta con un servidor GGUF nativo basado estrechamente en llama.cpp que soporta observación de modelos e intercambio de j-space, abliteration y dirección.
- La herramienta funciona tanto con formatos GGUF densos como de Mezcla de Expertos (MoE).
- Aunque puede observar modelos llama-server en ejecución, no puede dirigirlos directamente; la dirección requiere el servidor nativo.
- Los requisitos de memoria para la lente escalan con el tamaño del modelo aproximadamente a 1/8 del espacio de ocupación del modelo.
Esta implementación proporciona a los usuarios locales acceso a funciones avanzadas de interpretabilidad y control anteriormente limitadas a entornos PyTorch o Hugging Face.