JLens-GGUF ajoute la visualisation interactive Jacobian-Lens et le pilotage à llama.cpp

Un nouvel outil appelé JLens-GGUF apporte une visualisation interactive Jacobian-Lens et des capacités de pilotage en direct aux modèles GGUF exécutés sur llama.cpp. Inspiré par la recherche d'Anthropic, ce projet comble une lacune pour les moteurs d'inférence basés sur GGUF en permettant aux utilisateurs d'observer et de manipuler l'état interne de leurs modèles.

• Il dispose d'un serveur GGUF natif basé étroitement sur llama.cpp qui prend en charge l'observation des modèles, le swapping j-space, l'abliteration et le pilotage.
• L'outil fonctionne avec les formats GGUF denses et Mixture-of-Experts (MoE).
• Bien qu'il puisse observer les modèles llama-server en cours d'exécution, il ne peut pas les piloter directement ; le pilotage nécessite le serveur natif.
• Les exigences mémoire du lens évoluent proportionnellement à la taille du modèle, à environ 1/8e de l'emprise du modèle.

Cette implémentation fournit aux utilisateurs locaux un accès à des fonctionnalités avancées d'interprétabilité et de contrôle auparavant limitées aux environnements PyTorch ou Hugging Face.