Новый инструмент JLens-GGUF добавляет интерактивную визуализацию Якоби-линзы и возможности живого управления моделями GGUF, работающими на llama.cpp. Вдохновленный исследованиями Anthropic, этот проект заполняет пробел для движков вывода на основе GGUF, позволяя пользователям наблюдать и манипулировать внутренним состоянием своих моделей.
- Он включает в себя нативный сервер GGUF, тесно основанный на llama.cpp, который поддерживает наблюдение за моделями и обмен j-space, аблитерацию и управление.
- Инструмент работает как с плотными, так и с форматами GGUF Mixture-of-Experts (MoE).
- Хотя он может наблюдать за работающими моделями llama-server, он не может управлять ими напрямую; для управления требуется нативный сервер.
- Требования к памяти для линзы масштабируются в зависимости от размера модели примерно как 1/8 от объема модели.
Эта реализация предоставляет локальным пользователям доступ к расширенным функциям интерпретируемости и контроля, ранее ограниченным средами PyTorch или Hugging Face.