llama.cpp теперь поддерживает модели granite-speech-4.1-2b-plus и LFM2.5-ColBERT/Embedding-350M. В улучшениях бэкенда Vulkan включены поддержка 3D-конволюций, операций с выравниванием, GET_ROWS_BACK и улучшенная числовая стабильность в слоях прямого распространения. Дополнительные улучшения охватывают улучшения интерфейса и покрытие тестов в бэкенде.
обновления llama.cpp: модели Granite-Speech, LFM2.5-ColBERT, улучшения в бэкенде Vulkan
Переведено с English → Русский