La version b9716 de llama.cpp introduit la prise en charge du traitement par lots pour InternVL, améliorant les performances du modèle grâce à un traitement efficace par lots. La release inclut des builds binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle, y compris Vulkan, OpenVINO, SYCL et ROCm.
llama.cpp Release b9716 Adds Batching Support for InternVL
Traduit de English → Français