La version b9716 de llama.cpp introduit le support du batching pour InternVL, améliorant les performances du modèle grâce à un traitement par lots efficace. La release inclut des builds binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle, y compris Vulkan, OpenVINO, SYCL et ROCm.
llama.cpp Release b9716 Ajoute le Support du Batching pour InternVL
Traduit de English → Français