Le projet llama.cpp a publié la version b10067, qui inclut une correction pour l'outil `llama-quantize` afin de gérer correctement les modèles DeepSeek-V4. La mise à jour empêche le quantiseur d'essayer de convertir le tenseur `ffn_gate_tid2eid`, une table d'index token-to-expert i32, en un type float.

  • Exclut la table de routage `ffn_gate_tid2eid` de la quantisation pour éviter les échecs de conversion.
  • Ajoute le tenseur à la liste d'exclusion basée sur le nom aux côtés de `ffn_gate_inp.weight`.
  • Résout le problème #25754 où la quantisation échouait précédemment sur les modèles DeepSeek-V4.

Ce changement permet aux utilisateurs de quantifier avec succès les modèles DeepSeek-V4 sans rencontrer d'erreurs liées à la conversion de type integer vers float.