El proyecto llama.cpp lanzó la versión b10067, que incluye una corrección para la herramienta `llama-quantize` para manejar correctamente los modelos DeepSeek-V4. La actualización evita que el cuantizador intente convertir el tensor `ffn_gate_tid2eid`, una tabla de índices de token a experto i32, en un tipo float.
- Excluye la tabla de enrutamiento `ffn_gate_tid2eid` de la cuantización para evitar fallos de conversión.
- Añade el tensor a la lista de exclusiones basada en nombres junto con `ffn_gate_inp.weight`.
- Resuelve el problema #25754 donde la cuantización fallaba previamente en modelos DeepSeek-V4.
Este cambio permite a los usuarios cuantizar con éxito los modelos DeepSeek-V4 sin encontrar errores relacionados con la conversión de tipos integer a float.