El proyecto llama.cpp ha lanzado la versión b9860, introduciendo una nueva función pública de C API llamada `llama_ftype_name` para exponer el nombre del tipo de archivo del modelo (cuantización).

  • La función `llama_ftype_name` devuelve cadenas como "Q8_0" o "Q4_K - Medium", con el puntero válido durante la vida útil del modelo y nullptr si es inválido.
  • La implementación fue optimizada prependiendo la etiqueta "(guessed)" en lugar de anexarla, eliminando una cadena estática no segura para hilos para hacer la función libre de asignaciones.
  • Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Esta actualización permite a los desarrolladores identificar programáticamente el formato de cuantización de los modelos cargados sin depender de metadatos externos o adivinar.