El proyecto llama.cpp ha lanzado la versión b9833, introduciendo un analizador dedicado para el modelo MiniCPM5 junto con varias correcciones de errores y refactorización. Esta actualización incluye soporte para análisis de llamadas a herramientas, simplificación de gramática y corrección del comportamiento de la API Jinja para garantizar la compatibilidad con los estándares de Jinja2.

  • Se implementó un analizador PEG dedicado para MiniCPM5 con soporte para llamadas a herramientas en XML y se corrigieron los marcadores de posición de argumentos de herramientas en streaming.
  • Se refactorizó el módulo de chat para usar un autoparser para MiniCPM5, revirtiendo los mappers compartidos y los mecanismos de respaldo del historial.
  • Se corrigió la API min/max de jinja para que coincida con las especificaciones de Jinja2 y se actualizó el nombre de la plantilla a openbmb-MiniCPM5-1B.jinja.
  • Se proporcionaron binarios para macOS (Apple Silicon, Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP) y openEuler.

Este lanzamiento permite a los usuarios ejecutar modelos MiniCPM5 con capacidades mejoradas de llamada a herramientas en una amplia gama de arquitecturas de hardware y sistemas operativos.