El proyecto llama.cpp lanzó la versión b9915, que introduce soporte para operaciones GGML_OP_SET_ROWS de f16 a f16 en CPU. Esta actualización también incluye las comprobaciones de tipo faltantes para esta operación y fusiona las funciones de avance computacional de f32 y f16 en una única implementación.

  • ggml añade soporte para GGML_OP_SET_ROWS con f16->f16 en CPU, con comprobaciones de tipo añadidas
  • ggml_compute_forward_set_rows_f32() y ggml_compute_forward_set_rows_f16() se fusionan en ggml_compute_forward_set_rows_impl()
  • Las aserciones se reemplazan con GGML_ASSERT()
  • Se proporcionan binarios XCFramework para macOS Apple Silicon (arm64), macOS Intel (x64) e iOS
  • Las compilaciones de Linux incluyen Ubuntu x64, arm64, s390x CPU, Vulkan, ROCm 7.2, OpenVINO y variantes SYCL FP32/FP16
  • Están disponibles binarios para Android arm64 (CPU)
  • Las compilaciones de Windows cubren CPU x64 y arm64, OpenCL Adreno, CUDA 12.4 y 13.3, Vulkan, OpenVINO, SYCL e HIP
  • openEuler soporta x86 y aarch64 con ACL Graph para chips 910b

Esta versión proporciona binarios actualizados en múltiples plataformas y aceleradores de hardware para usuarios que requieren la nueva funcionalidad de filas establecidas.