El backend Metal en llama.cpp se ha ampliado para admitir los tipos de tensor f16 y bf16 para el operador de concatenación, además del soporte existente para f32 e i32. Esta actualización incluye plantillas de kernel especializadas, obtenedores de canalización actualizados y un despacho de kernel basado en tipos mejorado, con la asistencia de pi:llama.cpp/Qwen3.6-27B.
llama.cpp lanza la versión b9688, añadiendo APIs de gestión de modelos y actualizaciones en tiempo real mediante SSE. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con diversas arquitecturas y marcos de aceleración como Vulkan, CUDA, OpenVINO y SYCL.
La versión b9685 de LLaMA.cpp introduce la funcionalidad memcpy dev2dev basada en SYCL, moviendo GGML_SYCL_DEV2DEV_MEMCPY a una tabla en tiempo de ejecución y mejorando la detección de comunicación entre pares. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y APIs incluyendo Vulkan, ROCm, OpenVINO y SYCL (FP32/FP16).
La versión b9684 de LLaMA.cpp introduce una nueva operación de convolución 3D (conv_3d) e incluye implementaciones optimizadas. La versión proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler en varias arquitecturas y opciones de aceleración de hardware, incluyendo SYCL, Vulkan, CUDA y OpenVINO.
La versión b9682 de llama.cpp introduce soporte para Vulkan en Linux y Windows, habilitando la aceleración por GPU. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas, con opciones de CPU y GPU que incluyen CUDA, OpenVINO, SYCL y ROCm.
la versión b9675 de llama.cpp habilita el soporte para FP16 en operaciones como SQR, SQRT, LOG, SIN, COS y CLAMP. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas, con soporte para Vulkan, ROCm, OpenVINO, SYCL (FP16 y FP32), y CUDA 12.4 y 13.3.
llama.cpp lanza la versión b9680 con soporte actualizado para Vulkan y nuevos binarios para macOS, Linux, Android, Windows y openEuler. La liberación incluye variantes de CPU y GPU para múltiples arquitecturas, con soporte para Vulkan, CUDA, OpenVINO, SYCL y ROCm.
La versión b9670 de llama.cpp incluye correcciones para casos límite de NVFP4 en llama-graph, como el movimiento de operaciones MUL post-GEMM y la restricción de build_ffn a combinaciones admitidas. La versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de backend, incluyendo CUDA, Vulkan, SYCL y OpenVINO.
la versión b9669 de llama.cpp añade soporte de muestreo de backend para Eagle3. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, CUDA, ROCm, OpenVINO y SYCL.
La versión b9667 de llama.cpp introduce soporte para Vulkan con S_v=16 a través de gated_delta_net. Incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas, con opciones para Vulkan, CUDA 12.4 y 13.3, ROCm, OpenVINO y SYCL.
La versión b9665 de llama.cpp introduce una nueva bandera --offline para pruebas de rendimiento. La publicación incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, CUDA, ROCm, OpenVINO y SYCL.
La versión b9663 de LLaMA.cpp añade soporte para OP EXPM1 y todos los casos de prueba unitarias para FLOOR, TRUNC y ROUND. Incluye binarios actualizados para macOS, Linux, Android, Windows y openEuler, con soporte para SYCL (FP32 y FP16), Vulkan, CUDA 12.4 y 13.3, y ROCm 7.2, junto con una interfaz de usuario actualizada.
La actualización de sycl amplía el soporte para el manejo de tensores de expertos reordenados en MoE MUL_MAT_ID a Q4_K, Q5_K y Q6_K. Los casos de reordenamiento 3D no soportados ahora hacen fallback en lugar de abortar.
La versión b9661 de llama.cpp añade soporte para GGML_OP_COL2IM_1D en Vulkan, utilizando un bucle de recopilación acotado en lugar de un escaneo completo-K con módulo. Devuelve nullptr para tipos no compatibles e incluye compilaciones para macOS, Linux, Android, Windows y openEuler a través de CPU, Vulkan, CUDA y SYCL.
Claude Code v2.1.181 introduce soporte para configurar ajustes mediante sintaxis de prompt como /config thinking=false, añade soporte para eventos Apple en sandbox en macOS y mejora el streaming, el reintento automático y el comportamiento del subagente. También corrige numerosos errores relacionados con el inicio, el manejo de archivos, el portapapeles y la respuesta de la interfaz de usuario en todas las plataformas.
OpenAI y Broadcom han presentado Jalapeño, un chip de IA personalizado diseñado para la inferencia de modelos de lenguaje grandes. El chip busca mejorar el rendimiento, la eficiencia y la escalabilidad en los sistemas de IA.