El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.
Microsoft Research desafía la suposición de que la inferencia de IA física debe ejecutarse exclusivamente en las GPUs a bordo del robot, demostrando que descargarla a infraestructura perimetral o en la nube mejora significativamente las cargas de trabajo de manipulación móvil. Su estudio sistemático de cargas de trabajo de robótica revela que depender del cálculo a bordo limita el rendimiento, la vida útil de la batería y la escalabilidad.
El proyecto llama.cpp ha lanzado la versión b11147, que introduce un nuevo kernel binario para OpenCL. Esta actualización añade específicamente soporte para la configuración A8 Q6_K non-MoE dp4a.
El proyecto llama.cpp lanzó la versión b11140, que incluye una optimización de CUDA que habilita sparse-fa para el prefill dsv4. Esta actualización aborda problemas de rendimiento en el proceso de escaneo de máscaras de flash attention mediante la plantilla de kernels para permitir el desenrollado de bucles en tiempo de compilación.
El proyecto llama.cpp lanzó la compilación b11138, que actualiza el analizador de plantillas Jinja para manejar operadores unarios de más y menos antes de las variables.
El proyecto llama.cpp lanzó la compilación b11136, que actualiza llama-server para aceptar el tipo de contenido "video_url" estándar de OpenAI para entradas de video. Anteriormente, el servidor solo aceptaba un tipo no estándar "input_video" y rechazaba URIs de datos, causando problemas de compatibilidad con clientes conformes a OpenAI.
El proyecto llama.cpp lanzó la versión b11132, introduciendo soporte para el backbone de borrador Gemma 4 DSpark. Esta actualización habilita la conversión GGUF y capacidades en tiempo de ejecución para borradores Gemma 4 con atención completa y SWA, incluyendo pesos de salida vinculados y metadatos del backbone booleanos.
El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.
El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.
Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.
Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.
El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).
Parallel ha integrado GPT-6 Astra de OpenAI en su infraestructura de agentes de IA, logrando una reducción del 50% tanto en el tiempo de investigación como en los costos de código en comparación con modelos anteriores. La empresa informa que el nuevo modelo permite a los agentes completar trabajos de conocimiento complejos significativamente más rápido mientras mantiene un alto nivel de calidad.
El proyecto llama.cpp lanzó la compilación b11111, que introduce kernels de optimización flash attention basados en Vulkan para rutas split k en las arquitecturas Xe-LPG Plus, Xe2 y Xe3.
El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.
El proyecto llama.cpp lanzó la versión b11104, introduciendo una nueva función que permite al componente llama-server vincularse a múltiples direcciones de red simultáneamente.
El proyecto llama.cpp lanzó la compilación b11102, que introduce soporte para convertir modelos MiMo-V2.6.
El proyecto llama.cpp ha lanzado la versión b11101, que incluye una corrección del sistema de compilación que permite llamadas repetidas a find_package para la biblioteca llama.
La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.
El proyecto llama.cpp lanzó la compilación b11100, que aborda un problema específico de análisis con el modelo Muse Glimmer. El cambio principal implica corregir el primer error del analizador encontrado durante la ejecución de la llamada a la herramienta para este modelo.