El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.
El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).
El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.
El proyecto llama.cpp lanzó la versión b11104, introduciendo una nueva función que permite al componente llama-server vincularse a múltiples direcciones de red simultáneamente.
El proyecto llama.cpp lanzó la compilación b11102, que introduce soporte para convertir modelos MiMo-V2.6.
La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.
Jun Kim, creador y mantenedor de oMLX, se ha unido a Hugging Face para apoyar a la comunidad MLX. Este movimiento tiene como objetivo proporcionar estabilidad y un desarrollo más rápido al proyecto de código abierto, pasando de ser un trabajo secundario a una iniciativa totalmente mantenida y financiada.
Un usuario está planeando construir un modelo de lenguaje grande sin censura y nativo en griego para implementación local utilizando el checkpoint ilsp/Llama-Krikri-8B-Instruct. El plan propuesto implica ablatar el modelo con Heretic (heretic-llm), convertirlo al formato GGUF Q4_K_M y ejecutar inferencia en un GMKtec EVO-X3 equipado con un procesador AMD Ryzen AI MAX+ 395 a través de Vulkan.
El proyecto llama.cpp lanzó la versión b11090, que incluye una corrección para un error de compilación de tiles sm_70. La actualización generaliza la forma del tile de la función load_ldmatrix de 5 argumentos para resolver las incompatibilidades con las arquitecturas Volta.
El proyecto llama.cpp ha liberado la compilación b11081, que incluye varias actualizaciones a la infraestructura de pruebas `test-llama-archs`. Los cambios clave consisten en hacer configurable la desviación estándar de los datos del tensor, ampliar los ejemplos de uso y añadir soporte para patrones regex de arquitectura.
El proyecto llama.cpp lanzó la compilación b11074, que incluye una corrección para el manejo de enums JSON. La actualización añade soporte para common_json_value en valores enum y simplifica el código delegando el constructor del enum al constructor del tipo subyacente.
El proyecto llama.cpp ha lanzado la compilación b11067, que introduce una operación de GDN + copia fusionada para el backend de WebGPU.
El proyecto llama.cpp lanzó la compilación b11060, que incluye una corrección para el modelo Mamba para garantizar que la entrada de proyección del paso de tiempo sea contigua. Este cambio aborda problemas de disposición de memoria dentro de la implementación de Mamba.
El proyecto llama.cpp lanzó la versión b11054, que añade soporte para el operador TOP_K en DSPs Qualcomm Hexagon. Esta actualización incluye optimizaciones para el procesamiento de filas individuales y correcciones para la partición de filas.
El proyecto llama.cpp ha lanzado la versión b11055, que introduce soporte para la función de activación GEGLU_QUICK en DSPs Hexagon.
El proyecto llama.cpp lanzó la versión b11053, que incluye una mejora específica en los mensajes de registro de inicio del servidor. Este cambio mejora la visibilidad sobre cómo se cargan los modelos reemplazando marcadores crípticos con etiquetas de origen explícitas.
El proyecto llama.cpp ha lanzado la compilación b11048, que introduce soporte para las nuevas variantes de operación HC DSV4 utilizadas por qwen4exp. Esta actualización incluye implementaciones específicas para hc_pre con puerta sigmoidea por elemento y hc_post con mezcla de identidad.
La versión de Celestium CARE para NVIDIA ha sido completada y disponible como una herramienta profesional para tarjetas gráficas GTX y RTX. Utiliza NVML para ofrecer funciones como limpieza de VRAM, horarios de auto-limpieza y monitoreo completo de telemetría.
El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.
El proyecto llama.cpp ha lanzado la versión b11042, que introduce un nuevo kernel binario OpenCL para modelos A8 Q6_K no-MoE. Esta actualización también incluye correcciones de compatibilidad de disposición dentro del backend de OpenCL.