github llama.cpp · hace 1 h · inference

llama.cpp b10416 corrige la caché UI obsoleta en llama.app

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10416, abordando un problema de caché en el sitio web llama.app donde el archivo index.html estaba fijado a compilaciones antiguas debido a encabezados inmutables.

El servidor ahora sirve index.html sin caché, permitiendo su revalidación mediante ETag y previniendo versiones UI obsoletas.
Las compilaciones de macOS Apple Silicon (arm64) están disponibles para descargar.
Los binarios de macOS Intel (x64) están incluidos en el lanzamiento.
Se proporciona iOS XCFramework para integración móvil.
Se han lanzado las compilaciones de CPU Ubuntu x64, arm64 y s390x.
Las variantes Ubuntu Vulkan y OpenVINO están disponibles para Linux.
Las compilaciones de Windows x64 y arm64 admiten CPU, CUDA 12/13, OpenCL, Vulkan, ROCm 7.14 y SYCL.
Se incluyen binarios de Android arm64 (CPU).
Se enumeran las compilaciones de openEuler x86 y aarch64 con soporte ACL Graph.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

el backend OpenVINO de llama.cpp añade soporte para Qwen3.5 y optimizaciones de memoria

El proyecto llama.cpp ha fusionado actualizaciones significativas en su backend OpenVINO, principalmente habilitando el soporte para la familia de modelos Qwen3.5 e introduciendo varias técnicas de optimización de memoria.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10413 añade la detección automática del tipo de especificación de borrador a partir de los metadatos GGUF

El proyecto llama.cpp lanzó la versión b10413, que introduce la detección automática del tipo de especificación de descodificación especulativa directamente desde los metadatos del modelo GGUF de borrador.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10414 añade soporte para TQ2_0 y optimiza el kernel mul_mv

El proyecto llama.cpp lanzó la compilación b10414, introduciendo soporte para el tipo de cuantización ternaria GGML_TYPE_TQ2_0 en el backend de Metal. Esta actualización también incluye optimizaciones al kernel mul_mv de tensores contiguos (cont).

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10412 habilita el muestreo del backend para dflash y dspark

El proyecto llama.cpp ha lanzado la versión b10412, que introduce soporte de muestreo del backend tanto para los backends dflash como dspark. Esta actualización también permite valores p_min mayores que 0 dentro de la lógica de muestreo del backend y añade las salvaguardas correspondientes.

lab OpenAI News · hace 5 h · 1 vista

OpenAI presenta el modo Ultrafast ejecutando GPT-5.6 Sol hasta 14 veces más rápido

OpenAI está lanzando una versión preliminar de Ultrafast, un nuevo nivel de servicio que ejecuta el modelo GPT-5.6 Sol hasta 14 veces más rápido que el procesamiento estándar. Impulsado por hardware de Cerebras, este modo genera hasta 750 tokens de salida por segundo y está disponible inicialmente a través de la API de OpenAI.