github llama.cpp · hace 1 h · inference

llama.cpp b10203 añade soporte SYCL para multiplicación de matrices q2_0

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10203, que introduce soporte para el formato de cuantización q2_0 en operaciones de multiplicación de matrices basadas en SYCL. Esta actualización expande la compatibilidad de la biblioteca para escenarios específicos de aceleración por hardware.

Añade soporte para q2_0 en mul_mat vía PR #26231.
Extiende la cobertura a casos adicionales de q2_0 dentro del backend SYCL.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.

El lanzamiento permite a los usuarios utilizar la cuantización q2_0 en dispositivos compatibles con SYCL, ampliando el rango de configuraciones de hardware soportadas para una inferencia de modelos eficiente.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10206 aplica los mismos tipos de caché K y V para modelos DeepSeek V4 y MLA

El proyecto llama.cpp ha lanzado la versión b10206, que introduce cambios específicos en cómo se manejan los cachés de clave-valor en los mecanismos de atención. La actualización asegura que los tipos de caché K y V permanezcan consistentes para los modelos DeepSeek V4.

github llama.cpp · hace 2 h

Lanzamiento de llama.cpp b10202 con fusión SYCL RMS_NORM

El proyecto llama.cpp ha lanzado la versión b10202, introduciendo una optimización SYCL que fusiona las operaciones RMS_NORM y MUL.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10201 mejora flash attention para KV cuantizado en contextos largos

El proyecto llama.cpp ha lanzado la versión b10201, que incluye una mejora clave al backend ggml-webgpu. Esta actualización mejora el rendimiento de flash attention al manejar cachés de clave-valor cuantizados durante la generación de contexto largo.

media Latent Space · hace 7 h

OpenAI reduce los precios de GPT-5.6 hasta un 80% mediante autooptimización

OpenAI ha anunciado importantes reducciones de precios para sus modelos GPT-5.6, impulsadas por mejoras sistémicas de eficiencia y técnicas de autooptimización recursiva. La compañía informa que el costo de la inteligencia de nivel GPT-5.4 ha disminuido aproximadamente 13 veces en cuatro meses, con los precios de GPT-5.6 Luna recortados un 80% y Terra un 20%.

blog Simon Willison · hace 14 h · 2 vistas

OpenAI reduce el precio de GPT-5.6 Luna en un 80% utilizando Sol para optimizar la inferencia

OpenAI ha reducido significativamente los precios de su familia de modelos GPT-5.6, introduciendo una caída masiva del 80% en el precio de GPT-5.6 Luna y una reducción del 20% para GPT-5.6 Terra. Estos cambios están habilitados por GPT-5.6 Sol, que optimiza la pasada hacia adelante del modelo y los núcleos de producción para mejorar la eficiencia.