github llama.cpp · hace 1 h · inference

llama.cpp b10229 corrige el problema de que los datos de perfilado de OpenCL no se vacíen

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10229, que incluye una corrección crítica para el backend de OpenCL. La actualización aborda un problema donde los datos de perfilado no se escribían durante la terminación del programa.

La corrección incrementa el `ref_count` en `ggml_backend_opencl_init()` para evitar que se convierta en -1 en el método `free()`.
Esto asegura que los datos de perfilado se vacíen y guarden correctamente cuando `GGML_OPENCL_PROFILING` está habilitado.
Los binarios están disponibles para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y HIP.

Este cambio asegura que los usuarios que dependen del perfilado de OpenCL puedan capturar y analizar con éxito las métricas de rendimiento sin pérdida de datos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Hardik Kumar publica la matriz de precios de inferencia de HF con una diferencia de hasta 4,66x

Un nuevo conjunto de datos publicado en Hugging Face proporciona una matriz de precios integral para proveedores de inferencia de modelos, revelando disparidades significativas de costos para los mismos modelos entre diferentes vendedores.

github llama.cpp · hace 22 h · 7 vistas

llama.cpp b10219 persiste reasoning_content en el historial de chat

El proyecto llama.cpp lanzó la versión b10219, que incluye una corrección para la CLI que permite persistir el contenido del razonamiento dentro del historial de chat. Anteriormente, aunque `llama-cli` recopilaba el razonamiento del stream para su visualización, solo almacenaba el contenido del asistente en los mensajes, lo que impedía que la bandera `--reasoning-preserve` reinyectara los pensamientos previos en turnos posteriores.

media r/LocalLLaMA · hace 1 d · 3 vistas

Meituan lanza LongCat-Flash-Lite-Sparse con ventana de contexto de 1M

Meituan ha publicado los pesos para LongCat-Flash-Lite-Sparse, una nueva variante de su modelo LongCat-Flash-Lite. La actualización introduce LongCat Sparse Attention (LSA) para reemplazar el MLA denso y extiende el soporte nativo de longitud de contexto a 1 millón de tokens.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10218 añade soporte de downsample para minicpmv46

El proyecto llama.cpp lanzó la compilación b10218, que incluye la adición del soporte de downsample para minicpmv46 a través del pull request #25993. Esta actualización introduce un merger VIT 4x ignore y coloca el modo downsample dentro del formato GGUF.

github llama.cpp · hace 2 d · 8 vistas

llama.cpp b10216 añade soporte de agrupamiento 1D al backend de Vulkan

El proyecto llama.cpp lanzó la versión b10216, que introduce soporte completo para GGML_OP_POOL_1D en el backend de Vulkan. Esta actualización incluye un nuevo shader de cálculo que refleja la implementación existente de pool2d y corrige un fallo que ocurría cuando las dimensiones del tensor resultaban en límites finales negativos.