github llama.cpp · hace 1 h · inference

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.

ggml: ajustar la lógica para descargar ops al backend de los pesos
llama: correcciones del grafo dsv4

Esta versión proporciona binarios actualizados para macOS, Linux, Windows, Android e iOS en varios backends de hardware, incluyendo CPU, CUDA, Vulkan, ROCm y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

github llama.cpp · hace 5 h · 1 vista

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.

github llama.cpp · hace 4 d

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.

github llama.cpp · hace 5 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 6 d

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.