github llama.cpp · hace 3 h · inference

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.

SYCL: ruta rápida contigua + matemáticas de índice de 32 bits para operaciones elementwise unarias
SYCL: usar fastdiv para matemáticas de índice elemento a elemento

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler en CPU, GPU y varios backends de aceleradores.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10155 añade soporte de audio MiMo-V2.5

El proyecto llama.cpp ha lanzado la compilación b10155, que introduce soporte para el modelo de entrada de audio MiMo-V2.5. Esta actualización incluye un convertidor GGUF para audio MiMo e implementa la lógica del backend en C++ necesaria para manejar modelos de audio basados en RVQ.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.

media Hugging Face Forums · hace 2 d · 2 vistas

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

github llama.cpp · hace 2 d · 6 vistas

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.

github llama.cpp · hace 6 d · 1 vista

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.