github llama.cpp · hace 1 h · inference

llama.cpp b10155 añade soporte de audio MiMo-V2.5

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10155, que introduce soporte para el modelo de entrada de audio MiMo-V2.5. Esta actualización incluye un convertidor GGUF para audio MiMo e implementa la lógica del backend en C++ necesaria para manejar modelos de audio basados en RVQ.

Añadido soporte para entrada de audio MiMo-V2.5 utilizando una arquitectura de modelo basada en RVQ.
Incluido un convertidor GGUF específicamente para formatos de audio MiMo.
Implementado el código de inferencia correspondiente en C++ para el nuevo tipo de modelo.
Proporcionados binarios para macOS (Apple Silicon e Intel), Linux, Windows, Android y openEuler a través de backends de CPU, GPU y hardware especializado.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.

media Hugging Face Forums · hace 11 h

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

github llama.cpp · hace 13 h · 2 vistas

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.

github llama.cpp · hace 4 d

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.

github llama.cpp · hace 5 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.