github llama.cpp · hace 1 h · inference

llama.cpp b10198 añade soporte de Vulkan para concatenación cuantizada

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10198, que introduce soporte para operaciones de concatenación cuantizada dentro del backend de Vulkan.

La actualización técnica principal es la adición de soporte de Vulkan para concat cuantizado, implementada en el pull request #25684.
Las compilaciones de macOS Apple Silicon con KleidiAI están explícitamente deshabilitadas en esta versión.
Se proporcionan binarios para múltiples plataformas, incluyendo macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, HIP), Android y openEuler.
También se incluye un binario de UI independiente en el paquete de lanzamiento.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.

github llama.cpp · hace 3 d · 3 vistas

llama.cpp b10155 añade soporte de audio MiMo-V2.5

El proyecto llama.cpp ha lanzado la compilación b10155, que introduce soporte para el modelo de entrada de audio MiMo-V2.5. Esta actualización incluye un convertidor GGUF para audio MiMo e implementa la lógica del backend en C++ necesaria para manejar modelos de audio basados en RVQ.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.

media Hugging Face Forums · hace 3 d · 2 vistas

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

github llama.cpp · hace 3 d · 6 vistas

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.