github llama.cpp · hace 2 h · inference

llama.cpp b10107 corrige un fallo en Windows y proporciona binarios para múltiples plataformas

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10107, que incluye una corrección para un fallo en Windows que ocurría cuando se habilitaba la función op_poll.

Resuelve un fallo en Windows cuando op_poll está activo (PR #26029).
Proporciona binarios precompilados para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x con CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
Desactiva el soporte de KleidiAI para Apple Silicon en macOS en esta versión.

Esta actualización garantiza la estabilidad en sistemas Windows que utilizan op_poll, mientras continúa ofreciendo un soporte integral de hardware en los principales sistemas operativos y aceleradores.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10105 refactoriza mlock/mmap/directio en un único argumento de modo de carga

El proyecto llama.cpp lanzó la versión b10105, que introduce una refactorización significativa de la interfaz de línea de comandos al consolidar las banderas de gestión de memoria separadas en un único argumento `load-mode`.

github llama.cpp · hace 17 h

llama.cpp b10099 mejora la cuantización NVFP4 W4A4 en CUDA

El proyecto llama.cpp lanzó la versión b10099, que incluye una actualización significativa del backend de CUDA para mejorar la cuantización de activaciones NVFP4 W4A4.

github llama.cpp · hace 19 h

llama.cpp b10098 actualiza las operaciones de activación Hexagon

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

media Together AI Blog · hace 21 h

Together lanza Inferencia de Modelo Dedicado con beta de entrenamiento personalizado

Together ha lanzado una actualización significativa para su plataforma de inferencia, presentando "Inferencia de Modelo Dedicada" diseñada para dar a los usuarios control total sobre el rendimiento, el costo y la calidad de los modelos de peso abierto. La actualización también anuncia una beta cerrada para capacidades de entrenamiento personalizado, incluyendo refuerzo con pesos completos y LoRA.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b10094 infiere el tipo especulativo desde los sidecars del repositorio de borrador

El proyecto llama.cpp lanzó la versión b10094, introduciendo una función que detecta automáticamente el tipo de decodificación especulativa a partir de los sidecars del repositorio de borrador. Anteriormente, al usar la bandera `-hfd` para apuntar a un repositorio que contiene sidecars mtp-, dflash- o eagle3- sin proporcionar explícitamente `--spec-type`, el sistema resolvía incorrectamente el borrador como un modelo completo.