github llama.cpp · hace 1 d · inference

llama.cpp b11260 añade soporte para FP32 GELU_ERF y GEGLU_ERF

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11260, introduciendo soporte para las funciones de activación FP32 GELU_ERF y GEGLU_ERF en el backend Hexagon. Esta actualización también incluye optimizaciones para reducir la presión de registros dentro de los núcleos asociados.

Añadido soporte FP32 GELU_ERF y GEGLU_ERF para Hexagon.
Reducida la presión de registros en los núcleos hexagon.
Binarios disponibles para macOS Apple Silicon, Intel e iOS.
Las compilaciones de Linux cubren CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL y plataformas Snapdragon.
Las compilaciones de Android arm64 incluyen soporte para el NPU Snapdragon Hexagon.
Los lanzamientos para Windows ofrecen opciones de CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 10.0.

Esta versión expande la compatibilidad con hardware para funciones de activación específicas y mejora la eficiencia en los aceleradores compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11284 corrige GET_ROWS de OpenVINO en vistas de pesos cuantizados

El proyecto llama.cpp lanzó la compilación b11284, que incluye una corrección para el backend de OpenVINO con el fin de manejar correctamente las operaciones GET_ROWS en vistas de pesos cuantizados.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 12 h · 2 vistas

llama.cpp b11272 optimiza la operación de concatenación Hexagon

El proyecto llama.cpp lanzó la compilación b11272, que incluye optimizaciones para el backend Hexagon. El cambio principal se centra en optimizar la operación de concatenación para mejorar el rendimiento en hardware Qualcomm Snapdragon.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11258 elimina el service worker de la interfaz integrada cuando no se sirve la UI

El proyecto llama.cpp lanzó la compilación b11258, que incluye una corrección para el comportamiento del service worker de la interfaz web integrada. Anteriormente, usar banderas como `--path` o `--no-ui` hacía que los navegadores retuvieran versiones en caché de la interfaz porque el servidor devolvía un 404 para `/sw.js`, lo cual no activa la eliminación del service worker.

media Hugging Face Forums · hace 2 d · 4 vistas

Krea 2 LoRA Studio permite entrenar en un Colab T4 gratuito

Jordan Epstein ha lanzado Krea 2 LoRA Studio, un proyecto diseñado para hacer que el flujo de trabajo completo de Krea 2 LoRA sea utilizable en una GPU gratuita de Google Colab T4. La herramienta aborda las limitaciones de memoria implementando un flujo de trabajo por etapas que gestiona la preparación del caché, el entrenamiento y la generación de vistas previas por separado.