github llama.cpp · hace 2 h · inference

llama.cpp b11156 añade soporte para Ling 3.0 VL a través de BailingMoeV3

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b11156, que introduce soporte para el modelo Ling 3.0 VL. Esta actualización integra Ling 3.0 VL en la arquitectura BailingMoeV3 y asegura que las listas compartidas de NORM rope permanezcan intactas al activar BailingMoe3 en secciones mrope.

Añade soporte para el modelo Ling 3.0 VL integrándolo con la arquitectura BailingMoeV3.
Mantiene la integridad de la lista compartida de NORM rope durante el enrutamiento de secciones mrope para BailingMoe3.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows y openEuler.

Esta versión permite a los usuarios ejecutar modelos Ling 3.0 VL en una amplia variedad de plataformas de hardware y sistemas operativos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

github llama.cpp · hace 20 h · 12 vistas

llama.cpp b11136 añade soporte de video_url de OpenAI a llama-server

El proyecto llama.cpp lanzó la compilación b11136, que actualiza llama-server para aceptar el tipo de contenido "video_url" estándar de OpenAI para entradas de video. Anteriormente, el servidor solo aceptaba un tipo no estándar "input_video" y rechazaba URIs de datos, causando problemas de compatibilidad con clientes conformes a OpenAI.

github llama.cpp · hace 1 d · 12 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 d · 15 vistas

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

github llama.cpp · hace 1 d · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).