github llama.cpp · hace 2 h · inference

llama.cpp b11157 añade conv3d con GEMM implícito para CUDA

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11157, introduciendo soporte para operaciones de convolución 3D utilizando GEMM implícito en CUDA. Esta actualización refina la implementación para manejar núcleos vacíos y está disponible en una amplia gama de plataformas incluyendo macOS, Linux, Windows, Android e iOS.

Añade conv3d con GEMM implícito para backends de CUDA.
Refina la lógica de GEMM implícito de conv3d para manejar correctamente núcleos vacíos.
Proporciona binarios para CPU, Vulkan, ROCm, OpenVINO, SYCL y Snapdragon en Linux y Windows.
Incluye compilaciones para macOS Apple Silicon (arm64), macOS Intel (x64) e iOS XCFramework.
Ofrece compilaciones de Android arm64 con soporte para CPU, GPU Adreno y NPU Hexagon.

Esta versión expande las capacidades de aceleración por hardware de la biblioteca al habilitar operaciones de convolución 3D en GPUs NVIDIA.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11156 añade soporte para Ling 3.0 VL a través de BailingMoeV3

El proyecto llama.cpp ha lanzado la compilación b11156, que introduce soporte para el modelo Ling 3.0 VL. Esta actualización integra Ling 3.0 VL en la arquitectura BailingMoeV3 y asegura que las listas compartidas de NORM rope permanezcan intactas al activar BailingMoe3 en secciones mrope.

github llama.cpp · hace 12 h · 3 vistas

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

lab Microsoft Research Blog · hace 15 h · 15 vistas

Microsoft Research muestra que la descarga de inferencia de IA física mejora el rendimiento y la vida útil de la batería de los robots

Microsoft Research desafía la suposición de que la inferencia de IA física debe ejecutarse exclusivamente en las GPUs a bordo del robot, demostrando que descargarla a infraestructura perimetral o en la nube mejora significativamente las cargas de trabajo de manipulación móvil. Su estudio sistemático de cargas de trabajo de robótica revela que depender del cálculo a bordo limita el rendimiento, la vida útil de la batería y la escalabilidad.

github llama.cpp · hace 15 h · 11 vistas

llama.cpp b11147 añade kernel OpenCL dp4a non-MoE Q6_K A8

El proyecto llama.cpp ha lanzado la versión b11147, que introduce un nuevo kernel binario para OpenCL. Esta actualización añade específicamente soporte para la configuración A8 Q6_K non-MoE dp4a.

github llama.cpp · hace 17 h · 9 vistas

llama.cpp b11140 habilita sparse-fa para prefill dsv4 en CUDA

El proyecto llama.cpp lanzó la versión b11140, que incluye una optimización de CUDA que habilita sparse-fa para el prefill dsv4. Esta actualización aborda problemas de rendimiento en el proceso de escaneo de máscaras de flash attention mediante la plantilla de kernels para permitir el desenrollado de bucles en tiempo de compilación.