github llama.cpp · hace 1 h · inference

llama.cpp b11382 añade soporte f16 a WebGPU fill/set_rows

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b11382, que incluye una actualización clave para su backend de WebGPU. Esta versión añade soporte de punto flotante de 16 bits (f16) específicamente para las operaciones `fill` y `set_rows` dentro de la implementación de WebGPU.

El cambio en el código fuente está rastreado en el pull request #29897 del repositorio ggml-org/llama.cpp.
Se proporcionan binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android y openEuler.
El lanzamiento también incluye el binario estándar de la interfaz de usuario de llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

llama.cpp b11370 fusiona expertos compartidos en MMVQ

El proyecto llama.cpp ha lanzado la compilación b11370, que incluye una optimización de CUDA para fusionar expertos compartidos en la arquitectura Mixture of MoE con Cuantización Vectorial (MMVQ). Este cambio es parte del pull request #29184 y también aborda las comprobaciones nulas de búferes y el manejo de argumentos para stride_col_dst.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b11335 enruta sm70 a la tabla Turing MMVQ para el rendimiento de Volta

El proyecto llama.cpp lanzó la versión b11335, que incluye una optimización CUDA para GPUs Volta. La actualización dirige la arquitectura sm_70 a la tabla nwarps existente de Turing MMVQ en lugar de caer en la configuración genérica.

media Hugging Face Forums · hace 3 d · 6 vistas

ThermaCompute AI lanza CrashLens para la triaje local de registros de fallos de GPU

ThermaCompute AI ha lanzado CrashLens, una herramienta gratuita y local diseñada para ayudar a los ingenieros a investigar fallos de GPU analizando archivos de registro. La herramienta identifica patrones de fallo conocidos dentro de los registros y sugiere pasos específicos a seguir para la investigación.

github llama.cpp · hace 4 d · 8 vistas

La versión b11280 de llama.cpp reduce la sincronización allreduce de tensores con buffers host fijados

El proyecto llama.cpp ha lanzado la versión b11280, que incluye un cambio para reducir la sincronización allreduce de tensores utilizando buffers host fijados.

media Hugging Face Forums · hace 4 d · 5 vistas

AI Hardware Fit conecta los requisitos de VRAM del modelo con la selección de GPU

El creador de AI Hardware Fit ha lanzado una herramienta gratuita y de código abierto para navegador, diseñada para ayudar a los usuarios a determinar si un modelo local cabe en su GPU y comparar opciones de hardware adecuadas. La herramienta aborda la complejidad de armar archivos de modelos, cuantización, longitud de contexto y soporte de tiempo de ejecución desde fuentes dispares.