github llama.cpp · ahora mismo · inference

llama.cpp b10900 habilita la fusión topk_moe para prefill a través de Vulkan

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10900, que incluye una actualización técnica al backend de Vulkan. Este lanzamiento añade una dependencia de asignación específicamente para habilitar la optimización de fusión topk_moe durante la fase de prefill.

El cambio de código principal es la adición de una dependencia de asignación en la implementación de Vulkan para soportar la fusión topk_moe para operaciones de prefill.
Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android e iOS.

El soporte de KleidiAI para macOS Apple Silicon está desactivado en esta compilación.

Esta actualización proporciona a los usuarios un rendimiento de prefill optimizado en hardware compatible con Vulkan a través de la nueva técnica de fusión habilitada.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

CyberTiel 35B-A3B sin censura en cuantización de 4 bits supera a Opus 4.6 medium en problemas de bases de código

Un investigador anónimo ha lanzado CyberTiel 35B-A3B, un modelo cuantizado de 4 bits sin censura diseñado para investigación en seguridad ofensiva e ingeniería de software agéntica. El modelo se construye mediante abliteration sobre la base TielCoder y cuantización con una imatrix mejorada derivada de un corpus curado de ciberseguridad.

github llama.cpp · hace 1 h En vivo

llama.cpp b10899 añade optimizaciones de Vulkan para Qwen y soporte split_k

El proyecto llama.cpp lanzó la versión b10899, introduciendo mejoras específicas de rendimiento en su backend de Vulkan. La actualización se centra en optimizar las operaciones matriciales para la familia de modelos Qwen y mejorar el rendimiento general con M pequeño.

media Together AI Blog · hace 1 h En vivo

Together AI optimiza los GEMMs de ThunderKittens para NVIDIA Vera Rubin NVL72

El equipo de núcleos de Together AI ha optimizado la biblioteca ThunderKittens para aprovechar las nuevas características de la plataforma NVIDIA Vera Rubin NVL72, enfocándose específicamente en mejorar el rendimiento para multiplicaciones de matrices NVFP4 y FP8.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10896 corrige el fallo de decodificación de DFlash con modelos de visión

El proyecto llama.cpp lanzó la compilación b10896, que aborda un problema crítico donde la memoria del redactor fallaba al asignar nuevos tokens al usar DFlash con modelos de visión. Este fallo ocurrió porque las imágenes reportaban un desplazamiento fijo, impidiendo la asignación adecuada de tokens.

media Hugging Face Forums · hace 7 h · 1 vista

Desarrollador busca consejos para diseñar una arquitectura de IA de voz rentable con latencia del primer token de ~500 ms

Un desarrollador de IA está solicitando asesoramiento arquitectónico para construir un sistema de IA de voz en tiempo real que logre una latencia del primer token de aproximadamente 500 ms o menos, manteniéndose a la vez rentable y escalable.