github vLLM · ahora mismo · inference

vLLM v0.28.0rc2 añade DFlash2 Spec Decode con convolución local y selector de candidatos

Traducido del English → Español

El proyecto vLLM lanzó la versión 0.28.0rc2, que incluye la función de decodificación especulativa DFlash2.

DFlash2 implementa un mecanismo de convolución local para la generación eficiente de tokens.
La actualización introduce un selector de candidatos dedicado para mejorar el proceso de spec decode.
Este cambio fue cherry-picked del commit b389ac2 y firmado por khluu.

Importancia 1/3 Confianza 2/3 vLLM Inference efficiency

llama.cpp b10539 corrige el desbordamiento de Vulkan FA MMQ y añade soporte para CUDA 13 en Windows

El proyecto llama.cpp ha lanzado la versión b10539, que aborda un problema crítico de estabilidad numérica en el backend de Vulkan mientras expande el soporte de hardware para usuarios de Windows.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10545 corrige lecturas fuera de límites en matmul de Metal para K no múltiplo de 32

El proyecto llama.cpp lanzó la compilación b10545, que aborda un error crítico en el kernel de multiplicación de matrices de la API de tensores del backend Metal. La actualización previene comportamiento indefinido y resultados corruptos al procesar tensores donde la dimensión K no es múltiplo de 32.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10534 añade puntos de conmutación por-HW CUDA para descodificación más rápida

El proyecto llama.cpp lanzó la compilación b10534, que introduce puntos de conmutación específicos del hardware para ajustar el cruce entre las rutas de vector y núcleo tensor durante la descodificación cuantizada en CUDA.

github llama.cpp · hace 5 h · 1 vista

Lanzamiento de llama.cpp b10538 con caché KV desquantizado para grandes lotes

El proyecto llama.cpp ha lanzado la versión b10538, introduciendo una optimización clave en el backend metal. Esta actualización permite la desquantización del caché de claves y valores (KV) exclusivamente para tamaños de lote grandes.