github llama.cpp · hace 2 h · inference

llama.cpp b10728 añade flash attention con XOR swizzle de CUDA y corrige una carrera de memoria compartida

Traducido del English → Español

La versión llama.cpp b10728 introduce una implementación de CUDA para el XOR swizzle de los tiles fp16 K,V de memoria compartida de Flash Attention. Esta actualización también resuelve una condición de carrera en la memoria compartida de Flash Attention en hardware DGX Spark.

Implementa flash attention con XOR swizzle y tiles fp16 para CUDA.
Corrige el uso de un puntero genérico de 64 bits en lugar de un puntero compartido de 32 bits.
Añade casos de prueba para swizzle y limita la sincronización solo a la ruta con swizzle.
Permite el swizzling para formas que no son potencias de 2 donde nbatch_2%32==0.
Refactoriza la lógica ldmatrix del swizzle de Flash Attention en funciones auxiliares.

La versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Microsoft lanza GigaPath-Flash y GigaTIME-Flash para modelos base de patología eficientes

Microsoft Research ha lanzado GigaPath-Flash y GigaTIME-Flash, variantes eficientes de sus modelos base de patología diseñadas para permitir el descubrimiento a escala poblacional al reducir drásticamente los requisitos computacionales.

github llama.cpp · hace 3 h · 3 vistas

llama.cpp b10727 añade soporte de concatenación para tipos cuantizados

El proyecto llama.cpp ha publicado la compilación b10727, que introduce soporte de concatenación para tipos de datos cuantizados. Esta actualización está asistida por DeepSeek-V4-Flash-0731 e incluye binarios para macOS, Linux, Windows, Android y openEuler en varios backends de hardware, incluyendo CPU, CUDA, ROCm y Vulkan.

github llama.cpp · hace 5 h · 6 vistas

llama.cpp b10726 acelera el procesamiento de prompts de modelos IQ en grandes lotes con AVX2

El proyecto llama.cpp lanzó la versión b10726, que introduce optimizaciones significativas de rendimiento para procesar tamaños de lote grandes en modelos cuantizados IQ. La actualización principal aprovecha las instrucciones AVX2 para acelerar los cuantizados IQ de cuadrícula a través de operaciones GEMM por lotes.

github llama.cpp · hace 6 h · 2 vistas

llama.cpp b10724 optimiza la restauración del estado de kv-cache para reducir las copias de 1.3M a 224

El proyecto llama.cpp lanzó la compilación b10724, que mejora significativamente el rendimiento de la restauración de celdas KV cache no contiguas mediante lecturas scatter agrupadas por ejecución continua.

github llama.cpp · hace 7 h · 5 vistas

llama.cpp b10723 ajusta rutas de cuantización OpenCL para GPUs Intel Xe-LP

El proyecto llama.cpp lanzó la versión b10723, que incluye optimizaciones específicas para OpenCL en hardware gráfico Intel Xe-LP. La actualización se centra en mejorar el rendimiento de generación de tensores (TG) y prellenado (PP) ajustando los núcleos de cuantización.