github llama.cpp · ahora mismo · inference

llama.cpp b10730 optimiza el procesamiento de prompts de Qwen4exp sumando cabezas del indexador por fragmentos

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10730, que incluye optimizaciones para la arquitectura del modelo Qwen4exp. El cambio principal consiste en sumar las cabezas del indexador por fragmentos en lugar de utilizar una operación de transposición y sum_rows, reduciendo la sobrecarga de copia de memoria.

La velocidad de procesamiento de prompts aumentó de 2170 a 2366 tokens por segundo en una RTX PRO 6000 con Qwen3.8-Flash-Next UD-Q4_K_XL.
La optimización elimina los requisitos redundantes de tensores contiguos para la consulta del indexador, ya que rope devuelve un tensor contiguo recién asignado.
La velocidad de generación permanece sin cambios, pero la ganancia en el procesamiento de prompts escala con la longitud del contexto y el tamaño del ubatch.
La salida greedy es inalterada token por token en comparación con las versiones anteriores.

Esta actualización mejora la eficiencia para tareas de inferencia de contexto largo que involucran modelos Qwen4exp, al reducir el desperdicio computacional durante la fase de procesamiento de prompts.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Artículos relacionados

github llama.cpp · hace 9 h · 3 vistas

llama.cpp b10727 añade soporte de concatenación para tipos cuantizados

El proyecto llama.cpp ha publicado la compilación b10727, que introduce soporte de concatenación para tipos de datos cuantizados. Esta actualización está asistida por DeepSeek-V4-Flash-0731 e incluye binarios para macOS, Linux, Windows, Android y openEuler en varios backends de hardware, incluyendo CPU, CUDA, ROCm y Vulkan.

github llama.cpp · hace 11 h · 6 vistas

llama.cpp b10726 acelera el procesamiento de prompts de modelos IQ en grandes lotes con AVX2

El proyecto llama.cpp lanzó la versión b10726, que introduce optimizaciones significativas de rendimiento para procesar tamaños de lote grandes en modelos cuantizados IQ. La actualización principal aprovecha las instrucciones AVX2 para acelerar los cuantizados IQ de cuadrícula a través de operaciones GEMM por lotes.

github llama.cpp · hace 13 h · 7 vistas

llama.cpp b10723 ajusta rutas de cuantización OpenCL para GPUs Intel Xe-LP

El proyecto llama.cpp lanzó la versión b10723, que incluye optimizaciones específicas para OpenCL en hardware gráfico Intel Xe-LP. La actualización se centra en mejorar el rendimiento de generación de tensores (TG) y prellenado (PP) ajustando los núcleos de cuantización.

github llama.cpp · hace 16 h · 9 vistas

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 18 h · 6 vistas

La versión b10717 de llama.cpp mejora la recuperación de información de memoria SYCL

El proyecto llama.cpp ha lanzado la versión b10717, que incluye una mejora específica para el backend SYCL en GPUs Intel. Esta actualización mejora la capacidad de recuperar información sobre la memoria libre aprovechando la API L0 SYCL.