github llama.cpp · hace 2 h · inference

llama.cpp v0.6.0 añade API de lotes extendida, soporte para GLM-5.3-Flash y puntos finales de modelos de decisión

Traducido del English → Español

llama.cpp v0.6.0 introduce la nueva API de lotes extendida llama_batch_ext para entradas mixtas de tokens y embeddings, junto con el soporte para el modelo híbrido GLM-5.3-Flash 320B y el modelo de decisión Clef.

La nueva API llama_batch_ext soporta embeddings de estado por token para modelos MTP y deepstack.
Qwen4Exp ahora ofrece un soporte de alta calidad con descodificación especulativa MTP, proporcionando una aceleración de decodificación de aproximadamente 1.5x en DGX Spark.
Una nueva API de servidor /v1/systemone soporta cinco modelos de decisión: laya, julia-1, lev, openjev y kev.
Metal obtiene un kernel de flash attention para tensor-API con KV F16 y kernels de mat-mul MMA hasta 3x más rápidos en GPUs Apple.
La Web UI recibe una renovación con una capa de datos de Hugging Face Hub y una tubería de descarga de modelos.

Esta versión amplía las capacidades de llama.cpp para el procesamiento multimodal, el rendimiento de descodificación especulativa y la integración de modelos de decisión.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Multimodal

Artículos relacionados

github llama.cpp · hace 7 d · 44 vistas

llama.cpp b11240 añade soporte de entrada multimodal tipada a /v1/embeddings

El servidor llama.cpp ahora admite entradas de contenido tipado (visión, audio, vídeo) para el endpoint /v1/embeddings. Esta actualización permite solicitudes de incrustación multimodal aceptando matrices de contenido envueltas al estilo de OpenAI, lo que permite procesar conjuntamente las partes de texto y image_url.

media MarkTechPost · hace 10 d · 46 vistas

Liquid AI lanza el draftspeculativo DSpark de LFM2.5-VL-3B-DSpark para una decodificación hasta 3,13 veces más rápida

Liquid AI ha lanzado LFM2.5-VL-3B-DSpark, un modelo de borrador experimental de decodificación especulativa para su modelo de visión y lenguaje LFM2.5-VL-3B. El draftspeculativo añade aproximadamente 280M de parámetros y acelera la generación de tokens sin alterar la distribución de salida del modelo.

lab Hugging Face Blog · hace 11 d · 38 vistas

Liquid AI lanza LFM2.5-VL-DSpark para acelerar la inferencia de modelos de visión y lenguaje

Liquid AI ha lanzado el modelo borrador LFM2.5-VL-DSpark, un generador de decodificación especulativa diseñado para acelerar la inferencia del modelo de visión y lenguaje LFM2.5-VL-3B. El generador captura estados ocultos de capas fijas del modelo objetivo para generar tokens candidatos, añadiendo solo 280M parámetros (un exceso del 8,9%) mientras mantiene una dimensionalidad idéntica entre modalidades.

lab Liquid AI · hace 11 d · 39 vistas

Liquid AI lanza el modelo borrador DSpark para LFM2.5-VL-3B

Liquid AI ha lanzado un modelo borrador experimental DSpark para su modelo de lenguaje y visión LFM2.5-VL-3B, permitiendo una decodificación más rápida en dispositivos edge y GPUs sin cambiar la calidad de salida.

arxiv arXiv cs.CL · hace 18 d · 64 vistas

DeepSeek lanza V4.1-Flash con una huella de caché KV de 890 bytes/token

DeepSeek ha lanzado DeepSeek-V4.1-Flash, un modelo Mixture-of-Experts multimodal diseñado para abordar los altos costos del procesamiento de contexto largo y los grandes cachés KV en cargas de trabajo de agentes.