github llama.cpp · hace 2 h · inference

llama.cpp 0.4.0 añade soporte para Qwen3.8-Flash-Next y Nemotron-3-Puzzle

Traducido del English → Español

llama.cpp versión 0.4.0 introduce soporte de arquitectura inicial para los modelos Qwen3.8-Flash-Next y NVIDIA Nemotron-3-Puzzle-75B-A9B, junto con una actualización de la biblioteca subyacente ggml a la versión 0.23.0.

Se añadió lectura de tensores perezosa bajo demanda y límites de contexto del servidor por ranura.
Actualización de ggml a 0.23.0 con atención flash dispersa y soporte de transporte Apple RDMA.
Se introdujeron opciones de entrada de vídeo, búsqueda de historial n-gramas y límites de RAM para el cuantizador.
Se habilitó `preserve_reasoning` por defecto en el servidor y se mejoraron los ayudantes de tokenización multimodal.

Estos cambios amplían la compatibilidad del modelo y proporcionan a los desarrolladores un control más fino sobre el uso de la memoria y la asignación de recursos del servidor.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

Leer original

llama.cpp 0.3.0 añade el modelo dots3-note y tensor-split para DeepSeek 4

llama.cpp 0.3.0 introduce soporte para el modelo multimodal dots3-note con un nuevo tipo de caché KV DSA-ISWA, junto con soporte para predicción multi-tokeno (MTP) para GLM-4.5-Air. La versión también añade capacidades de tensor-split para DeepSeek 4 y corrige problemas de retroceso en secuencias múltiples.

media r/LocalLLaMA · hace 51 d · 17 vistas

OvisOCR2 encabeza OmniDocBench como el primer modelo de análisis de documentos de extremo a extremo

ATH-MaaS lanzó OvisOCR2, un modelo de visión y lenguaje de 0.8B post-entrenado a partir de Qwen3.5-0.8B que actúa como el primer modelo de extremo a extremo en encabezar la clasificación de OmniDocBench con una puntuación de 96.58 en v1.6.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10795 fusiona operaciones SYCL

El proyecto llama.cpp lanzó la versión b10795, que incluye una nueva optimización para el backend de SYCL. Esta actualización permite la fusión de las cadenas RMS_NORM+MUL+ADD y ADD+ADD residual bajo la bandera GGML_SYCL_ENABLE_FUSION.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

media r/LocalLLaMA · hace 1 d · 4 vistas

IFM lanza K2-Horizon-MoVA-36B-A4B, un modelo MoE disperso con 4B de parámetros activos

IFM ha lanzado el checkpoint final para K2-Horizon-MoVA-36B-A4B, un modelo Mixture-of-Experts que presenta atención Mixture-of-Values y almacena 36B de parámetros pero ejecuta solo 4B por token. El lanzamiento incluye formatos GGUF y enlaces a variantes más pequeñas de la familia K2-Horizon.