github llama.cpp · hace 1 h · inference

llama.cpp b10094 infiere el tipo especulativo desde los sidecars del repositorio de borrador

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10094, introduciendo una función que detecta automáticamente el tipo de decodificación especulativa a partir de los sidecars del repositorio de borrador. Anteriormente, al usar la bandera `-hfd` para apuntar a un repositorio que contiene sidecars mtp-, dflash- o eagle3- sin proporcionar explícitamente `--spec-type`, el sistema resolvía incorrectamente el borrador como un modelo completo.

Con esta actualización, si no se especifica ningún tipo especulativo, llama-server descubre los sidecars disponibles en el repositorio de borrador y selecciona el primero según el orden de prioridad de mtp, dflash y luego eagle3. Esto permite a los usuarios ejecutar comandos como `llama-server -hf repo:Q3_K_M -hfd repo:Q8_0` sin banderas adicionales. Un argumento `--spec-type` explícito desactiva esta inferencia automática.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64/arm64/s390x con CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android arm64, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

media Together AI Blog · ahora mismo En vivo

Together lanza Inferencia de Modelo Dedicado con beta de entrenamiento personalizado

Together ha lanzado una actualización significativa para su plataforma de inferencia, presentando "Inferencia de Modelo Dedicada" diseñada para dar a los usuarios control total sobre el rendimiento, el costo y la calidad de los modelos de peso abierto. La actualización también anuncia una beta cerrada para capacidades de entrenamiento personalizado, incluyendo refuerzo con pesos completos y LoRA.

github llama.cpp · hace 2 h

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.

lab Tencent Hunyuan (HF) · hace 6 h

Tencent abre el código fuente de los modelos de traducción multilingüe Hy-MT2 y IFMTBench

Tencent ha lanzado la familia de modelos de traducción multilingüe "de pensamiento rápido" Hy-MT2, que incluye tamaños de 1.8B, 7B y 30B-A3B (MoE), junto con el benchmark IFMTBench para evaluar las capacidades de seguimiento de instrucciones.

media r/LocalLLaMA · hace 10 h

PaddlePaddle lanza HPD-Parsing, un modelo de 1B con decodificación paralela jerárquica

PaddlePaddle ha presentado HPD-Parsing, un modelo ligero de parsing de documentos con 1.000 millones de parámetros que utiliza un paradigma de Decodificación Paralela Jerárquica para mejorar el rendimiento. La arquitectura coordina la estructura global de la página a través de una rama principal de diseño, mientras distribuye la generación de contenido localizado a ramas concurrentes, utilizando Predicción Progresiva de Múltiples Tokens para reducir los pasos de decodificación.

lab Hugging Face Blog · hace 11 h · 1 vista

Diffusers añade soporte nativo para inferencia Nunchaku Lite de 4 bits

Hugging Face Diffusers ahora admite la carga de checkpoints de Nunchaku Lite de forma nativa mediante `from_pretrained()`, eliminando la necesidad de un motor de inferencia separado o compilación local de CUDA. Esta integración utiliza el método SVDQuant para ejecutar capas transformadoras con pesos y activaciones de 4 bits (W4A4), reduciendo significativamente el uso de memoria mientras mejora la velocidad de inferencia.