github llama.cpp · hace 1 h · inference

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.

Corrige la plantilla elaborada de DeepSeek v4 para seguir explícitamente el comportamiento de referencia.
Añade soporte para el indicador `drop_reasoning` de DeepSeek v4.
Conecta el analizador DeepSeek 3.2 para manejar también entradas de DeepSeek v4.
Incluye una corrección para la reordenación de resultados de herramientas.

Esta actualización asegura un formato de chat correcto y el manejo de tokens de razonamiento para los modelos DeepSeek v4 dentro de llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 2 d

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.

media Hugging Face Forums · hace 5 d · 2 vistas

zhongkaifu lanza TensorSharp, un motor de inferencia LLM nativo para .NET destinado a modelos GGUF

zhongkaifu ha lanzado TensorSharp, un motor de inferencia local de LLM de código abierto construido completamente en C# que soporta Windows, macOS y Linux. El motor maneja modelos GGUF de Unsloth, incluyendo Gemma 4 y Qwen 3.6 con capacidades multimodales, mientras proporciona APIs compatibles con OpenAI y Ollama.

github llama.cpp · ahora mismo En vivo

llama.cpp b10094 infiere el tipo especulativo desde los sidecars del repositorio de borrador

El proyecto llama.cpp lanzó la versión b10094, introduciendo una función que detecta automáticamente el tipo de decodificación especulativa a partir de los sidecars del repositorio de borrador. Anteriormente, al usar la bandera `-hfd` para apuntar a un repositorio que contiene sidecars mtp-, dflash- o eagle3- sin proporcionar explícitamente `--spec-type`, el sistema resolvía incorrectamente el borrador como un modelo completo.

lab Tencent Hunyuan (HF) · hace 6 h

Tencent abre el código fuente de los modelos de traducción multilingüe Hy-MT2 y IFMTBench

Tencent ha lanzado la familia de modelos de traducción multilingüe "de pensamiento rápido" Hy-MT2, que incluye tamaños de 1.8B, 7B y 30B-A3B (MoE), junto con el benchmark IFMTBench para evaluar las capacidades de seguimiento de instrucciones.