github llama.cpp · hace 1 h · inference

llama.cpp b10622 corrige el bloqueo OOM de Metal en iOS/macOS

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10622, que incluye una corrección crítica para el backend de Metal para evitar bloqueos por falta de memoria. La actualización aborda un problema donde `ggml_metal_buffer_init` devolviendo NULL debido a un fallo de asignación no se verificaba, lo que llevaba a un bloqueo duro vía `EXC_BAD_ACCESS` al desreferenciar el puntero nulo.

metal: Se añadió una comprobación de nulo para los resultados de `ggml_metal_buffer_init` en `ggml_backend_metal_buffer_type_alloc_buffer` para manejar las condiciones OOM de manera elegante.
cont: Se corrigieron problemas de registro dentro del código base.

Este cambio asegura que los dispositivos con memoria limitada como iOS puedan mostrar errores diagnosticables en lugar de bloquearse cuando un modelo o contexto excede el presupuesto disponible de Metal.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Quantization-Aware Healing: un modelo comprimido de 4 bits que supera a su original de precisión completa

El artículo presenta Quantization-Aware Healing, un método para crear un modelo comprimido de 4 bits que logra un rendimiento superior al de su original de precisión completa.

lab Hugging Face Blog · hace 1 h · 1 vista En vivo

Papers with Code utiliza servicios de Hugging Face para búsqueda híbrida de artículos

Papers with Code ha implementado un sistema de búsqueda híbrida que combina recuperación por palabras clave y semántica para ayudar a los usuarios a encontrar artículos relevantes de investigación en IA. La arquitectura aprovecha Hugging Face Jobs, Storage Buckets e Inference Endpoints para gestionar la canalización de incrustaciones y servir consultas de baja latencia.

lab Hugging Face Blog · hace 1 h · 5 vistas En vivo

La QAH de Multiverse Computing hace que GPT-OSS de 4 bits supere a su versión original de precisión completa

Multiverse Computing presenta la Curación Consciente de Cuantización (QAH), un método que destila grandes modelos de lenguaje comprimidos y cuantizados directamente a partir de sus maestros originales previos a la compresión. Aplicado a un modelo GPT-OSS 120B comprimido a 60B parámetros y cuantizado a MXFP4, el enfoque produce un modelo que supera su propia versión bfloat16 de precisión completa en 7 de los 9 benchmarks.

github llama.cpp · hace 2 h · 1 vista

llama.cpp 0.3.0 añade el modelo dots3-note y tensor-split para DeepSeek 4

llama.cpp 0.3.0 introduce soporte para el modelo multimodal dots3-note con un nuevo tipo de caché KV DSA-ISWA, junto con soporte para predicción multi-tokeno (MTP) para GLM-4.5-Air. La versión también añade capacidades de tensor-split para DeepSeek 4 y corrige problemas de retroceso en secuencias múltiples.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10618 corrige el análisis de gramática para guiones literales en clases de caracteres

El proyecto llama.cpp lanzó la compilación b10618, que incluye una corrección para el analizador de gramáticas que permite manejar correctamente los guiones literales dentro de las clases de caracteres. Anteriormente, la función `gbnf_escape_char_class()` escapaba el guion como "\-", pero la función `parse_char()` rechazaba esta secuencia de escape, lo que provocaba que las gramáticas generadas para llamadas a herramientas fallaran durante el análisis.