github llama.cpp · hace 1 h · inference

llama.cpp b10632 añade MMA SSD fragmentado para optimización de prellenado de Mamba-2

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10632, que introduce una optimización de MMA SSD fragmentado para el prellenado de Mamba-2 a través de ggml-metal.

Añade kernels WIP de SSM_SCAN SSD fragmentado para prellenado multi-token en Metal.
Elimina la ruta SSD escalar en favor de MMA combinado con una cola secuencial.
Reserva K tokens para instantáneas de retroceso del kernel secuencial y restablece la concurrencia entre MMA y seq tail.
Especializa la cola ssm_scan con una plantilla y actualiza las constantes para mayor claridad.

Esta actualización proporciona binarios para macOS, iOS, Linux, Windows, Android y openEuler en varios backends de hardware, incluyendo CPU, CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10628 añade soporte para transporte RPC de Apple RDMA

El proyecto llama.cpp ha lanzado la versión b10628, introduciendo soporte para Apple RDMA como mecanismo de transporte de llamada a procedimiento remoto (RPC).

lab OpenAI News · hace 19 h · 6 vistas

OpenAI informa de que el chip Jalapeño ofrece hasta 3,6 veces menor latencia y 1,9 veces mayor eficiencia

OpenAI ha publicado los resultados iniciales de rendimiento de Jalapeño, su primer chip de inferencia personalizado, demostrando ganancias significativas en velocidad y eficiencia energética en comparación con los sistemas comerciales existentes. La empresa afirma que la nueva arquitectura permite un mayor rendimiento y menor latencia simultáneamente, abordando una compensación común en el hardware actual.

media r/LocalLLaMA · hace 21 h · 1 vista

Quantization-Aware Healing: un modelo comprimido de 4 bits que supera a su original de precisión completa

El artículo presenta Quantization-Aware Healing, un método para crear un modelo comprimido de 4 bits que logra un rendimiento superior al de su original de precisión completa.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10622 corrige el bloqueo OOM de Metal en iOS/macOS

El proyecto llama.cpp lanzó la compilación b10622, que incluye una corrección crítica para el backend de Metal para evitar bloqueos por falta de memoria. La actualización aborda un problema donde `ggml_metal_buffer_init` devolviendo NULL debido a un fallo de asignación no se verificaba, lo que llevaba a un bloqueo duro vía `EXC_BAD_ACCESS` al desreferenciar el puntero nulo.

lab Hugging Face Blog · hace 21 h · 1 vista

Papers with Code utiliza servicios de Hugging Face para búsqueda híbrida de artículos

Papers with Code ha implementado un sistema de búsqueda híbrida que combina recuperación por palabras clave y semántica para ayudar a los usuarios a encontrar artículos relevantes de investigación en IA. La arquitectura aprovecha Hugging Face Jobs, Storage Buckets e Inference Endpoints para gestionar la canalización de incrustaciones y servir consultas de baja latencia.