github llama.cpp · hace 2 h · inference

llama.cpp b10608 corrige el átomo moov de video y SIGPIPE

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10608, que incluye una corrección para el módulo de video que permite manejar correctamente el átomo moov al final de los archivos. Esta actualización también aborda problemas de SIGPIPE añadiendo manejo de casos de tubería rota en Windows.

mtmd: video: corrige el átomo moov al final del archivo
Corrige SIGPIPE y maneja el caso de tubería rota en Windows

Esta versión proporciona binarios actualizados para macOS, Linux, Windows, Android y openEuler a través de varios backends de hardware que incluyen CPU, CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

El asistente LLM móvil reduce los costos de tokens en un 75% mediante almacenamiento en caché y compresión del historial

Un desarrollador de aplicaciones móviles redujo los costos de la API de LLM de cuatro veces la estimación inicial a aproximadamente una cuarta parte de esa cantidad al abordar dos ineficiencias principales: el reenvío ingenuo del historial completo y la inyección redundante de contexto RAG.

github llama.cpp · hace 1 h · 6 vistas En vivo

llama.cpp b10610 acorta el nombre de dispositivos virtuales en CUDA y Metal

El proyecto llama.cpp lanzó la versión b10610, que incluye un cambio para acortar la nomenclatura de dispositivos virtuales dentro del backend ggml tanto para las plataformas CUDA como Metal.

github llama.cpp · hace 6 h · 17 vistas

llama.cpp b10605 aplanar proyecciones mamba2 para enviar GEMM

El proyecto llama.cpp lanzó la compilación b10605, que incluye una optimización clave para la arquitectura Mamba2. La actualización aplanea las proyecciones de entrada y salida de los modelos Mamba2 para enviar operaciones de Multiplicación General de Matrices (GEMM) en lugar de operaciones de Multiplicación General de Matriz por Vector (GEMV).

media r/LocalLLaMA · hace 7 h · 16 vistas

Qwen 3.8 27B obtiene 72.9 en la benchmark de Aider

El modelo Qwen 3.8 27B, ejecutado en FP8 con una ventana de contexto de 256K a través de vLLM, logró una puntuación de 72.9 en la benchmark de Aider.

github llama.cpp · hace 7 h · 11 vistas

llama.cpp b10604 añade soporte para formato DSV4 de Deepseek 4 y binarios para macOS/iOS

El proyecto llama.cpp ha lanzado la versión b10604, introduciendo soporte para el formato de modelo Deepseek 4 (DSV4) junto con nuevos binarios precompilados para macOS e iOS.