github llama.cpp · hace 1 h · inference

llama.cpp b10178 añade registro de seguimiento para la verificación de similitud de ranuras

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10178, que introduce registro de seguimiento para la verificación de similitud de ranuras dentro del componente del servidor. Esta actualización añade un registro detallado en `server-context.cpp` durante la selección de ranura de caché de prompts, capturando específicamente las razones de omisión y los detalles del cálculo de similitud.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu con backends de CPU, Vulkan, ROCm, OpenVINO y SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler. El soporte de KleidiAI para macOS Apple Silicon está desactivado en esta compilación.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10174 añade soporte de descodificación especulativa NextN/MTP para GLM-5.2

El proyecto llama.cpp ha lanzado la compilación b10174, introduciendo soporte de descodificación especulativa NextN/MTP para la arquitectura del modelo GLM_DSA (GLM-5.2).

media Together AI Blog · hace 16 h

Together AI explica el enrutamiento consciente de la capacidad para inferencia de modelos dedicados

Together AI detalla la arquitectura de su plataforma de Inferencia de Modelos Dedicados, que conecta puntos finales, implementaciones y configuraciones inmutables mediante una división de tráfico consciente de la capacidad. Este sistema enruta las solicitudes en función de la capacidad efectiva (peso multiplicado por réplicas listas) en lugar de porcentajes fijos, lo que habilita funciones como despliegues sin tiempo de inactividad y pruebas A/B.

media Hugging Face Forums · hace 17 h

Los gráficos de memoria ponderados por atención utilizan la atención de Jina para el recorrido de graph-RAG

Una nueva propuesta describe una estructura de memoria LLM que combina el fragmentado tardío con aristas ponderadas por atención para permitir un recorrido paso a paso. El sistema aprovecha el modelo de incrustación de Jina AI, que calcula la atención entre oraciones, para derivar los pesos de las aristas del procesamiento interno del documento.

github llama.cpp · hace 17 h

llama.cpp b10171 corrige la salida basura de OpenCL multi-stream en Adreno

La versión b10171 de llama.cpp aborda un error crítico en los núcleos de imagen KQ/KQV de Adreno que causaba salida basura durante lotes de múltiples secuencias. El problema surgió porque estos núcleos ignoraban la dimensión 3, lo que provocaba lecturas incorrectas al utilizar el caché KV unificado con múltiples flujos.

media r/LocalLLaMA · hace 18 h

Microsoft lanza Mage-VL, un modelo multimodal de streaming nativo de códec

Microsoft ha lanzado Mage-VL, un modelo base multimodal eficiente de 4B de parámetros para la comprensión de imágenes y video que utiliza un enfoque nativo de códec para optimizar el procesamiento visual. El sistema separa los flujos de video en fotogramas ancla (I) y predichos (P), conservando solo los parches donde el códec asigna bits para reducir el consumo de tokens visuales en más del 75%.