github llama.cpp · hace 1 h · inference

llama.cpp b10171 corrige la salida basura de OpenCL multi-stream en Adreno

Traducido del English → Español

La versión b10171 de llama.cpp aborda un error crítico en los núcleos de imagen KQ/KQV de Adreno que causaba salida basura durante lotes de múltiples secuencias. El problema surgió porque estos núcleos ignoraban la dimensión 3, lo que provocaba lecturas incorrectas al utilizar el caché KV unificado con múltiples flujos.

Enruta los tensores con ne03/ne13 > 1 al camino general que maneja correctamente la dim 3.
Respeta view_offs al crear sub-buffers para prevenir lecturas erróneas silenciosas.
Corrige las puntuaciones de perplexity en dispositivos Adreno 740 y 840, reduciendo PPL de ~1940 a ~15.6 para Llama-3.2-1B-Instruct Q4_0.
Incluye binarios para macOS, iOS, Linux, Android, Windows y openEuler en CPU, GPU y backends especializados.

Esta corrección garantiza resultados de inferencia correctos en dispositivos Adreno donde Flash Attention está deshabilitado o no disponible, previniendo la degradación del rendimiento en configuraciones de servidor multi-slot.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Together AI explica el enrutamiento consciente de la capacidad para inferencia de modelos dedicados

Together AI detalla la arquitectura de su plataforma de Inferencia de Modelos Dedicados, que conecta puntos finales, implementaciones y configuraciones inmutables mediante una división de tráfico consciente de la capacidad. Este sistema enruta las solicitudes en función de la capacidad efectiva (peso multiplicado por réplicas listas) en lugar de porcentajes fijos, lo que habilita funciones como despliegues sin tiempo de inactividad y pruebas A/B.

media Hugging Face Forums · hace 1 h En vivo

Los gráficos de memoria ponderados por atención utilizan la atención de Jina para el recorrido de graph-RAG

Una nueva propuesta describe una estructura de memoria LLM que combina el fragmentado tardío con aristas ponderadas por atención para permitir un recorrido paso a paso. El sistema aprovecha el modelo de incrustación de Jina AI, que calcula la atención entre oraciones, para derivar los pesos de las aristas del procesamiento interno del documento.

media r/LocalLLaMA · hace 3 h

Microsoft lanza Mage-VL, un modelo multimodal de streaming nativo de códec

Microsoft ha lanzado Mage-VL, un modelo base multimodal eficiente de 4B de parámetros para la comprensión de imágenes y video que utiliza un enfoque nativo de códec para optimizar el procesamiento visual. El sistema separa los flujos de video en fotogramas ancla (I) y predichos (P), conservando solo los parches donde el códec asigna bits para reducir el consumo de tokens visuales en más del 75%.

lab Hugging Face Blog · hace 4 h

Ai2 lanza la plataforma OlmoEarth para inferencia geoespacial a escala planetaria

Ai2 ha lanzado la plataforma OlmoEarth, un sistema de infraestructura diseñado para llevar los modelos base de observación terrestre desde el ajuste fino hasta la inferencia a gran escala. La plataforma aborda los desafíos de ingeniería del procesamiento de terabytes de datos satelitales multimodales entre múltiples proveedores y resoluciones.

github llama.cpp · hace 5 h

llama.cpp b10165 añade soporte para iq4_nl y q1_0 a Vulkan FA

El proyecto llama.cpp ha lanzado la compilación b10165, que restaura el soporte de cuantización iq4_nl para el backend Flash Attention (FA) de Vulkan. Este cambio aborda el problema #23681 reactivando la función después de que las preocupaciones sobre el uso de memoria compartida se consideraran insignificantes.