github llama.cpp · hace 22 h · inference

llama.cpp b10356 actualiza ROCm a 7.14 y añade soporte para CUDA 13 en Windows

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10356, que se centra principalmente en la infraestructura de compilación al cambiar el backend ROCm de la versión 7.2.1 a 7.14. Esta actualización se alinea con ROCm 7.14 siendo el primer lanzamiento de producción que utiliza el sistema de construcción TheRock e implica migrar los trabajos de CI para usar ruedas multi-arquitectura tanto para Linux como para Windows.

Cambia el objetivo ROCm de 7.2.1 a 7.14 en las compilaciones de Linux y Windows.
Migra las acciones de configuración compartidas de Windows a ruedas ROCm multi-arquitectura y actualiza build-cuda-windows.yml en consecuencia.
Añade nuevos binarios para Windows con CUDA 13 (x64) y soporte preliminar para CUDA 13.4 (arm64).
Proporciona binarios precompilados para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android e iOS.

Este lanzamiento garantiza la compatibilidad con la última infraestructura ROCm mientras expande las opciones de aceleración GPU en Windows a través de versiones más recientes de CUDA.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 7 h

llama.cpp b10361 corrige SWA para EXAONE 4.5 y omite TENSOR_SKIP en la ruta de metadatos

La versión b10361 de llama.cpp aborda un error crítico donde la Atención de Ventana Deslizante (SWA) no estaba habilitada para el modelo LGAI-EXAONE 4.5 debido a un orden incorrecto de parámetros durante la carga.

lab Hugging Face Blog · hace 11 h

ALTK-Evolve logra una precisión igual o superior a la de ACE con una fracción del costo de inferencia

ALTK-Evolve, un sistema para memoria agéntica que convierte trayectorias de agentes en directrices reutilizables sin actualizaciones de pesos, iguala o supera la precisión de ACE mientras utiliza significativamente menos tokens. A diferencia de ACE, que inyecta un manual exhaustivo en cada paso, ALTK-Evolve utiliza recuperación selectiva para entregar únicamente las directrices relevantes según la capacidad del modelo.

github vLLM · hace 14 h

vLLM v0.27.1 añade soporte para cabezales DSpark Markov cuantizados

vLLM ha lanzado la versión 0.27.1, una actualización de parche construida sobre la versión anterior v0.27.0.

lab NVIDIA Research · hace 15 h · 10 vistas

DSTP mitiga fallos en la poda de tokens visuales en el razonamiento complejo de MLLM

Los investigadores identificaron el Desplazamiento de Información Visual Relevante (RVIS) durante la decodificación como la causa principal del fallo de los métodos existentes de poda de tokens visuales en Modelos de Lenguaje Grande Multimodales (MLLM). Para abordar esto, proponen la Poda de Tokens Consciente del Desplazamiento en la Etapa de Decodificación (DSTP), un marco sin entrenamiento que alinea los tokens visuales con los requisitos cambiantes del razonamiento.

media MarkTechPost · hace 16 h · 1 vista

webAI lanza TwIL-LM, una familia de modelos de lógica formal de 1.7B y 3B para autoformalización local

webAI ha lanzado TwIL-LM, una familia de dos razonadores de lógica formal con 1.7B y 3B de parámetros diseñados para autoformalización en hardware local. Los modelos traducen inglés a lógica de primer orden y verifican la validez de las conclusiones, con la variante de 3B logrando un puntaje macro gate de 0.4218 en tareas de lógica formal dentro del dominio.