github llama.cpp · hace 1 d · inference

llama.cpp b10355 añade muestreo de backend con salida múltiple y especulación de tokens

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10355, introduciendo soporte para el muestreo de backend con salida múltiple. Esta actualización permite combinar el muestreo de backend con la especulación de tokens y añade un parámetro de contexto numérico para declarar el máximo de salidas por secuencia.

Habilitar el muestreo de backend con especulación de tokens
Acotar la suma de la máscara antes de convertirla en el índice muestreado
Añadir un parámetro de contexto numérico que declare las salidas máximas por una secuencia
Corregir las discrepancias entre el muestreo de CPU y backend, y igualar la distribución (dist) entre CPU y GPU
Simplificar los cambios y corregir las pruebas en Vulkan

El lanzamiento proporciona binarios para macOS, iOS, Linux, Android, Windows y openEuler a través de varios backends de hardware incluyendo CPU, CUDA, ROCm, OpenVINO, SYCL, HIP y Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10361 corrige SWA para EXAONE 4.5 y omite TENSOR_SKIP en la ruta de metadatos

La versión b10361 de llama.cpp aborda un error crítico donde la Atención de Ventana Deslizante (SWA) no estaba habilitada para el modelo LGAI-EXAONE 4.5 debido a un orden incorrecto de parámetros durante la carga.

lab Hugging Face Blog · hace 11 h

ALTK-Evolve logra una precisión igual o superior a la de ACE con una fracción del costo de inferencia

ALTK-Evolve, un sistema para memoria agéntica que convierte trayectorias de agentes en directrices reutilizables sin actualizaciones de pesos, iguala o supera la precisión de ACE mientras utiliza significativamente menos tokens. A diferencia de ACE, que inyecta un manual exhaustivo en cada paso, ALTK-Evolve utiliza recuperación selectiva para entregar únicamente las directrices relevantes según la capacidad del modelo.

github vLLM · hace 14 h

vLLM v0.27.1 añade soporte para cabezales DSpark Markov cuantizados

vLLM ha lanzado la versión 0.27.1, una actualización de parche construida sobre la versión anterior v0.27.0.

lab NVIDIA Research · hace 15 h · 10 vistas

DSTP mitiga fallos en la poda de tokens visuales en el razonamiento complejo de MLLM

Los investigadores identificaron el Desplazamiento de Información Visual Relevante (RVIS) durante la decodificación como la causa principal del fallo de los métodos existentes de poda de tokens visuales en Modelos de Lenguaje Grande Multimodales (MLLM). Para abordar esto, proponen la Poda de Tokens Consciente del Desplazamiento en la Etapa de Decodificación (DSTP), un marco sin entrenamiento que alinea los tokens visuales con los requisitos cambiantes del razonamiento.

media MarkTechPost · hace 16 h · 1 vista

webAI lanza TwIL-LM, una familia de modelos de lógica formal de 1.7B y 3B para autoformalización local

webAI ha lanzado TwIL-LM, una familia de dos razonadores de lógica formal con 1.7B y 3B de parámetros diseñados para autoformalización en hardware local. Los modelos traducen inglés a lógica de primer orden y verifican la validez de las conclusiones, con la variante de 3B logrando un puntaje macro gate de 0.4218 en tareas de lógica formal dentro del dominio.