vLLM ha lanzado la versión 0.27.1, una actualización de parche construida sobre la versión anterior v0.27.0.
- La actualización introduce soporte para cabezales DSpark Markov cuantizados.
github
vLLM
·
hace 15 h
·
inference
vLLM v0.27.1 añade soporte para cabezales DSpark Markov cuantizados
Traducido del English → Español
Artículos relacionados
github
llama.cpp
·
hace 8 h
llama.cpp b10361 corrige SWA para EXAONE 4.5 y omite TENSOR_SKIP en la ruta de metadatos
La versión b10361 de llama.cpp aborda un error crítico donde la Atención de Ventana Deslizante (SWA) no estaba habilitada para el modelo LGAI-EXAONE 4.5 debido a un orden incorrecto de parámetros durante la carga.
lab
Hugging Face Blog
·
hace 12 h
ALTK-Evolve logra una precisión igual o superior a la de ACE con una fracción del costo de inferencia
ALTK-Evolve, un sistema para memoria agéntica que convierte trayectorias de agentes en directrices reutilizables sin actualizaciones de pesos, iguala o supera la precisión de ACE mientras utiliza significativamente menos tokens. A diferencia de ACE, que inyecta un manual exhaustivo en cada paso, ALTK-Evolve utiliza recuperación selectiva para entregar únicamente las directrices relevantes según la capacidad del modelo.
lab
NVIDIA Research
·
hace 16 h
·
10 vistas
DSTP mitiga fallos en la poda de tokens visuales en el razonamiento complejo de MLLM
Los investigadores identificaron el Desplazamiento de Información Visual Relevante (RVIS) durante la decodificación como la causa principal del fallo de los métodos existentes de poda de tokens visuales en Modelos de Lenguaje Grande Multimodales (MLLM). Para abordar esto, proponen la Poda de Tokens Consciente del Desplazamiento en la Etapa de Decodificación (DSTP), un marco sin entrenamiento que alinea los tokens visuales con los requisitos cambiantes del razonamiento.
media
MarkTechPost
·
hace 17 h
·
1 vista
webAI lanza TwIL-LM, una familia de modelos de lógica formal de 1.7B y 3B para autoformalización local
webAI ha lanzado TwIL-LM, una familia de dos razonadores de lógica formal con 1.7B y 3B de parámetros diseñados para autoformalización en hardware local. Los modelos traducen inglés a lógica de primer orden y verifican la validez de las conclusiones, con la variante de 3B logrando un puntaje macro gate de 0.4218 en tareas de lógica formal dentro del dominio.
media
AI News (smol.ai)
·
hace 17 h
Meta lanza el modelo de peso abierto Muse Glimmer 30B; Anthropic mejora la cota inferior de Riemann
Meta lanzó Muse Glimmer, un modelo multimodal denso de 30B optimizado para el despliegue de agentes locales bajo Apache 2.0, mientras también prometía futuros pesos para Muse Spark 1.2.