La versión b10306 de llama.cpp introduce optimizaciones de rendimiento para el backend SYCL, específicamente dirigidas a las operaciones de Unidad Lineal con Puerta (GLU). La actualización añade una ruta rápida contigua para las operaciones GLU fusionadas y consolida kernels previamente distintos para compartir un lanzador común.
La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.
Lucebox se ha asociado con AMD para demostrar una configuración de hardware heterogénea para consumidores que supera a Nvidia DGX Spark en velocidad de inferencia. El sistema combina una GPU AMD Radeon AI PRO R9700 con un procesador Strix Halo para ejecutar el modelo completo DeepSeek V4 Flash de 284B.
El artículo sostiene que la utilización de GPU, más que la inteligencia del modelo, se ha convertido en la principal restricción en la IA empresarial, estableciendo paralelismos con la utilización de aeronaves en las aerolíneas, donde los costos se acumulan por hora independientemente del uso.
Patience Strong argumenta que las redes neuronales actuales consumen una potencia de cómputo excesiva al emular circuitos en software en lugar de implementarlos como hardware físico. El artículo sugiere reemplazar esta emulación con un dispositivo semiconductor donde los pesos y sesgos se almacenan en memoria no volátil.
Ai2 ha lanzado la plataforma OlmoEarth, un sistema de infraestructura diseñado para llevar los modelos base de observación terrestre desde el ajuste fino hasta la inferencia a gran escala. La plataforma aborda los desafíos de ingeniería del procesamiento de terabytes de datos satelitales multimodales entre múltiples proveedores y resoluciones.
Moonshot ha publicado los pesos de su modelo Kimi K3 en Hugging Face, con 2,8 billones de parámetros y una arquitectura mixture-of-experts con 16 expertos activos por token. El equipo planea implementar el modelo en GPUs A100, H200 y B300, con resultados de benchmarks esperados esta semana.
El proyecto llama.cpp lanzó la versión b10099, que incluye una actualización significativa del backend de CUDA para mejorar la cuantización de activaciones NVFP4 W4A4.
IBM ha firmado un acuerdo definitivo para adquirir HRL Laboratories, una institución de investigación histórica con casi 80 años de contribuciones científicas. La adquisición tiene como objetivo acelerar la visión de computación cuántica de IBM integrando la avanzada experiencia de HRL en ingeniería de qubits de espín de silicio.
AMD y Anthropic han firmado un acuerdo importante que involucra decenas de miles de millones de dólares en servidores de IA, con Anthropic comprando hasta 2 gigavatios de chips Instinct MI450 de AMD a partir del primer semestre del próximo año. Simultáneamente, AMD invertirá hasta $5 mil millones en Anthropic a medida que se cumplan hitos específicos de implementación, mientras ambas empresas colaboran para identificar centros de datos adecuados para el hardware.
SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el entrenamiento posterior de todos los parámetros de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.
SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el postentrenamiento de parámetros completos de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.
El Departamento de Energía de Estados Unidos (DoE) ha seleccionado a IBM para liderar un proyecto bajo la Solicitud de Aplicaciones de la Misión Genesis, comprometiendo hasta 50 millones de dólares en acceso a computación cuántica para apoyar la iniciativa.
OpenAI ha anunciado los detalles del proyecto a largo plazo Project Camellia, un centro de datos en el condado de Effingham, Georgia, describiendo sus compromisos iniciales con la comunidad respecto a energía, agua y beneficios locales. La empresa está contratando con Georgia Power Company 3.2 gigavatios de energía que se entregarán entre 2028 y 2032.
Este boletín TLDR AI cubre varios desarrollos en la industria de la IA, incluyendo nuevo hardware, agentes de software y optimizaciones de enrutamiento.
Together AI y Y Combinator han anunciado una asociación para proporcionar el primer clúster de GPU dedicado exclusivamente al portafolio de startups nativas de IA de Y Combinator. Esta iniciativa tiene como objetivo resolver la crítica barrera de acceso a la capacidad de cómputo ofreciendo infraestructura flexible y rentable para entrenamiento e inferencia sin requerir compromisos a largo plazo.
La empresa china de inteligencia artificial Moonshot AI se ha convertido en la primera en China en quedarse sin capacidad de GPU. En consecuencia, la compañía ha decidido suspender las nuevas suscripciones y eliminar el acceso gratuito para los usuarios.
Together AI detalla los requisitos arquitectónicos específicos necesarios para lograr diferentes niveles de confiabilidad en la inferencia con GPU, argumentando que los números estándar de SLA a menudo ocultan los dominios de falla reales cubiertos.
NVIDIA describe cómo el co-diseño extremo con sus procesadores BlueField puede abordar los desafíos de infraestructura planteados por las cargas de trabajo de Agentic AI. La compañía argumenta que a medida que los sistemas agénticos desencadenan cadenas complejas de llamadas a modelos, interacciones con herramientas y búsquedas de datos, los patrones de infraestructura tradicionales son insuficientes para mantener el rendimiento.
NVIDIA ha introducido una nueva instrucción PTX para la multiplicación sin acarreo en CUDA 13.3, abordando una lagencia de larga data donde las GPU carecían de soporte nativo para esta operación a pesar de estar presente en las CPUs x86 durante más de quince años.