La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.
La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.
Lucebox s'est associé à AMD pour démontrer une configuration matérielle hétérogène grand public qui surpasse Nvidia DGX Spark en vitesse d'inférence. Le système combine un GPU AMD Radeon AI PRO R9700 avec un processeur Strix Halo pour exécuter le modèle complet DeepSeek V4 Flash de 284B.
L'article soutient que l'utilisation des GPU, plutôt que l'intelligence du modèle, est devenue la contrainte principale de l'IA en entreprise, établissant des parallèles avec l'utilisation des avions dans le secteur aérien où les coûts s'accumulent à l'heure indépendamment de l'utilisation.
Patience Strong soutient que les réseaux neuronaux actuels consomment une puissance de calcul excessive en émulant des circuits dans un logiciel plutôt que de les implémenter comme matériel physique. L'article suggère de remplacer cette émulation par un dispositif semi-conducteur où les poids et les biais sont stockés dans une mémoire non volatile.
Ai2 a lancé la plateforme OlmoEarth, un système d'infrastructure conçu pour faire passer les modèles de base d'observation de la Terre du réglage fin à l'inférence à grande échelle. La plateforme répond aux défis techniques liés au traitement de téraoctets de données satellitaires multimodales provenant de plusieurs fournisseurs et résolutions.
Moonshot a publié les poids de son modèle Kimi K3 sur Hugging Face, avec 2,8 billions de paramètres et une architecture mixture-of-experts avec 16 experts actifs par token. L'équipe prévoit de déployer le modèle sur des GPU A100, H200 et B300, avec des résultats de benchmarks attendus cette semaine.
Le projet llama.cpp a publié la version b10099, qui comprend une mise à jour significative du backend CUDA pour améliorer la quantification d'activation NVFP4 W4A4.
IBM a signé un accord définitif pour acquérir HRL Laboratories, une institution de recherche historique avec près de 80 ans de contributions scientifiques. L'acquisition vise à accélérer la vision d'IBM en informatique quantique en intégrant l'expertise avancée de HRL en ingénierie des qubits à spin de silicium.
AMD et Anthropic ont signé un accord majeur impliquant des dizaines de milliards de dollars en serveurs IA, avec Anthropic achetant jusqu'à 2 gigawatts de puces Instinct MI450 d'AMD à partir du premier semestre de l'année prochaine. Parallèlement, AMD investira jusqu'à 5 milliards $ dans Anthropic au fur et à mesure que des jalons spécifiques de déploiement seront atteints, tandis que les deux entreprises collaborent pour identifier des centres de données adaptés au matériel.
SLAI présente T-Rex, un framework d'optimisation de bout en bout pour le post-entraînement à paramètres complets de modèles MoE à l'échelle du trillion de paramètres sur Ascend NPU SuperPOD. En utilisant la famille de modèles DeepSeek-V4 comme charge de travail cible, le système adresse la pression mémoire et les frais de communication grâce à un parallélisme hiérarchique et des optimisations d'exécution de noyaux.
SLAI présente T-Rex, un framework d'optimisation de bout en bout pour le post-entraînement à paramètres complets de modèles MoE à l'échelle du trillion de paramètres sur Ascend NPU SuperPOD. En utilisant la famille de modèles DeepSeek-V4 comme charge de travail cible, le système adresse la pression mémoire et les frais de communication grâce au parallélisme hiérarchique et aux optimisations d'exécution de noyaux.
IBM a été sélectionné par le département de l'Énergie des États-Unis (DoE) pour diriger un projet dans le cadre de l'appel à projets de la mission Genesis, s'engageant à fournir jusqu'à 50 millions de dollars en accès au calcul quantique pour soutenir cette initiative.
OpenAI a annoncé les détails du projet Project Camellia, un projet de centre de données à long terme dans le comté d'Effingham, en Géorgie, exposant ses premiers engagements communautaires concernant l'électricité, l'eau et les avantages locaux. L'entreprise passe un contrat avec Georgia Power Company pour 3,2 gigawatts d'électricité à fournir entre 2028 et 2032.
Cette newsletter TLDR AI couvre plusieurs développements dans l'industrie de l'IA, notamment de nouveaux matériels, des agents logiciels et des optimisations de routage.
Together AI et Y Combinator ont annoncé un partenariat pour fournir le premier cluster GPU dédié exclusivement au portefeuille de startups axées sur l'IA de Y Combinator. Cette initiative vise à résoudre le goulot d'étranglement critique de l'accès au calcul en offrant une infrastructure flexible et rentable pour l'entraînement et l'inférence, sans engagement à long terme.
L'entreprise chinoise d'intelligence artificielle Moonshot AI est devenue la première en Chine à manquer de capacité GPU. Par conséquent, l'entreprise a décidé de suspendre les nouveaux abonnements et de supprimer l'accès gratuit pour les utilisateurs.
Together AI détaille les exigences architecturales spécifiques nécessaires pour atteindre différents niveaux de fiabilité pour l'inférence GPU, arguant que les chiffres SLA standards obscurcissent souvent les domaines de défaillance réellement couverts.
NVIDIA explique comment une co-conception extrême avec ses processeurs BlueField peut résoudre les défis d'infrastructure posés par les charges de travail d'IA Agentique. L'entreprise soutient qu'à mesure que les systèmes agentiques déclenchent des chaînes complexes d'appels de modèles, d'interactions d'outils et de recherches de données, les schémas d'infrastructure traditionnels sont insuffisants pour maintenir la performance.
NVIDIA a introduit une nouvelle instruction PTX pour la multiplication carryless dans CUDA 13.3, comblant un manque de longue date où les GPU manquaient de support natif pour cette opération bien qu'elle soit présente sur les CPU x86 depuis plus de quinze ans.