A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.
O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.
A Lucebox se associou à AMD para demonstrar uma configuração de hardware heterogênea para consumidores que supera a Nvidia DGX Spark em velocidade de inferência. O sistema combina uma GPU AMD Radeon AI PRO R9700 com um processador Strix Halo para executar o modelo completo DeepSeek V4 Flash de 284B.
O artigo argumenta que a utilização de GPU, em vez da inteligência do modelo, tornou-se a principal restrição na IA corporativa, traçando paralelos com a utilização de aeronaves das companhias aéreas, onde os custos acumulam por hora, independentemente do uso.
Patience Strong argumenta que as redes neurais atuais consomem poder de computação excessivo ao emular circuitos em software em vez de implementá-los como hardware físico. O artigo sugere substituir essa emulação por um dispositivo semicondutor onde pesos e vieses são armazenados em memória não volátil.
A Ai2 lançou a Plataforma OlmoEarth, um sistema de infraestrutura projetado para levar modelos fundamentais de observação da Terra do ajuste fino até a inferência em larga escala. A plataforma aborda os desafios de engenharia do processamento de terabytes de dados multimodais de satélite entre múltiplos provedores e resoluções.
A Moonshot lançou os pesos de seu modelo Kimi K3 no Hugging Face, com 2,8 trilhões de parâmetros e uma arquitetura mixture-of-experts com 16 especialistas ativos por token. A equipe planeja implantar o modelo em GPUs A100, H200 e B300, com resultados de benchmarks esperados esta semana.
O projeto llama.cpp lançou a versão b10099, que inclui uma atualização significativa no backend do CUDA para melhorar a quantização de ativação NVFP4 W4A4.
A IBM assinou um acordo definitivo para adquirir a HRL Laboratories, uma instituição de pesquisa histórica com quase 80 anos de contribuições científicas. A aquisição visa acelerar a visão da IBM em computação quântica, integrando o avançado conhecimento da HRL em engenharia de qubits de spin no silício.
A AMD e a Anthropic assinaram um acordo importante envolvendo dezenas de bilhões de dólares em servidores de IA, com a Anthropic comprando até 2 gigawatts de chips Instinct MI450 da AMD a partir do primeiro semestre do próximo ano. Simultaneamente, a AMD investirá até US$ 5 bilhões na Anthropic à medida que marcos específicos de implantação forem atingidos, enquanto ambas as empresas colaboram para identificar data centers adequados para o hardware.
O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhões de parâmetros no Ascend NPU SuperPOD. Utilizando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernels.
O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhão de parâmetros no Ascend NPU SuperPOD. Usando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernel.
O Departamento de Energia dos EUA (DoE) selecionou a IBM para liderar um projeto sob o Pedido de Aplicações da Missão Genesis, comprometendo até US$ 50 milhões em acesso a computação quântica para apoiar a iniciativa.
A OpenAI anunciou detalhes sobre o Projeto Camellia, um projeto de datacenter de longo prazo no Condado de Effingham, Geórgia, delineando seus compromissos iniciais com a comunidade em relação à energia, água e benefícios locais. A empresa está contratando a Georgia Power Company por 3,2 gigawatts de energia para serem entregues entre 2028 e 2032.
Este boletim TLDR AI cobre vários desenvolvimentos na indústria de IA, incluindo novo hardware, agentes de software e otimizações de roteamento.
A Together AI e a Y Combinator anunciaram uma parceria para fornecer o primeiro cluster de GPU dedicado exclusivamente ao portfólio de startups nativas de IA da Y Combinator. Esta iniciativa visa resolver o gargalo crítico de acesso à computação, oferecendo infraestrutura flexível e econômica para treinamento e inferência, sem exigir compromissos de longo prazo.
A empresa chinesa de inteligência artificial Moonshot AI tornou-se a primeira na China a ficar sem capacidade de GPU. Consequentemente, a empresa decidiu suspender novas assinaturas e eliminar o acesso gratuito para os usuários.
A Together AI detalha os requisitos arquitetônicos específicos necessários para alcançar diferentes níveis de confiabilidade para inferência com GPU, argumentando que os números padrão de SLA frequentemente obscurecem os domínios de falha reais cobertos.
A NVIDIA detalha como o co-design extremo com seus processadores BlueField pode resolver os desafios de infraestrutura impostos pelas cargas de trabalho de Agentic AI. A empresa argumenta que, à medida que os sistemas agênticos desencadeiam cadeias complexas de chamadas de modelo, interações com ferramentas e buscas de dados, os padrões de infraestrutura tradicionais são insuficientes para manter o desempenho.
A NVIDIA introduziu uma nova instrução PTX para multiplicação sem carry no CUDA 13.3, corrigindo uma lacração de longa data onde as GPUs careciam de suporte nativo para esta operação apesar de estar presente em CPUs x86 por mais de quinze anos.