Rilis llama.cpp b10306 memperkenalkan optimasi kinerja untuk backend SYCL, khususnya menargetkan operasi Gated Linear Unit (GLU). Pembaruan ini menambahkan jalur cepat kontigu untuk operasi GLU terpadu dan mengonsolidasikan kernel yang sebelumnya berbeda agar berbagi peluncur bersama.
Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.
Lucebox telah bermitra dengan AMD untuk mendemonstrasikan setup perangkat keras konsumen heterogen yang mengungguli Nvidia DGX Spark dalam kecepatan inferensi. Sistem ini menggabungkan GPU AMD Radeon AI PRO R9700 dengan prosesor Strix Halo untuk menjalankan model lengkap DeepSeek V4 Flash sebesar 284B.
Artikel ini berargumen bahwa utilisasi GPU, bukan kecerdasan model, telah menjadi kendala utama dalam AI perusahaan, dengan menarik paralel pada utilisasi pesawat maskapai di mana biaya menumpuk per jam terlepas dari penggunaannya.
Patience Strong berargumen bahwa jaringan saraf saat ini mengonsumsi daya komputasi yang berlebihan dengan meniru sirkuit dalam perangkat lunak alih-alih mengimplementasikannya sebagai perangkat keras fisik. Makalah tersebut menyarankan untuk mengganti peniruan ini dengan perangkat semikonduktor di mana bobot dan bias disimpan dalam memori non-volatil.
Ai2 telah meluncurkan Platform OlmoEarth, sebuah sistem infrastruktur yang dirancang untuk membawa model dasar pengamatan Bumi dari penyetelan halus hingga inferensi skala besar. Platform ini mengatasi tantangan teknik dalam memproses terabyte data satelit multimoda dari berbagai penyedia dan resolusi.
Moonshot telah merilis bobot model Kimi K3-nya di Hugging Face, dengan 2,8 triliun parameter dan arsitektur mixture-of-experts dengan 16 ahli aktif per token. Tim berencana menempatkan model ini di GPU A100, H200, dan B300, dengan hasil benchmark diharapkan minggu ini.
Proyek llama.cpp merilis versi b10099, yang mencakup pembaruan signifikan pada backend CUDA untuk peningkatan kuantisasi aktivasi NVFP4 W4A4.
IBM telah menandatangani perjanjian definitif untuk mengakuisisi HRL Laboratories, sebuah lembaga penelitian bersejarah dengan kontribusi ilmiah hampir 80 tahun. Akuisisi ini bertujuan mempercepat visi komputasi kuantum IBM dengan mengintegrasikan keahlian lanjutan HRL dalam teknik qubit spin-silikon.
AMD dan Anthropic telah menandatangani perjanjian besar yang melibatkan puluhan miliar dolar dalam server AI, dengan Anthropic membeli hingga 2 gigawatt chip Instinct MI450 dari AMD mulai paruh pertama tahun depan. Secara bersamaan, AMD akan menginvestasikan hingga $5 miliar di Anthropic seiring tercapainya tonggak pencapaian penyebaran tertentu, sementara kedua perusahaan bekerja sama untuk mengidentifikasi pusat data yang cocok untuk perangkat keras tersebut.
SLAI memperkenalkan T-Rex, sebuah kerangka kerja optimasi end-to-end untuk pelatihan pasca-pelatihan parameter penuh model MoE berskala triliun parameter di Ascend NPU SuperPOD. Menggunakan keluarga model DeepSeek-V4 sebagai beban kerja target, sistem ini mengatasi tekanan memori dan overhead komunikasi melalui paralelisme hierarkis dan optimasi eksekusi kernel.
SLAI memperkenalkan T-Rex, sebuah kerangka kerja optimasi end-to-end untuk pelatihan pasca-pelatihan penuh parameter model MoE berskala triliun parameter di Ascend NPU SuperPOD. Menggunakan keluarga model DeepSeek-V4 sebagai beban kerja target, sistem ini mengatasi tekanan memori dan overhead komunikasi melalui paralelisme hierarkis dan optimasi eksekusi kernel.
Departemen Energi (DoE) Amerika Serikat telah memilih IBM untuk memimpin sebuah proyek di bawah Permintaan Aplikasi Misi Genesis, dengan komitmen menyediakan akses komputasi kuantum hingga senilai $50 juta untuk mendukung inisiatif tersebut.
OpenAI telah mengumumkan rincian untuk Project Camellia, sebuah proyek pusat data jangka panjang di Kabupaten Effingham, Georgia, yang menguraikan komitmen awal terkait daya, air, dan manfaat lokal. Perusahaan ini sedang melakukan kontrak dengan Georgia Power Company untuk 3.2 gigawatt daya yang akan disuplai antara tahun 2028 dan 2032.
Newsletter TLDR AI ini mencakup beberapa perkembangan di industri AI, termasuk perangkat keras baru, agen perangkat lunak, dan optimasi perutean.
Together AI dan Y Combinator telah mengumumkan kemitraan untuk menyediakan klaster GPU yang didedikasikan secara eksklusif bagi portofolio startup AI-native dari Y Combinator. Inisiatif ini bertujuan mengatasi hambatan kritis terkait akses komputasi dengan menawarkan infrastruktur yang fleksibel dan hemat biaya untuk pelatihan dan inferensi tanpa memerlukan komitmen jangka panjang.
Perusahaan kecerdasan buatan Tiongkok Moonshot AI menjadi yang pertama di Tiongkok yang kehabisan kapasitas GPU. Akibatnya, perusahaan memutuskan untuk menangguhkan langganan baru dan menghapus akses gratis bagi pengguna.
Together AI merinci persyaratan arsitektur spesifik yang diperlukan untuk mencapai tingkat keandalan berbeda untuk inferensi GPU, dengan berargumen bahwa angka SLA standar sering kali menutupi domain kegagalan aktual yang dicakup.
NVIDIA menguraikan bagaimana co-design ekstrem dengan prosesor BlueField-nya dapat mengatasi tantangan infrastruktur yang ditimbulkan oleh beban kerja Agentic AI. Perusahaan tersebut berargumen bahwa seiring sistem agentic memicu rantai kompleks panggilan model, interaksi alat, dan pencarian data, pola infrastruktur tradisional tidak cukup untuk mempertahankan kinerja.
NVIDIA telah memperkenalkan instruksi PTX baru untuk perkalian carryless di CUDA 13.3, mengatasi kesenjangan lama di mana GPU tidak memiliki dukungan native untuk operasi ini meskipun sudah ada pada CPU x86 selama lebih dari lima belas tahun.