Alibaba telah mengumumkan rencana untuk mengembangkan model kecerdasan buatan yang berisi antara 5 hingga 10 triliun parameter. Seiring dengan peta jalan ini, perusahaan juga meluncurkan chip kustom baru yang dirancang untuk mendukung kebutuhan infrastrukturnya.
Huawei telah menghentikan ekspansi internasionalnya untuk chip kecerdasan buatan karena permintaan domestik di dalam China melebihi pasokan yang tersedia. Pergeseran strategis ini berarti bahwa pesaing AMD dan Nvidia tidak lagi menghadapi tekanan langsung dari masuknya Huawei ke pasar global.
Sebuah proposal di Hugging Face membahas dua masalah yang saling terkait dalam AI: ketergantungan pada pelatihan model besar terpisah dan ketergantungan ekosistem pada GPU tujuan umum.
Proyek llama.cpp merilis build b11059, yang memperkenalkan pembaruan signifikan pada backend Metal untuk perangkat keras Apple Silicon. Perubahan utama adalah penambahan dukungan input F16 ke kernel Transformasi Walsh-Hadamard Cepat (FWHT), memungkinkan pembacaan sumber F16 secara langsung tanpa memerlukan salinan konversi.
Proyek llama.cpp telah meningkatkan batas baris-id yang di-angkat untuk operasi mul_mat_id Vulkan dari 256 ahli menjadi 1024 ahli. Perubahan ini mengatasi hambatan kinerja pada model dengan jumlah ahli besar, seperti Qwen3.8-Flash-Next, yang sebelumnya berjalan pada jalur kode yang lebih lambat karena keterbatasan ukuran array bersama.
Proyek llama.cpp merilis versi b10997, yang mencakup perubahan pada heuristik ubin ncols_opt Mixture of Experts (MoE) untuk mendukung arsitektur RDNA3.5.
Rilis llama.cpp b10994 menyertakan perbaikan untuk backend Metal yang menyelesaikan keluaran NaN dalam operasi `mul_mm_id` ketika nilai aktivasi melebihi rentang f16. Cacat ini sebelumnya menyebabkan model seperti Mistral Small 4 menghasilkan kosakata sepenuhnya NaN selama langkah prefill 32 token atau lebih pada perangkat Apple Silicon.
Peneliti menyajikan ShareMMU, desain IOMMU yang memungkinkan beberapa akselerator tidak tepercaya untuk secara aman menggunakan kembali alamat yang telah diterjemahkan sebelumnya dalam ruang alamat virtual bersama. Pendekatan ini mengurangi risiko saluran samping yang terkait dengan Buffer Terjemahan Bersama (TLB) besar sambil mempertahankan kinerja tinggi.
Penulis telah membangun MOLT, runtime yang mengutamakan Windows untuk penyetelan halus QLoRA yang sadar termal pada GPU konsumen NVIDIA, dan melakukan benchmarking terhadap Unsloth menggunakan satu juta target pelatihan Qwen 1.5B pada GPU RTX 4060 Laptop.
Seorang pengguna telah mengembangkan implementasi kustom yang memungkinkan model DeepSeek V4.1 berjalan di GPU NVIDIA A100 dengan kinerja yang melebihi API resmi.
Sebuah proposal di forum Hugging Face menguraikan lapisan eksekusi GPU dan manajemen memori bersama yang dirancang untuk memisahkan kode aplikasi dari vendor perangkat keras tertentu seperti NVIDIA, AMD, dan Intel. Tujuannya adalah memungkinkan pengguna menentukan anggaran memori daripada secara manual mengonfigurasi flag khusus backend, peta perangkat, atau strategi offloading.
Peneliti mengusulkan Onyx, pendekatan hemat biaya untuk pencarian tetangga terdekat aproksimasi (ANN) disk-oblivious yang menyeimbangkan bandwidth dan jumlah akses dengan membalik desain sistem ORAM-ANN terkini.
Peneliti dari NVIDIA telah memperkenalkan GPIR, sebuah sistem yang mempercepat Private Information Retrieval (PIR) pada GPU dengan mengatasi komputasi sisi server dan lalu lintas memori tinggi yang melekat pada protokol berbasis kisi. Sistem ini menggunakan model eksekusi hibrida sadar tahap yang secara dinamis beralih antara kernel tingkat operasi dan tingkat tahap untuk memaksimalkan penggunaan kembali data di dalam chip.
Sebuah studi baru menyajikan karakterisasi terpadu tingkat sistem dari komputasi multipartai aman (MPC) dan enkripsi homomorfik sepenuhnya (FHE) untuk inferensi pembelajaran mesin yang melestarikan privasi. Pekerjaan ini mengevaluasi dua varian MPC — konversi pembagian aritmatika/biner dan pembagian rahasia fungsi — bersama dengan FHE di berbagai model CNN dan Transformer.
Tim kernel di Together AI telah mengoptimalkan pustaka ThunderKittens untuk memanfaatkan fitur baru di platform NVIDIA Vera Rubin NVL72, khususnya menargetkan peningkatan kinerja untuk perkalian matriks NVFP4 dan FP8.
Together AI mengumumkan pratinjau publik komputasi preemptible untuk Kluster GPU Together di Kubernetes, menawarkan opsi biaya lebih rendah untuk beban kerja yang toleran terhadap interupsi. Node preemptible memanfaatkan kapasitas akselerasi NVIDIA yang tidak terpakai dan ditagih sebesar 50% tetap dari tarif on-demand.
Proyek llama.cpp merilis versi b10891, yang mengatasi masalah stabilitas kritis pada GPU PowerVR. Pembaruan ini memodifikasi backend Vulkan agar kembali ke reduksi memori bersama untuk operasi perkalian matriks-vektor dekuantisasi (dmmv).
Beatriz Yankelevich dari Kelompok Sistem Kuantum Teknik MIT menggunakan GPT‑5.6 Sol, yang terintegrasi dengan Codex, untuk menjalankan dan menyempurnakan pengukuran rutin pada qubit superkonduksi secara otonom. Integrasi ini memungkinkan agen AI mengoperasikan perangkat lunak laboratorium, menganalisis hasil, dan memutuskan langkah selanjutnya tanpa pengawasan manusia yang konstan.
Anthropic telah mengamankan sewa kapasitas komputasi senilai $517 miliar selama 11 bulan terakhir, setara dengan 14.8GW, terutama dengan Google dan AWS. Ekspansi ini mencakup kesepakatan besar dengan penyedia cloud seperti Akamai dan Fluidstack, serta perjanjian senilai $45 miliar dengan Nscale.
Proyek llama.cpp merilis versi b10839, yang mengatasi crash keras di backend Vulkan yang disebabkan oleh offset tidak sejajar selama operasi pengambilan baris tensor. Sebelumnya, model seperti Qwen3-TTS dan Qwen3-VL akan gagal saat menggunakan `ggml_view` dengan offset tampilan bukan nol karena shader melakukan assert pada pelanggaran penyetelan relatif terhadap `minStorageBufferOffsetAlignment`. Pembaruan ini mengimplementasikan dukungan asli untuk offset yang diselaraskan di kedua jalur terkuantisasi dan tidak terkuantisasi, menghilangkan kebutuhan akan fallback CPU.