lab NVIDIA Research · 11 jam lalu · research

ShareMMU memungkinkan berbagi terjemahan alamat yang aman di antara akselerator tidak tepercaya dengan overhead rendah

Diterjemahkan dari English → Bahasa Indonesia

Peneliti menyajikan ShareMMU, desain IOMMU yang memungkinkan beberapa akselerator tidak tepercaya untuk secara aman menggunakan kembali alamat yang telah diterjemahkan sebelumnya dalam ruang alamat virtual bersama. Pendekatan ini mengurangi risiko saluran samping yang terkait dengan Buffer Terjemahan Bersama (TLB) besar sambil mempertahankan kinerja tinggi.

ShareMMU hanya memiliki overhead kinerja 1,66% dibandingkan dengan baseline tidak aman, jauh melampaui Border Control (32%) dan CryptoMMU (17%).
Varian tahan saluran samping, ShareMMU-SP, menambahkan sekitar 2,82% overhead.
Desain ini menangani risiko keamanan dalam sistem multi-akselerator di mana proses tidak saling mempercayai.

ShareMMU menyediakan mekanisme yang aman dan efisien untuk berbagi terjemahan alamat di lingkungan cloud dan edge dengan akselerator pihak ketiga.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Hardware & chips Safety & alignment

Baca aslinya

NVIDIA memperkenalkan Confidential Computing untuk inferensi AI yang aman

NVIDIA telah merancang NVIDIA Confidential Computing (CC) sebagai solusi untuk mengatasi kekhawatiran privasi data, kedaulatan, dan keamanan selama inferensi model AI. Teknologi ini dirancang untuk menyediakan lingkungan yang aman bagi pemrosesan data saat sedang digunakan, khususnya menargetkan kebutuhan aplikasi AI agentic. Pendekatan ini bertujuan untuk memungkinkan organisasi mengadopsi AI tanpa mengorbankan keamanan atau kinerja.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10997 memperluas heuristik ubin MoE untuk RDNA3.5

Proyek llama.cpp merilis versi b10997, yang mencakup perubahan pada heuristik ubin ncols_opt Mixture of Experts (MoE) untuk mendukung arsitektur RDNA3.5.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10994 memperbaiki NaN Metal di mul_mm_id untuk aktivasi besar

Rilis llama.cpp b10994 menyertakan perbaikan untuk backend Metal yang menyelesaikan keluaran NaN dalam operasi `mul_mm_id` ketika nilai aktivasi melebihi rentang f16. Cacat ini sebelumnya menyebabkan model seperti Mistral Small 4 menghasilkan kosakata sepenuhnya NaN selama langkah prefill 32 token atau lebih pada perangkat Apple Silicon.

media Hugging Face Forums · 1 hari lalu · 4 tayangan

AidenAI menambahkan kemampuan pengetahuan diri untuk membedakan pengakuan dari penyelesaian

AidenAI telah memperkenalkan referensi pengetahuan diri terikat spesifik proyek dalam PR #624 untuk membantu agen menjawab pertanyaan tentang lingkungan mereka sendiri secara akurat. Perubahan ini mengatasi masalah di mana agen menghasilkan jawaban yang percaya diri tetapi tidak berdasar dengan mengisi celah menggunakan tebakan yang masuk akal daripada fakta yang dapat diverifikasi.

media Hugging Face Forums · 1 hari lalu · 4 tayangan

Qwen-Scope dan Gemma Scope 2 menunjukkan bahwa kesadaran evaluasi memiliki delapan arah, bukan satu

Sebuah studi menggunakan EvalAwareBench menguji apakah model bahasa menggunakan satu arah bersama atau beberapa detektor spesifik-kata isyarat untuk mengidentifikasi konteks evaluasi. Penelitian ini mengaktifkan delapan faktor pemicu secara independen di seluruh 1.298 prompt sambil mempertahankan tugas dan entitas dasar tetap.