lab Tencent Hunyuan (HF) · 1 hari lalu · releases

Tencent merilis checkpoint Simple Attention Sparsification untuk Qwen3

Diterjemahkan dari English → Bahasa Indonesia

Tencent telah merilis checkpoint Simple Attention Sparsification (SAS) yang belajar meranking dan memilih blok KV untuk setiap kueri dalam model Qwen3. Berbeda dengan metode yang mendistilasi skor perhatian padat, SAS menambahkan gerbang kontinu ke blok yang dipilih, memungkinkan optimisasi end-to-end dari perankingan konteks dengan kerugian pemodelan bahasa.

Rilis ini mencakup checkpoint gate-router untuk model Qwen3-4B, Qwen3-8B, dan Qwen3-14B.
Ini adalah bobot router-only yang memerlukan model dasar Qwen3 publik yang sesuai dan backend seer_attn di fork SGLang.
Pengaturan sparse-attention default menggunakan anggaran decode 2.048 token, tetapi checkpoint dapat dievaluasi dengan anggaran 1.024, 2.048, atau 4.096 token tanpa pelatihan ulang.

Checkpoint memungkinkan pengguna melayani API yang kompatibel dengan OpenAI menggunakan backend seer_attn untuk inferensi yang efisien.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Tencent Hunyuan (HF) Tencent Inference efficiency Open weights

Baca aslinya

Tencent merilis AngelSpec, kerangka pelatihan terpadu untuk MTP dan decoding spekulatif paralel blok

Tencent telah membuka sumber kode AngelSpec, sebuah kerangka pelatihan berbasis torch yang mendukung prediksi multi-token autoregresif (MTP) serta drafter keluarga DFlash-paralel blok untuk model Hy3. Sistem ini menganggap heterogenitas beban kerja sebagai kendala desain utama, memungkinkannya mengkhususkan struktur, data pelatihan, dan kedalaman verifikasi berdasarkan kasus penggunaan tertentu.

lab Tencent Hunyuan (HF) · 54 hari lalu · 27 tayangan

Tencent membuka sumber model terjemahan multibahasa Hy-MT2 dan IFMTBench

Tencent telah merilis keluarga model terjemahan multibahasa "berpikir cepat" Hy-MT2, termasuk ukuran 1.8B, 7B, dan 30B-A3B (MoE), bersama dengan benchmark IFMTBench untuk mengevaluasi kemampuan mengikuti instruksi.

media r/LocalLLaMA · 64 hari lalu · 9 tayangan

llama.cpp menambahkan dukungan Hy3 dengan decoding spekulatif MTP

Sebuah pull request yang diajukan ke repositori ggml-org/llama.cpp memperkenalkan dukungan untuk model Hy3 dari Tencent, khususnya varian hy_v3. Pembaruan ini memungkinkan penggunaan kepala prediksi multi-token model sebagai target decoding spekulatif draft-mtp.

arxiv arXiv cs.AI · 64 hari lalu · 15 tayangan

Deutsche Telekom merilis Soofi S 30B-A3B untuk bahasa Jerman dan Inggris

Deutsche Telekom telah merilis Soofi S 30B-A3B, sebuah model fondasi Mixture-of-Experts berdaulat dan open-source yang dioptimalkan untuk bahasa Jerman dan Inggris. Dibangun di atas German Industrial AI Cloud, model ini hanya mengaktifkan 3 miliar dari 30 miliar parameternya per token untuk mempertahankan cache inferensi yang hampir konstan seiring bertambahnya konteks.

arxiv arXiv cs.LG · 64 hari lalu · 19 tayangan

Deutsche Telekom merilis Soofi S 30B-A3B, model MoE Jerman-Inggris open-source

Deutsche Telekom telah merilis Soofi S 30B-A3B, sebuah model fondasi hibrida Mamba Transformer Mixture-of-Experts yang berdaulat dan open-source, dirancang untuk bahasa Jerman dan Inggris. Dibangun end-to-end di atas German Industrial AI Cloud, model ini hanya mengaktifkan 3 miliar dari 30 miliar parameternya per token untuk mempertahankan cache inferensi yang hampir konstan seiring bertambahnya konteks.