github llama.cpp · 1 jam lalu · inference

llama.cpp b10437 menambahkan dukungan untuk model MiniMax-Text-01 dan MiniMax-M1

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10437, yang memperkenalkan dukungan native untuk model bahasa kausal MiniMax-Text-01 dan MiniMax-M1. Pembaruan ini mencakup skrip konversi yang diperlukan, template obrolan, dan implementasi arsitektur model untuk menjalankan model-model spesifik ini dalam kerangka kerja llama.cpp.

Menambahkan dukungan untuk `MiniMaxText01ForCausalLM` dan `MiniMaxM1ForCausalLM` pada lapisan model.
Mengimplementasikan penekanan token untuk embedding dengan nilai nol untuk mencegah gangguan pada proses pengambilan sampel.
Mengoptimalkan kinerja dengan menghapus operasi transpose state dan menggunakan fungsi umum untuk implementasi yang ringkas.
Menambahkan template obrolan Jinja khusus untuk MiniMax-M1.
Termasuk artefak build untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan berbagai akselerator.

Rilis ini memungkinkan pengguna menjalankan model MiniMax secara lokal menggunakan infrastruktur inferensi yang ada dari llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp MiniMax Inference efficiency

Baca aslinya

llama.cpp b10142 menambahkan dukungan awal visi MiniMax-M3

Proyek llama.cpp merilis build b10142, yang memperkenalkan dukungan visi awal untuk model MiniMax-M3. Pembaruan ini mengimplementasikan port teks-saja yang menggunakan kembali komponen yang ada dari MiniMax-M2, termasuk GQA dengan QK-norm per-kepala dan rotary parsial, ahli gaya DeepSeek-V3, dan aktivasi swigluoai.

github llama.cpp · 8 jam lalu

llama.cpp b10435 memperbaiki biaya kuadratik di jinja gather_string_parts

Proyek llama.cpp telah merilis versi b10435, yang mengatasi masalah kinerja dalam mesin template Jinja. Perubahan utama memperbaiki bug kompleksitas waktu kuadratik dalam fungsi `gather_string_parts`.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10434 meneruskan reasoning_effort ke template

Proyek llama.cpp merilis build b10434, yang menambahkan dukungan untuk meneruskan parameter `reasoning_effort` ke template Jinja. Perubahan ini memastikan bahwa nilai `reasoning_effort` dari OpenAI Chat Completions disimpan dan tersedia selama generasi.

lab NVIDIA Research · 12 jam lalu · 6 tayangan

Nvidia menghadirkan FusionRelight untuk pencahayaan ulang potret secara real-time melalui fusi pengetahuan domain hibrida

Peneliti dari Nvidia telah memperkenalkan FusionRelight, sebuah metode untuk pencahayaan ulang potret yang menggabungkan transfer iluminasi yang secara fisik masuk akal dengan pelestarian identitas dan inferensi real-time yang ringkas. Pendekatan ini memanfaatkan Fusi Pengetahuan Domain Hibrida (HDKF), sebuah kerangka pelatihan yang mendistilasi prior fisika, reflektansi, dan realisme dari data sintetis, One-Light-at-a-Time (OLAT), dan di alam liar ke dalam model siswa.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b10431 menambahkan rollback keadaan rekuren untuk model SSM

Proyek llama.cpp merilis versi b10431, yang memperkenalkan dukungan untuk rollback keadaan rekuren (RS) dalam operasi ggml_ssm_scan. Perubahan ini memungkinkan rollback RS untuk model Nemotron di backend CPU dan CUDA.