github llama.cpp · baru saja · inference

llama.cpp b10153 menambahkan dukungan model Nanbeige4.2

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10153, yang memperkenalkan dukungan untuk arsitektur model Nanbeige4.2.

Menambahkan kompatibilitas untuk memuat dan menjalankan model Nanbeige4.2.
Memperbaiki pemeriksaan linting flake8 dalam basis kode.
Memperbaiki pemeriksaan batas loop dan menghapus logika head_dim yang redundan.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux, Windows, Android, dan iOS melalui CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL, dan backend lainnya.

Pembaruan ini memungkinkan pengguna memanfaatkan model Nanbeige4.2 dalam kerangka kerja llama.cpp sambil mendapatkan manfaat dari peningkatan kualitas kode secara umum.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Local inference

Baca aslinya

llama.cpp b10150 menyesuaikan logika pengalihan ggml dan memperbaiki grafik dsv4

Proyek llama.cpp telah merilis build b10150, yang mencakup penyesuaian pada logika ggml untuk operasi pengalihan ke backend berat. Pembaruan ini juga menangani perbaikan untuk grafik llama dsv4.

media Hugging Face Forums · 4 jam lalu

TraceML menambahkan callback Hugging Face Trainer untuk mendiagnosis bottleneck pemuatan data

Penulis telah mengintegrasikan alat diagnostik ke dalam TraceML, sebuah proyek observabilitas PyTorch sumber terbuka, untuk membantu pengguna membedakan antara masalah kinerja pelatihan yang dibatasi oleh komputasi GPU dan yang dibatasi oleh input. Fitur baru ini memungkinkan pengembang dengan cepat mengidentifikasi apakah utilisasi GPU yang rendah disebabkan oleh pemuatan data yang lambat atau batas komputasi model yang sebenarnya.

github llama.cpp · 6 jam lalu · 1 tayangan

Aaron Teo menambahkan argumen -lm mlock ke llama.cpp

Aaron Teo telah mengirimkan perubahan ke repositori llama.cpp yang memperkenalkan argumen baris perintah `-lm mlock` baru. Penambahan ini memungkinkan pengguna untuk mengunci memori secara eksplisit di wilayah tempat kode melakukan operasi `mlock` tetapi tidak menggunakan `mmap`.

github llama.cpp · 4 hari lalu

llama.cpp b10093 memperbaiki template DeepSeek v4 dan menambahkan flag drop_reasoning

Proyek llama.cpp telah merilis build b10093, yang mencakup pembaruan spesifik untuk mendukung model DeepSeek v4. Rilis ini menangani penanganan template dan memperkenalkan flag konfigurasi baru untuk keluarga model ini.

media Hugging Face Forums · 5 hari lalu

Forge menghasilkan dan mengompilasi UI sandboxed untuk model Hugging Face di browser

Amin Musah membangun Forge, sebuah playground open-source di browser untuk model Hugging Face yang secara dinamis menghasilkan antarmuka pengguna menggunakan model kode terpisah. Sistem membuat komponen TSX berdasarkan spesifikasi tugas, yang kemudian dikompilasi oleh browser di sisi klien dengan esbuild-wasm dan dijalankan dalam iframe sandboxed.