media Hugging Face Forums · 1 jam lalu · open_models

TraceML menambahkan callback Hugging Face Trainer untuk mendiagnosis bottleneck pemuatan data

Diterjemahkan dari English → Bahasa Indonesia

Penulis telah mengintegrasikan alat diagnostik ke dalam TraceML, sebuah proyek observabilitas PyTorch sumber terbuka, untuk membantu pengguna membedakan antara masalah kinerja pelatihan yang dibatasi oleh komputasi GPU dan yang dibatasi oleh input. Fitur baru ini memungkinkan pengembang dengan cepat mengidentifikasi apakah utilisasi GPU yang rendah disebabkan oleh pemuatan data yang lambat atau batas komputasi model yang sebenarnya.

Integrasi menambahkan `TraceMLTrainerCallback` ke `Trainer` Hugging Face, memerlukan perubahan pengaturan minimal.
Ini memisahkan waktu tunggu input dari pekerjaan langkah untuk memberikan putusan praktis tentang jenis bottleneck.
Contoh Colab dengan ResNet-50 menunjukkan bahwa penyesuaian pengaturan DataLoader mengubah diagnosis dari dibatasi input menjadi dibatasi komputasi dan meningkatkan kecepatan sebesar 1.83×.

Alat ini membantu pengguna menghindari mengoptimalkan komponen yang salah dengan memperjelas batasan spesifik yang mempengaruhi jalankan pelatihan mereka.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Local inference

Artikel terkait

github llama.cpp · 3 jam lalu · 1 tayangan

Aaron Teo menambahkan argumen -lm mlock ke llama.cpp

Aaron Teo telah mengirimkan perubahan ke repositori llama.cpp yang memperkenalkan argumen baris perintah `-lm mlock` baru. Penambahan ini memungkinkan pengguna untuk mengunci memori secara eksplisit di wilayah tempat kode melakukan operasi `mlock` tetapi tidak menggunakan `mmap`.

github llama.cpp · 4 hari lalu

llama.cpp b10093 memperbaiki template DeepSeek v4 dan menambahkan flag drop_reasoning

Proyek llama.cpp telah merilis build b10093, yang mencakup pembaruan spesifik untuk mendukung model DeepSeek v4. Rilis ini menangani penanganan template dan memperkenalkan flag konfigurasi baru untuk keluarga model ini.

github llama.cpp · 5 hari lalu · 1 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

github llama.cpp · 6 hari lalu

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

media Hugging Face Forums · 9 hari lalu · 3 tayangan

zhongkaifu merilis TensorSharp, mesin inferensi LLM asli .NET untuk model GGUF

zhongkaifu telah merilis TensorSharp, mesin inferensi LLM lokal sumber terbuka yang dibangun sepenuhnya dalam C# dan mendukung Windows, macOS, serta Linux. Mesin ini menangani model GGUF dari Unsloth, termasuk Gemma 4 dan Qwen 3.6 dengan kemampuan multimodal, sambil menyediakan API yang kompatibel dengan OpenAI dan Ollama.