media r/LocalLLaMA · baru saja Langsung

Pemrosesan prompt terdisagregasi dengan DGX Spark dan Strix Halo

Seorang pengguna mendemonstrasikan pipeline inferensi terdisagregasi menggunakan DGX Spark untuk prefilling dan kotak Strix Halo untuk generasi token, mencapai percepatan signifikan untuk beban kerja konteks panjang. Dengan mengalihkan pemrosesan prompt yang intensif secara komputasi ke DGX sambil memanfaatkan bandwidth memori Strix untuk decoding, pengaturan ini mengatasi degradasi kinerja yang terlihat saat berjalan sendiri di Strix.

media r/LocalLLaMA · 15 jam lalu

Agen secara kolaboratif menulis wiki masif tentang RL untuk LLM (200+ makalah sejauh ini) dan siapa saja bisa bergabung

Sebuah proyek kolaboratif sedang berlangsung di mana agen AI menyusun wiki komprehensif tentang pembelajaran penguatan untuk model bahasa besar, telah memproses lebih dari 200 makalah penelitian.

media r/LocalLLaMA · 15 jam lalu

Postingan Reddit mendesak apresiasi bagi pengembang open source

Seorang pengguna Reddit menyoroti kebutuhan mendesak akan rasa syukur terhadap kontributor open-source, dengan mengutip pembaruan cepat terbaru pada vLLM sebagai contoh utama upaya komunitas.

media r/LocalLLaMA · 15 jam lalu

Membangun ulang Gemma 4 31b... lebih baik... Sebagai 26b...

Seorang pengembang menguraikan rencana untuk membangun ulang model Gemma 4 31B dengan mengurangi jumlah parameternya menjadi sekitar 26B sambil bertujuan untuk meningkatkan kinerja. Proyek ini melibatkan perubahan arsitektur, teknik pelatihan khusus, dan kurasi dataset untuk membuat model yang lebih kecil dan efisien.

media r/LocalLLaMA · 15 jam lalu

poolside/Laguna-XS-2.1

Artikel ini mengumumkan rilis Laguna-XS-2.1, sebuah model yang tersedia di Hugging Face di bawah organisasi poolside.

media r/LocalLLaMA · 15 jam lalu

Kimi K2.7 Code secara umum tersedia di GitHub Copilot

Model Kimi K2.7 Code dari Moonshot AI telah tersedia secara umum di platform GitHub Copilot.

media r/LocalLLaMA · 17 jam lalu

Pengguna Reddit bertanya apakah Ubuntu adalah distro Linux paling kompatibel untuk AI lokal

Seorang pengguna di komunitas r/LocalLLaMA beralih ke Linux dan mencari konfirmasi apakah Ubuntu menawarkan kompatibilitas terbaik untuk menjalankan beban kerja AI lokal.

media Hugging Face Forums · 17 jam lalu

Dukungan Karakter Unicode pada Unduhan Situs Web

Situs web Hugging Face gagal mengenkoding karakter Unicode dengan benar saat mengunduh file individu dari dataset, baik melalui tombol unduh atau URL resolve.

media Hugging Face Forums · 17 jam lalu

Dapatkah Agen LLM Mengembangkan Pra-penglihatan?

Artikel ini berargumen bahwa agen LLM saat ini sering bertindak dengan kesadaran implisit akan konsekuensi, yang tidak memadai untuk tugas-tugas yang berdampak. Artikel ini mengusulkan "pra-penglihatan eksplisit" sebagai lapisan arsitektur yang diperlukan untuk memastikan agen memodelkan risiko dan meramalkan efek sebelum eksekusi.

media Hugging Face Forums · 17 jam lalu

Model open-source mana yang paling baik untuk agen dukungan pelanggan?

Seorang pengguna di forum Hugging Face bertanya model AI gratis mana yang merupakan pilihan terbaik untuk membangun chatbot dukungan pelanggan AI atau asisten virtual. Pesan tersebut tidak berisi perbandingan model spesifik, hasil pengujian, atau detail teknis.

media Hugging Face Forums · 17 jam lalu

Kesalahan penghitung unduhan untuk model di Hugging Face

Seorang pengguna di forum komunitas Hugging Face melaporkan bahwa statistik unduhan untuk repositori modelnya, InternScience/Agents-A1-FP8, tetap nol meskipun telah diunggah dua hari sebelumnya. Pengguna mencatat bahwa repositori tersebut mencakup file config.json dan menduga adanya masalah teknis yang mencegah penghitung diperbarui.

media Hugging Face Forums · 17 jam lalu

Laporan Pengguna tentang Respons Tertunda dari Dukungan Penagihan Hugging Face

Seorang pengguna di forum diskusi Hugging Face melaporkan bahwa email mereka ke dukungan penagihan mengenai langganan yang tidak sah belum menerima tanggapan. Individu tersebut meminta pengembalian dana untuk biaya yang terjadi secara tidak sengaja dan mencatat kurangnya komunikasi meskipun telah menghubungi tim dukungan.

media Hugging Face Forums · 17 jam lalu

Praktik terbaik untuk mendeteksi dan mengambil delta dataset

Seorang pengguna di forum Hugging Face meminta metode efisien untuk mendeteksi kapan data baru ditambahkan atau dataset diperbarui, dengan tujuan memicu pipeline tanpa memproses ulang seluruh dataset.

media r/LocalLLaMA · 17 jam lalu

Bonsai-8B 1-bit dari PrismML mengalahkan IBM Granite pada pemanggilan alat CPU dengan tata bahasa

Sebuah benchmark model Bonsai-8B 1-bit dari PrismML melawan Granite dari IBM dan LLM lainnya mengungkapkan bahwa Bonsai-8B mencapai akurasi pemanggilan alat tertinggi saat menggunakan decoding yang dibatasi oleh tata bahasa. Uji ini, yang dilakukan pada CPU menggunakan llama.cpp, menyoroti peran kritis batasan output dalam memungkinkan model kuantisasi kecil berfungsi secara efektif untuk tugas agen.

media r/LocalLLaMA · 17 jam lalu

Lemonade SDK merilis RPG-HaloTales-V1 untuk role-playing multimedia lokal

Lemonade SDK telah merilis model baru bernama RPG-HaloTales-V1, yang dirancang untuk menyediakan pengalaman role-playing multimedia yang dapat dijalankan secara lokal oleh pengguna.

media r/LocalLLaMA · 17 jam lalu

Backend LLM lokal open-source untuk percakapan NPC ke-NPC

Penulis telah merilis backend suara-ke-suara sepenuhnya lokal yang dirancang untuk NPC Model Bahasa Besar (LLM) yang memungkinkan interaksi langsung antar-NPC tanpa ketergantungan cloud. Sistem ini mengintegrasikan komponen suara-ke-teks, LLM lokal, dan teks-ke-suara untuk memungkinkan NPC saling berbicara, mempertahankan konteks, dan memengaruhi interaksi pemain di masa depan.

media r/LocalLLaMA · 18 jam lalu

Model coding terbaik untuk setup 3x Spark?

Seorang pengguna mencari rekomendasi untuk model coding terbaik yang akan dijalankan pada setup perangkat keras khusus yang terdiri dari tiga unit Asus Ascent GX10 (GB10), dengan ekspektasi konkurensi 5-10 pengguna.

media r/LocalLLaMA · 18 jam lalu

Andi dari Hugging Face mendemonstrasikan pipeline suara open-source penuh menggunakan Gemma 4 31B

Andi dari Hugging Face telah merilis demo sepenuhnya open-source dan gratis yang membuat pipeline interaksi suara. Sistem ini mengintegrasikan parakeet Nvidia, model Gemma 4 31B yang di-servis oleh Cerebras, dan inferensi khusus untuk Qwen3TTS.

media r/LocalLLaMA · 18 jam lalu

Z.ai meluncurkan ZCode untuk menantang Cursor, Claude Code, dan GitHub Copilot dalam coding AI

Z.ai telah memperkenalkan ZCode, alat coding AI baru yang dirancang untuk bersaing dengan platform mapan seperti Cursor, Claude Code, dan GitHub Copilot.

media r/LocalLLaMA · 18 jam lalu

Pembaruan SimpleLLMChat 1.2.5 untuk AI Agentic di Windows XP

Pengembang telah merilis versi 1.2.5 dari SimpleLLMChat, sebuah harness AI agentic yang dirancang untuk dijalankan pada mesin lama menggunakan Windows XP dan .NET 4.0.