media r/LocalLLaMA · 1 jam lalu · open_models

Hugging Face merilis The Stack v3, dataset kode terbuka terbesar

Diterjemahkan dari English → Bahasa Indonesia

Hugging Face telah merilis The Stack v3, yang digambarkan sebagai dataset kode terbuka terbesar hingga saat ini. Rilis ini menyediakan dua metode akses berbeda untuk mengakomodasi kebutuhan pengguna yang beragam.

stack-v3-train: Versi yang hampir deduplikasi, difilter berdasarkan kualitas, dan PII-nya dihapus, dengan konten inline, dapat diakses melalui library Hugging Face datasets.
stack-v3-full: Seluruh corpus 114 TB disimpan sebagai HF Storage Bucket, mempertahankan semua duplikat dengan cluster IDs dan stubs untuk file yang dikecualikan.

Rilis ini memberikan peneliti dan pengembang akses ke repositori kode mentah yang masif, sambil juga menyediakan varian pra-pemrosesan untuk penggunaan pelatihan segera.

Kepentingan 2/3 r/LocalLLaMA Hugging Face Open weights Training data

Baca aslinya

RAGU memperkenalkan mesin GraphRAG multi-langkah dengan ekstraktor Meno-Lite-0.1 yang ringkas

RAGU adalah mesin GraphRAG modular sumber terbuka yang meningkatkan integrasi pengetahuan terstruktur dengan memisahkan ekstraksi entitas dari konsolidasi. Mesin ini memanfaatkan proses ekstraksi bertipe dua tahap, deduplikasi berbasis DBSCAN, peringkasan LLM, dan deteksi komunitas Leiden untuk mengurangi kebisingan dan kerapuhan yang ditemukan pada sistem satu kali lewati.

lab IBM Research (Granite) · 8 hari lalu

IBM membuka sumber CodeAlchemy, dataset sintetis masif berisi kode berkualitas tinggi

IBM telah membuka sumber CodeAlchemy, sebuah pipeline dan dataset sintetis yang dirancang untuk meningkatkan kinerja model AI dengan memasangkan kode bersama jejak eksekusi. Rilis ini mencakup hampir 1 triliun token di 15 bahasa pemrograman, totalnya setidaknya 200 kali ukuran Wikipedia.

arxiv arXiv cs.CL · 10 hari lalu · 1 tayangan

RAGU memperkenalkan GraphRAG multi-langkah dengan ekstraktor kompak Meno-Lite-0.1

RAGU adalah mesin GraphRAG modular open-source yang meningkatkan integrasi pengetahuan terstruktur dengan memisahkan ekstraksi dari konsolidasi melalui proses dua tahap yang melibatkan ekstraksi bertipe, deduplikasi, ringkasan, dan deteksi komunitas.

arxiv arXiv cs.CL · 11 hari lalu

Freya-TTS merilis model TTS Turki tanpa tokenizer dengan WER 8,0%

Para peneliti memperkenalkan Freya-TTS, model text-to-speech yang ringkas dan bebas tokenizer, dioptimalkan untuk bahasa Turki yang mencapai tingkat kesalahan kata (WER) 8,0% pada benchmark Freya-TR-Eval. Diffusion Transformer pencocokan aliran kondisional non-autoregresif dengan 183,2 juta parameter beroperasi di ruang laten kontinu AudioVAE2 yang dibekukan, memungkinkan rekonstruksi berkualitas tinggi 48 kHz tanpa fonemizer atau tokenizer ucapan diskrit.

arxiv arXiv cs.AI · 15 hari lalu

DiaLLM menyelidiki kesenjangan robustness-pembuatan dalam adaptasi dialek Inggris

Studi DiaLLM mengatasi ketidaksesuaian antara pemahaman dan produksi bahasa Inggris dialek dengan melakukan pra-pelatihan berkelanjutan pada tiga keluarga model bahasa bobot terbuka di Korpus Internasional Bahasa Inggris. Studi ini menerapkan paradigma pasca-pelatihan implisit dan eksplisit yang dikombinasikan dengan tiga strategi penyesuaian untuk membandingkan bahasa Inggris Australia, India, dan Inggris Utara.