media r/LocalLLaMA · 3 jam lalu

Pemrosesan prompt terdisagregasi dengan DGX Spark dan Strix Halo

Seorang pengguna mendemonstrasikan pipeline inferensi terdisagregasi menggunakan DGX Spark untuk prefilling dan kotak Strix Halo untuk generasi token, mencapai percepatan signifikan untuk beban kerja konteks panjang. Dengan mengalihkan pemrosesan prompt yang intensif secara komputasi ke DGX sambil memanfaatkan bandwidth memori Strix untuk decoding, pengaturan ini mengatasi degradasi kinerja yang terlihat saat berjalan sendiri di Strix.

blog Simon Willison · 8 jam lalu

Memahami agar dapat berpartisipasi

Geoffrey Litt berargumen bahwa pengembang harus memahami kode yang dihasilkan oleh agen coding secara mendalam untuk menghindari cognitive debt dan tetap menjadi peserta aktif dalam proses kreatif.

media r/LocalLLaMA · 9 jam lalu

OpenLumara kini menghubungkan UI apa pun ke model lokal melalui endpoint OpenAI

Kerangka kerja open source OpenLumara kini mendukung koneksi ke antarmuka pengguna apa pun yang dapat berkomunikasi dengan endpoint OpenAI, seperti KoboldLite dan OpenWebUI. Pembaruan ini memungkinkan pengguna untuk mengintegrasikan harness hemat token ke dalam alur kerja mereka yang ada tanpa mengubah frontend pilihan mereka.

media r/LocalLLaMA · 9 jam lalu

Apakah ada yang menggunakan LLM lokal untuk generasi spasial skala besar atau tata kota dalam perangkat lunak seperti QGIS?

Seorang pengguna mencari rekomendasi untuk model bahasa lokal yang mampu menghasilkan data struktural skala besar, seperti tata kota secara keseluruhan, jaringan jalan, dan sistem grid kompleks.

blog Simon Willison · 9 jam lalu

llm-coding-agent 0.1a0

Simon Willison merilis llm-coding-agent 0.1a0, sebuah eksperimen awal dalam membangun agen pemrograman sederhana menggunakan pustaka LLM-nya sebagai kerangka kerja agen. Proyek ini dihasilkan dengan meminta Claude Code untuk menulis spesifikasi dan mengimplementasikan alat tersebut menggunakan TDD merah/hijau.

media r/LocalLLaMA · 9 jam lalu

Tip: gunakan PR llama.cpp ini untuk meningkatkan PP pada Intel ARC

Sebuah pull request komunitas untuk llama.cpp secara signifikan meningkatkan kecepatan pemrosesan prompt bagi pengguna Intel ARC, khususnya menguntungkan perangkat keras seperti B580. Kontributor mengoptimalkan kode dengan bantuan Claude untuk mempercepat penanganan konteks.

media r/LocalLLaMA · 9 jam lalu

Peneliti Membangun Cacing AI yang Bereplikasi Sendiri yang Beroperasi Sepenuhnya pada Model Terbuka Lokal

Sebuah makalah Arxiv baru mendetailkan pembuatan cacing AI yang bereplikasi sendiri yang berfungsi sepenuhnya menggunakan model terbuka lokal. Perkembangan ini menyoroti potensi agen AI otonom untuk beroperasi tanpa ketergantungan eksternal.

media r/LocalLLaMA · 10 jam lalu

Menuju Generasi Kernel HIP yang Lebih Baik untuk GPU AMD: Data Sintetis, Pencarian Multi-Agen, dan Pembelajaran Penguatan

Artikel dari blog Scaling Intelligence Stanford ini membahas metode untuk meningkatkan generasi kernel HIP untuk GPU AMD menggunakan data sintetis, pencarian multi-agen, dan pembelajaran penguatan.

media r/LocalLLaMA · 11 jam lalu

Dual R9700: Rumus terbaik untuk Qwen3.6 27B?

Seorang pengguna menyelidiki pengoptimalan model Qwen3.6-27B pada setup dual AMD Radeon R9700 menggunakan llama.cpp, membandingkan kinerja antara backend Vulkan dan ROCm.

media r/LocalLLaMA · 11 jam lalu

Kernel WebGPU Gemma 4 Mencapai 255 tok/s

Xenova telah merilis kernel WebGPU untuk Gemma 4, mencapai kinerja 255 token per detik. Optimasi ini memungkinkan model padat berjalan dengan kecepatan melebihi 100 T/s di browser web.

blog Simon Willison · 11 jam lalu

Menggunakan DSPy untuk mengevaluasi dan meningkatkan prompt sistem SQL Agen Datasette

Simon Willison memanfaatkan Claude Code dengan model Fable 5 untuk mengotomatisasi evaluasi dan optimisasi prompt sistem untuk Agen Datasette, khususnya menargetkan fitur eksekusi kueri SQL hanya-baca. Proses ini melibatkan pemasangan alpha terbaru Datasette dan DSPy untuk mengidentifikasi kelemahan dalam cara agen menangani informasi skema.

media r/LocalLLaMA · 11 jam lalu

Perintis AI Nvidia tolak AGI, bandingkan OpenAI dan Anthropic dengan AOL

Seorang tokoh terkemuka dari Nvidia menyatakan bahwa ia tidak percaya pada Kecerdasan Umum Buatan (AGI) dan berargumen bahwa fokus industri harus beralih ke model open-source yang disesuaikan untuk bisnis.

media r/LocalLLaMA · 11 jam lalu

Benchmark lokal dengan RTX 3090 - Qwen3.6 27b vs Ornith

Seorang pengguna membandingkan Qwen3.6 27b, Gemma4 26B A4B QAT, dan Ornith1.0 35B MoE menggunakan kerangka kerja inspect-ai pada RTX 3090 untuk mengevaluasi kinerja model lokal. Pengujian mengungkapkan hasil yang beragam di berbagai benchmark pengetahuan umum, grounding, dan pemrograman, dengan Qwen3.6 umumnya memimpin dalam skor sementara Ornith menunjukkan kekuatan di area tertentu seperti DROP.

media r/LocalLLaMA · 12 jam lalu

Pengguna memperluas Gemma 4 31B menjadi model 44B dengan 88 lapisan

Seorang pengguna Reddit telah memperluas model Google Gemma 4 31B, yang memiliki 60 lapisan, menjadi versi parameter 44B yang lebih besar yang berisi 88 lapisan. Modifikasi ini dilakukan karena Google belum merilis versi padat yang lebih besar dari model tersebut untuk digunakan di Lyzr Architect.

media Hugging Face Forums · 12 jam lalu

Jenuhnya bukti k*: kedalaman pengambilan harus dikalibrasi, bukan ditebak

Sebuah benchmark percontohan pada kedalaman bukti untuk panggilan LLM berargumen bahwa kalibrasi harus melampaui kebenaran faktual untuk mencakup kontaminasi epistemik dan kebocoran framing. Studi ini mendefinisikan 'k*' sebagai titik jenuh bukti di mana keandalan dimaksimalkan, membedakannya dari metrik top-k atau densitas keadaan standar.

media Hugging Face Forums · 13 jam lalu

Uji Stres Epistemik — Claude Sonnet 5 divalidasi oleh MarCognity-AI

Artikel ini menggambarkan validasi Claude Sonnet 5 menggunakan Skeptical Agent dari MarCognity-AI untuk mengungkap kesenjangan antara kepercayaan tekstual dan verifikasi aktual, yang disebut "Fraktur Epistemik."

media Hugging Face Forums · 13 jam lalu

Kerangka Kerja Aiywin Mengusulkan Rekursi Spiral untuk Penalaran AI

Pengembang independen Aiywin.ai memperkenalkan kerangka kerja kognitif yang menggantikan pemrosesan linier standar dengan loop rekursi spiral untuk menangani anomali dan data yang tidak lengkap. Sistem ini memperluas parameter kontekstual secara matematis hingga resolusi terstruktur ditemukan, alih-alih berhenti atau berhalusinasi.

media Hugging Face Forums · 13 jam lalu

Benchmarking Solo dan MoA pada berbagai tugas

Artikel ini menyajikan hasil benchmark yang membandingkan model individu dengan konfigurasi Mixture-of-Agents (MoA) di enam tugas: Bug, Tool, Arch, Clinical, DLQ, dan rata-rata keseluruhan. Harness evaluasi menggunakan Hermes Agent v0.18, dengan skor dihasilkan oleh ChatGPT 5.5 dan Claude opus 4.8 berdasarkan rubrik yang menimbang Benar, Kelengkapan, Kedalaman, Dapat Ditindaklanjuti, Kejelasan, dan Kepercayaan.

media r/LocalLLaMA · 14 jam lalu

Pengguna meminta model visi untuk mendeteksi api atau asap

Seorang pengguna Reddit mencari rekomendasi untuk model visi yang mampu mendeteksi api atau asap, khususnya dalam konteks memantau puing-puing yang membara selama musim kembang api 4 Juli.

media r/LocalLLaMA · 15 jam lalu

Analisis 2.3k Aplikasi AI Lokal Mengungkap 82 Kategori dan Berbagai Kasus Penggunaan

Sebuah analisis terhadap Mac App Store mengidentifikasi 2.259 aplikasi AI lokal dari lebih dari 20.000 entri yang di-scrape, menyoroti ekosistem alat niche yang berkembang yang membungkus model dengan alur kerja spesifik. Survei ini mencakup 82 kategori berbeda, mulai dari tugas umum seperti transkripsi dan OCR hingga fungsi khusus seperti styling pakaian dan bantuan kesehatan hewan peliharaan.