arxiv arXiv cs.LG · 3 hari lalu · sumber: 6 hari lalu · research

Metode Ketidakpastian Spekulatif mengurangi kesalahan agen teknik perangkat lunak menggunakan gerbang model draf

Diterjemahkan dari English → Bahasa Indonesia

Para penulis menyajikan Ketidakpastian Spekulatif (SU), sebuah teknik yang memulihkan sinyal kegagalan prediktif untuk agen LLM kotak hitam dengan menganalisis token output mereka saja, tanpa memerlukan akses ke logit, bobot, atau aktivasi. Dengan membalikkan decoding spekulatif, model draf berbobot terbuka kecil memberi skor pada lintasan agen dalam satu lemparan maju tunggal untuk mengekstrak fitur yang sadar fase dan mengkalibrasinya terhadap tujuan yang dapat diverifikasi.

SU menghasilkan skor kemungkinan kegagalan yang dapat dikonsumsi oleh kebijakan hilir seperti pengalihan atau intervensi manusia.
Metode ini diwujudkan sebagai gerbang veto pra-eksekusi untuk agen Qwen3-Coder-480B dan Claude 3.5 Sonnet.
Hasil penerapan menunjukkan penurunan tingkat kesalahan eksekusi sebesar 6-8 poin persentase dan biaya token sebesar 14-19%.
Pendekatan ini berpindah ke benchmark di luar distribusi tanpa pelatihan ulang dan menggeneralisasi melintasi berbagai model agen.

Metode ini memungkinkan deteksi kesalahan yang percaya diri sebelum eksekusi mahal, memungkinkan alur kerja pemrograman agentic yang lebih efisien dan andal.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.LG Alibaba (Qwen) AI agents Inference efficiency

Artikel terkait

media r/LocalLLaMA · 62 hari lalu · 8 tayangan

Qwen3.6-27B yang tidak dituning mengungguli Nemotron Puzzle-75B yang dituned dalam tugas agentic

Evaluasi kemampuan agentic menunjukkan bahwa model Qwen3.6-27B yang tidak dituned berhasil menyelesaikan semua tugas yang diuji menggunakan 6-9 panggilan alat, sedangkan Nemotron Puzzle-75B yang dituned memerlukan prompt yang disesuaikan secara manual dan jumlah giliran yang jauh lebih banyak untuk lulus.

media r/LocalLLaMA · 65 hari lalu · 6 tayangan

Qwen 3.6-27B gagal dalam pekerjaan agentic meskipun kinerja single-prompt yang kuat

Seorang pengguna melaporkan bahwa Qwen 3.6-27B berkinerja baik pada prompt tunggal tetapi gagal secara signifikan selama tugas agentic. Meskipun model menghasilkan HTML yang mengesankan dan konten yang lebih panjang daripada seri Qwen 3.5, model tersebut membuat kesalahan terus-menerus dan mengabaikan arahan dalam skenario multi-turn.

media r/LocalLLaMA · 67 hari lalu · 9 tayangan

LordNeel merilis kuantisasi GGUF dari InternScience's 35B Agents-A1 dengan NVFP4 dan MTP speculative decoding

LordNeel telah mempublikasikan kuantisasi GGUF dari Agents-A1 milik InternScience, sebuah model agen MoE 35B yang berbasis pada Qwen3.5-MoE. Rilis ini mencakup format NVFP4 yang dioptimalkan untuk GPU Blackwell dan mengintegrasikan speculative decoding prediksi multi-token (MTP) untuk meningkatkan kecepatan inferensi.

media r/LocalLLaMA · 73 hari lalu · 3 tayangan

Nilai GPU Ganda: Paralelisme Lebih Penting dari Ukuran Model untuk LLM Lokal

Penulis berargumen bahwa peningkatan dari satu GPU ke dua GPU memberikan manfaat lebih besar melalui pemrosesan paralel daripada memungkinkan penggunaan kuantisasi model yang lebih besar dan berkualitas lebih tinggi. Untuk tugas pengkodean, perbedaan kualitas antara kuantisasi Q4 dan Q6/Q8 sangat minimal, sehingga jendela konteks yang lebih luas dan throughput menjadi lebih berharga.

arxiv arXiv cs.AI · 1 hari lalu · 1 tayangan

ExecCritic menggunakan RL khusus peran untuk meningkatkan agen pemrograman melalui perbaikan yang dipandu pengujian

ExecCritic memperkenalkan kerangka kerja yang memisahkan konstruksi pengujian dari perbaikan kode sumber untuk mencegah kepercayaan palsu pada agen pemrograman. Sistem ini menggunakan Agen Pengujian dan Agen Perbaikan, keduanya didukung oleh Qwen-3.5-35B-A3B, yang dilatih secara terpisah menggunakan pembelajaran penguatan.