media Hugging Face Forums · 18 jam lalu · open_models

Uji coba plugin agen pemrograman menunjukkan penghematan token tidak sama dengan penurunan biaya

Diterjemahkan dari English → Bahasa Indonesia

Analisis tugas agen pemrograman menggunakan GPT-5.6-sol dan Codex CLI 0.144.1 menunjukkan bahwa mengurangi konteks token sebesar 90% tidak menghasilkan penghematan biaya yang proporsional untuk keseluruhan tugas.

Benchmark penulisan ulang repositori yang membandingkan tanpa plugin, Ponytail, dan plugin RTK terisolasi menunjukkan perbedaan biaya yang minimal meskipun terdapat variasi token.
Ponytail mencapai 7.56% token lebih sedikit dan biaya 8.87% lebih rendah tetapi memerlukan durasi 13.51% lebih lama dibandingkan dengan baseline.
RTK menghasilkan 13.20% token lebih banyak dan biaya 7.18% lebih tinggi dengan 44% putaran lebih banyak daripada baseline.
Input yang di-cache menyumbang 96.46% dari token dan 63.91% dari biaya, sementara output model hanya 0.38% dari token.
Variansi tinggi antar-jalankan (30-51%) menunjukkan bahwa perubahan rata-rata kecil tidak signifikan dibandingkan dengan fluktuasi alami.

Penulis berargumen bahwa alat penghemat token harus dievaluasi berdasarkan biaya per tugas yang selesai terverifikasi, termasuk variansi antar-jalankan berulang, latensi, dan metrik kualitas.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Code generation Evaluation & benchmarks

Artikel terkait

lab OpenAI News · 12 hari lalu · 6 tayangan

Audit OpenAI menemukan ~30% tugas SWE-Bench Pro rusak

OpenAI melakukan audit terperinci pada benchmark coding SWE-Bench Pro dan memperkirakan bahwa sekitar 30% dari tugasnya rusak karena cacat desain. Penyelidikan ini dipicu oleh kekhawatiran bahwa kesalahan evaluasi dapat misrepresented kemampuan model dan kasus keamanan, yang menyebabkan OpenAI menarik rekomendasi sebelumnya untuk mengadopsi benchmark ini.

arxiv arXiv cs.CL · 13 hari lalu

GameEngineBench mengevaluasi agen pemrograman pada tugas C++ Unreal Engine 5

Para penulis memperkenalkan GameEngineBench, sebuah benchmark yang dirancang untuk mengevaluasi agen pemrograman pada tugas implementasi C++ dalam cakupan tertentu di dalam proyek Unreal Engine 5. Dibangun dari sembilan repositori game dunia nyata, set evaluasi terdiri dari 110 tugas yang mencakup mekanik gameplay, perilaku multiplayer, AI, animasi, UI, dan plugin rendering.

media r/LocalLLaMA · 17 hari lalu · 2 tayangan

Tindak lanjut: DeepSeek V4 Flash di 2x RTX PRO 6000 menyelesaikan tugas coding nyata lebih cepat daripada Sonnet dan Opus, dengan kualitas sekitar setara Sonnet

Sebuah benchmark tindak lanjut mengevaluasi DeepSeek V4 Flash yang berjalan pada dua GPU RTX PRO 6000 menggunakan vLLM, membandingkan kinerjanya dalam tugas coding dunia nyata terhadap model berbasis API seperti Claude Sonnet dan Opus. Studi ini menemukan bahwa meskipun Opus dan Fable mempertahankan kualitas kode yang lebih unggul, DeepSeek V4 Flash mencapai kualitas sekitar setara Sonnet dengan waktu wall-clock yang jauh lebih cepat.

arxiv arXiv cs.CL · 17 hari lalu

TestEvo-Bench: Benchmark Eksekutabel dan Langsung untuk Ko-Evolusi Tes dan Kode

Para penulis memperkenalkan TestEvo-Bench, sebuah benchmark langsung yang dirancang untuk mengevaluasi seberapa baik agen otomatisasi tes menangani ko-evolusi kode dan tes. Ini mengatasi keterbatasan dalam benchmark yang ada dengan menyediakan tugas-tugas eksekutabel yang berakar pada riwayat commit nyata dengan konfigurasi lingkungan.

media r/LocalLLaMA · 18 hari lalu · 5 tayangan

Benchmark lokal dengan RTX 3090 - Qwen3.6 27b vs Ornith

Seorang pengguna membandingkan Qwen3.6 27b, Gemma4 26B A4B QAT, dan Ornith1.0 35B MoE menggunakan kerangka kerja inspect-ai pada RTX 3090 untuk mengevaluasi kinerja model lokal. Pengujian mengungkapkan hasil yang beragam di berbagai benchmark pengetahuan umum, grounding, dan pemrograman, dengan Qwen3.6 umumnya memimpin dalam skor sementara Ornith menunjukkan kekuatan di area tertentu seperti DROP.