media r/LocalLLaMA · 1 jam lalu · open_models

DeepSeek V4 Flash 0731 mencapai 82.7% di Terminal-Bench 2.1 dengan harness publik

Diterjemahkan dari English → Bahasa Indonesia

Evaluasi independen menggunakan harness Ante 0.preview.71 mengonfirmasi bahwa DeepSeek V4 Flash 0731 mencapai skor akurasi 82.7% di Terminal-Bench 2.1, sesuai dengan hasil yang sebelumnya dilaporkan oleh DeepSeek.

Jalannya terdiri dari 445 percobaan di 89 tugas dengan 5 percobaan per tugas dan upaya penalaran maksimum.
Model berhasil menyelesaikan 368 percobaan dari 445, menghasilkan akurasi 82.7% (±1.79 SE).
Evaluasi menggunakan model `deepseek/deepseek-v4-flash-0731` melalui OpenRouter tanpa keterampilan yang diaktifkan.

Semua konfigurasi dan catatan percobaan tersedia secara publik dalam pekerjaan Harbor untuk verifikasi.

Hasil menunjukkan bahwa kinerja DeepSeek V4 Flash 0731 sensitif terhadap harness evaluasi, memberikan data yang berguna untuk benchmarking.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda r/LocalLLaMA DeepSeek Evaluation & benchmarks

Benchmark

Benchmark	Model	Skor
Terminal-Bench 2	DeepSeek V4 Flash 0731	82.7%

Baca aslinya

Kalibrasi mengurangi kopling preferensi evaluator dalam loop umpan balik agen LLM

Sebuah studi menyelidiki apakah kalibrasi probabilitas dari penilaian evaluator dapat meredam "kopling preferensi evaluator", di mana bias sistematis merambat ke strategi agen LLM. Penulis menyajikan analisis pertama dari pendekatan peredaman ini, dengan menerapkan kalibrasi pada penilaian berpasangan untuk mengurangi propagasi preferensi palsu.

arxiv arXiv cs.CL · 36 hari lalu

Benchmark SPLIT mengevaluasi empati lintas bahasa dan landasan budaya dalam respons LLM bahasa Inggris dan Ukraina

Benchmark SPLIT diperkenalkan untuk mengevaluasi konsistensi model bahasa besar (LLM) dalam menghasilkan respons yang berlandaskan emosi di lima kategori terkait krisis: Stres, Panik, Kesepian, Pengungsian Internal, dan Ketegangan. Kerangka kerja ini menilai tiga LLM yang secara teknis beragam mengenai akurasi empati, kealamian linguistik, dan landasan kontekstual & budaya dalam bahasa Inggris dan Ukraina.

media r/LocalLLaMA · 37 hari lalu · 2 tayangan

Tindak lanjut: DeepSeek V4 Flash di 2x RTX PRO 6000 menyelesaikan tugas coding nyata lebih cepat daripada Sonnet dan Opus, dengan kualitas sekitar setara Sonnet

Sebuah benchmark tindak lanjut mengevaluasi DeepSeek V4 Flash yang berjalan pada dua GPU RTX PRO 6000 menggunakan vLLM, membandingkan kinerjanya dalam tugas coding dunia nyata terhadap model berbasis API seperti Claude Sonnet dan Opus. Studi ini menemukan bahwa meskipun Opus dan Fable mempertahankan kualitas kode yang lebih unggul, DeepSeek V4 Flash mencapai kualitas sekitar setara Sonnet dengan waktu wall-clock yang jauh lebih cepat.

media r/LocalLLaMA · 2 hari lalu · 1 tayangan

Hasil DeepSeek V4 Flash 0731 di ARC-AGI

Artikel ini menyajikan hasil benchmark ARC-AGI untuk model DeepSeek V4 Flash 0731. Artikel ini menautkan ke halaman hasil resmi yang dihosting oleh organisasi ARC Prize.

lab Hugging Face Blog · 2 hari lalu · 3 tayangan

TutorMoments mengevaluasi apakah tutor AI tahu kapan harus membantu atau menahan diri

Para peneliti memperkenalkan TutorMoments, sebuah kerangka kerja yang dirancang untuk mengukur apakah model bahasa besar dapat menyeimbangkan trade-off pedagogis antara memberikan dukungan dan mendorong penalaran mandiri. Dibangun dari transkrip bimbingan matematika satu-satu yang nyata, sistem ini memutar ulang titik-titik keputusan untuk mengevaluasi perilaku model terhadap ground truth yang dianotasi oleh manusia.