arxiv arXiv cs.CL · baru saja · research

VITA RAG khusus korpus cocok atau mengungguli LLM mutakhir di HealthBench

Diterjemahkan dari English → Bahasa Indonesia

VITA, sistem generasi yang diperkaya dengan pengambilan informasi yang dirancang untuk konteks berpenghasilan rendah dan menengah, menempati peringkat pertama pada subset berbahasa Inggris dari HealthBench, mengungguli GPT-5.4, o4-mini, Gemini 3.1 Pro, dan Claude Sonnet 4.6.

VITA meraih 51,9% dari poin rubrik yang mungkin pada 4.023 pertanyaan, di depan GPT-5.4 (46,1%) dan Claude Sonnet 4.6 (37,3%).
Ketika dievaluasi ulang terhadap model terbaru seperti GPT-5.5 menggunakan hakim netral, VITA mencapai kesetaraan dengan GPT-5.5 pada skor rata-rata per pertanyaan sambil memimpin pada skor berbobot poin.
Sistem ini mengambil informasi dari korpus yang dikurasi berisi pedoman spesifik penyakit dan data resistensi antimikroba spesifik India.

Hasil menunjukkan bahwa sistem RAG klinis yang dibangun khusus tetap kompetitif dengan LLM mutakhir, menunjukkan bahwa kekhususan korpus meningkatkan penambatan meskipun kurang dalam hal kehalusan komunikasi.

Kepentingan 2/3 Mengungguli benchmark lab papan atas arXiv cs.CL OpenAI Anthropic Google DeepMind Benchmark results Retrieval & RAG

Benchmark

Benchmark	Model	Skor
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

Baca aslinya

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.

media IntuitionLabs · 119 hari lalu · 45 tayangan

GPT-5.2 mencapai ~53% pada benchmark ARC-AGI-2 pada Desember 2025

GPT-5.2 dari OpenAI, yang dirilis pada Desember 2025, menandai tonggak penting dalam penalaran abstrak AI dengan mencapai tingkat keberhasilan sekitar 53–54% pada benchmark ARC-AGI-2. Kinerja ini jauh melampaui keadaan seni sebelumnya, di mana tidak ada sistem model tertutup yang sebelumnya berhasil mencapai bahkan 5% keberhasilan pada tugas-tugas ini.

lab ARC Prize · 434 hari lalu · 1 tayangan

Pengujian sistem penalaran AI utama tidak menemukan pemenang jelas pada benchmark ARC

Tinjauan terhadap sistem penalaran AI mutakhir dari laboratorium termasuk OpenAI, DeepMind, xAI, DeepSeek, dan Anthropic mengungkapkan bahwa meskipun skalasi komputasi saat pengujian meningkatkan akurasi, hal tersebut secara signifikan mengurangi efisiensi. Analisis ini mengidentifikasi Pareto frontier untuk skor ARC-AGI-1 namun mencatat kegagalan total pada benchmark ARC-AGI-2 yang lebih menantang, menunjukkan keterbatasan umum di seluruh model utama.

arxiv arXiv cs.LG · 2 hari lalu · 2 tayangan

Peneliti mengeksploitasi penggunaan ulang enkripsi lintas sesi untuk mencuri jejak penalaran dari API LLM

Para peneliti telah mengidentifikasi kerentanan dalam cara penyedia model bahasa besar terkemuka menangani jejak penalaran bertahap, yang dikembalikan sebagai blok terenkripsi untuk penggunaan sisi klien. Mereka menemukan bahwa blok-blok terenkripsi ini sepenuhnya kompatibel dan dapat dipertukarkan di seluruh sesi, pengguna, dan model yang berbeda dalam ekosistem penyedia yang sama.

media MarkTechPost · 27 hari lalu

Mistral Vibe for Code memimpin empat agen pemrograman dalam tugas scaffold-ke-PR

Perbandingan kemampuan Mistral Vibe for Code, Claude Code, OpenAI Codex, dan Cursor mengevaluasi kinerja mereka pada alur kerja multi-tahap yang melibatkan scaffolding, pengujian, dan pembuatan pull request. Skor diperoleh dari fitur yang didokumentasikan, benchmark yang dipublikasikan, dan spesifikasi vendor per 14 Juli 2026.