arxiv arXiv cs.LG · 1 jam lalu · research

Sistem RAG klinis VITA menyamai atau mengungguli LLM terdepan di HealthBench

Diterjemahkan dari English → Bahasa Indonesia

Sebuah sistem generasi yang diperkaya dengan pengambilan kembali (RAG) yang dirancang khusus bernama VITA, yang ditujukan untuk pengaturan pendapatan rendah dan menengah, dievaluasi terhadap model bahasa besar tujuan umum pada benchmark HealthBench. Pada 4.023 pertanyaan yang dinilai oleh hakim GPT-4.1, VITA berada di peringkat pertama dengan 51,9% dari poin rubrik yang mungkin, melampaui GPT-5.4, o4-mini, Gemini 3.1 Pro, dan Claude Sonnet 4.6.

Saat dievaluasi ulang terhadap model yang lebih baru menggunakan hakim bobot terbuka netral, VITA mencapai kesetaraan dengan GPT-5.5 pada skor rata-rata per pertanyaan, sementara memimpin pada skor berbobot poin dan memenangkan paling banyak pertanyaan. Studi tersebut menunjukkan bahwa spesifisitas korpus meningkatkan grounding dalam konteks klinis, memungkinkan sistem khusus tetap kompetitif dengan LLM terdepan meskipun memiliki polishing komunikasi yang mungkin lebih rendah.

Kepentingan 2/3 Mengungguli benchmark lab papan atas arXiv cs.LG Zhipu AI Benchmark results Retrieval & RAG

Benchmark

Benchmark	Model	Skor
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

Baca aslinya

VITA RAG khusus korpus cocok atau mengungguli LLM mutakhir di HealthBench

VITA, sistem generasi yang diperkaya dengan pengambilan informasi yang dirancang untuk konteks berpenghasilan rendah dan menengah, menempati peringkat pertama pada subset berbahasa Inggris dari HealthBench, mengungguli GPT-5.4, o4-mini, Gemini 3.1 Pro, dan Claude Sonnet 4.6.

media r/LocalLLaMA · 13 hari lalu · 2 tayangan

DeepSeek V4-Flash mencapai 50 pada Indeks ArtificialAnalysis

Model DeepSeek V4-Flash baru telah meraih skor 50 pada Indeks ArtificialAnalysis. Hasil ini menempatkannya hanya satu poin di bawah GLM-5.2 dan GPT-5.6 Luna.

media MarkTechPost · 25 hari lalu · 12 tayangan

Kimi K3, DeepSeek V4 Pro, dan GLM-5.2 dibandingkan pada benchmark, lisensi, dan biaya penyajian

Sebuah perbandingan tiga model Sparse Mixture-of-Experts berbobot terbuka—Kimi K3 dari Moonshot AI, DeepSeek V4 Pro, dan GLM-5.2 dari Zhipu AI—mengevaluasi kemampuan, ketentuan lisensi, dan biaya penyajian mereka untuk beban kerja pemrograman jangka panjang dan agen.

arxiv arXiv cs.CL · 28 hari lalu

Sistem BioASQ 2026 menggunakan re-retrieval yang pragmatis secara biaya dan fusi-seleksi multi-model

Para penulis menggambarkan sistem BioASQ Task 14B 2026 mereka, yang berfokus pada mengoptimalkan strategi pengambilan ulang (re-fetching) dan menggabungkan jawaban dari beberapa model bahasa. Pendekatan ini menggunakan pipeline retriever hibrida tahap pertama yang menggunakan BGE dan BM25, dikombinasikan dengan dekomposisi berbasis agen di PubMed, Europe PMC, dan iCite.

media r/LocalLLaMA · 29 hari lalu

Pengguna membangun pipeline memori pada Qwen3 235B A22B yang meraih peringkat #1 di LongMemEval-S

Seorang pengguna telah mengembangkan dan membuka sumber sebuah pipeline memori jangka panjang untuk asisten AI yang menjalankan komponen penyimpanan dan pengambilannya pada model Qwen3 235B A22B Instruct 2507. Sistem ini meraih skor 470 dari 500 pada benchmark LongMemEval-S, menempati peringkat pertama di antara sistem-sistem yang diketahui sementara dilaporkan sekitar sepuluh kali lebih efisien dalam hal token dibandingkan pesaingnya.