Benchmark results
media Hugging Face Forums · 7 天前 · 8 次浏览

Levent Bulut 对客观投射中 LLM 标注可靠性进行基准测试

Levent Bulut 发布了一项包含三项研究的基准测试,评估土耳其叙事语料库中机器生成标注的可靠性,揭示了自动评分器与人类判断之间的显著差异。该研究使用基于规则的检测器以及 Gemini 2.5 Flash、Grok、ChatGPT 5.5 和 Claude Fable 5 High 等模型,对 120 个和 100 个场景中的六个二元工艺特征进行了测试。