Research paper
arxiv arXiv cs.AI · 2 天前 · 18 次浏览

CodeMidas 利用源代码扩展智能体编码强化学习环境

研究人员介绍了 CodeMidas,这是一种智能体管道,它使用源代码作为唯一输入,从开源代码库中实现的功能构建强化学习环境。 该方法分配智能体计算资源以探索功能、构建基于执行的测试,并通过重复 rollout 验证任务,最终生成涵盖 23 种编程语言的 5,545 个训练任务数据集。 在 GRPO 的帮助下在这些任务上训练 MiMo-V2.5,在五个多样化的基准测试中提升了性能,包括 DeepSWE (+11.7%)、ProgramBench (+17%) 和 Terminal-Bench v2.1 (+8.5%)。 轨迹分析表明,经过 RL 训练的代理表现出更好的行为,例如更深入的代码库探索和更多样化的自我验证。 这些结果确立了源代码作为构建强化学习环境的可扩展基础,能够提升编码智能体在多样化软件任务中的表现。

media Hugging Face Forums · 3 天前 · 16 次浏览

研究者寻求一名独立标注员以解决LLM协议歧义

一位研究者请求一名独立的真人标注员对100个土耳其语叙事场景进行标注,以确定低评分者间一致性是源于任务的解释性本质,还是由于标注定义不明确。研究发现,四个大型语言模型和一个基于规则的检测器彼此之间以及与人类参考标准的一致性大致处于随机水平,Cohen’s κ得分范围在0.000到0.185之间。