Calibra 是一个开源工具包，旨在审计机器人数据集并在训练前识别质量问题。它提供了构建质量感知核心集和估计训练结果的工具。
- 机器人数据集健康检查：用于审计 LeRobot 数据集的交互式 Space。
- 包含 30 个公共 LeRobot 数据集的基准测试，附带健康评分和诊断信息。
- 质量感知的核心集选择和训练结果预测功能。
- 用于集成的 Python API 和 CLI。
该工具包旨在帮助用户在工作流的早期阶段理解数据集质量。
media
Hugging Face Forums
·
1 小时前
·
open_models
Calibra：LeRobot 的机器人数据集可观测性
译自 English → 中文
相关文章
lab
Hugging Face Blog
·
13 天前
·
14 次浏览
Hume 发布 Real World VoiceEQ 基准，用于评估人类语音 AI 的语音质量
Hume 推出了 Real World VoiceEQ，这是一个旨在通过评估系统超越文本转录识别和生成声学信息的能力，来衡量语音交互中人类质量的基准。该基准使用源自 785,000 个 TTS 和 48,000 个 STS 人类评分的超过 60 项指标，在 15 多个维度上评估了 40 多个专有和开源模型。
lab
NVIDIA Technical Blog
·
17 天前
NVIDIA推出评估通用机器人策略的方法
NVIDIA解决了严格评估机器人基础模型的问题，这些模型现在可以遵循自然语言指令来操作物体。该公司将评估确定为关键且未解决的难题，并提出了一种新方法来解决这些问题。
arxiv
arXiv cs.CL
·
20 天前
·
3 次浏览
PolicyShiftGuard 推出针对策略自适应图像护栏的基准测试和模型
研究人员推出了 PolicyShiftBench，这是一个包含 2,000 个实例（覆盖 265 张图像）的基准测试，用于评估模型是否适应主动安全策略，而不是依赖图像级先验。他们还提出了 PolicyShiftGuard，一个通过 Randomized Policy SFT 和 Boundary-Pair Policy Adaptation 训练的紧凑型 7B 模型，以处理策略变更。
arxiv
arXiv cs.CL
·
21 天前
·
3 次浏览
GaP harness 生成有向计算图以实现可靠的变分自动化
研究人员介绍了 Graph-as-Policy (GaP)，这是一个多智能体编码工具，旨在通过结合可解释编程和无模型适应性来弥合变分自动化任务中的可靠性差距。GaP 从模块化开放机器人技能库 (MORSL) 生成包含感知、规划和控制节点的有向计算图，并使用内部模拟来排练和优化这些结构。
media
r/LocalLLaMA
·
28 天前
·
2 次浏览
InternScience 发布 Agents-A1，一款拥有惊人基准测试成绩的 35B MoE 模型
InternScience 已在 Hugging Face 上发布了 Agents-A1 模型，该模型采用 350 亿参数的混合专家（MoE）架构。此次发布包含一篇可在 arXiv 上获取的技术报告，并因其卓越的基准测试性能而受到关注。