DeepSeek发布了DeepSeek-R1，这是一个使用纯强化学习训练的大型语言模型，旨在增强其推理能力，而不依赖人工标注的演示数据。
该模型展现出涌现的高级推理模式，包括自我反思、验证和动态策略调整。与通过传统监督学习训练的模型相比，它在数学、编程竞赛和STEM领域的可验证任务上取得了更优越的性能。此外，这个大规模模型开发的推理模式可用于指导和改进较小的模型。
这种方法表明，仅靠强化学习就能有效地激励大语言模型中的复杂推理行为，从而减少对大量人工标注数据的依赖。
arxiv
Moonshot AI (arXiv)
·
609 天前
DeepSeek-R1通过强化学习激励大语言模型推理
译自 English → 中文
相关文章
arxiv
Moonshot AI (arXiv)
·
609 天前
·
32 次浏览
DeepSeek 通过强化学习发布 R1 推理模型
DeepSeek 推出了其第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1，在推理任务上取得了与 OpenAI-o1-1217 相当的性能。DeepSeek-R1-Zero 通过大规模强化学习进行训练，无需监督微调；而 DeepSeek-R1 使用带有冷启动数据的多阶段流水线以提高可读性。
arxiv
Moonshot AI (arXiv)
·
635 天前
·
24 次浏览
DeepSeek-V3：采用无辅助损失平衡的671B MoE模型
DeepSeek-AI 推出了 DeepSeek-V3，这是一款强大的混合专家（Mixture-of-Experts）语言模型，总参数量为 671B，每个 token 激活 37B。该模型采用多头潜在注意力（Multi-head Latent Attention）和 DeepSeekMoE 架构，以实现高效的推理和高性价比的训练。
arxiv
arXiv cs.LG
·
1 天前
·
10 次浏览
Fathom-Vaidya 通过基于量表的奖励改善医疗推理
作者介绍了 Fathom-Vaidya，这是一个拥有 30B 参数的模型，它使用合成数据和基于量表的强化学习来增强诊断和临床医疗保健推理。训练框架首先对来自 MedBullets 的诊断问题应用规则引导的 RL，然后利用具有多维量表的 5.3k 合成多轮场景进行交互式临床任务。
arxiv
arXiv cs.AI
·
1 天前
·
12 次浏览
Fathom-Vaidya通过基于量表的奖励改善医疗推理
作者介绍了Fathom-Vaidya，这是一个拥有30B参数的模型，它使用合成数据和基于量表的强化学习来增强诊断和临床医疗保健推理。训练框架首先针对使用MedBullets派生问题的诊断准确性，然后通过具有多维量表的5.3k个生成场景解决多轮临床交互。
arxiv
arXiv cs.CL
·
1 天前
·
12 次浏览
Fathom-Vaidya 通过基于量表的奖励改善医疗推理
作者介绍了 Fathom-Vaidya，这是一个拥有 30B 参数的模型，它利用合成数据和基于量表的强化学习来增强诊断和临床医疗保健推理能力。