MB-Bidram 发布了一个名为 WideNDepth (WND) 的实验性神经网络架构，旨在将推理能力与知识存储分离。该模型由一个作为内存的“Wide 部分”和一个作为推理器的“Depth 部分”组成。
- WND 是一个实验性架构，不同部分专注于不同的任务：宽用于记忆，深用于推理。
- WiND，一个用于构建 WideNDepth 模型的极简 PyTorch 框架，也随架构一同开源。
- 该项目被呈现为一个仍在进行中的工作，有改进空间，而非最终解决方案。
作者邀请社区探索、实验并可能改进该库和架构。
media
Hugging Face Forums
·
2 天前
·
open_models
MB-Bidram 分享实验性 WideNDepth 架构，将推理与知识分离
译自 English → 中文
相关文章
arxiv
arXiv cs.LG
·
1 天前
·
10 次浏览
Fathom-Vaidya 通过基于量表的奖励改善医疗推理
作者介绍了 Fathom-Vaidya，这是一个拥有 30B 参数的模型，它使用合成数据和基于量表的强化学习来增强诊断和临床医疗保健推理。训练框架首先对来自 MedBullets 的诊断问题应用规则引导的 RL，然后利用具有多维量表的 5.3k 合成多轮场景进行交互式临床任务。
arxiv
arXiv cs.AI
·
1 天前
·
12 次浏览
Fathom-Vaidya通过基于量表的奖励改善医疗推理
作者介绍了Fathom-Vaidya，这是一个拥有30B参数的模型，它使用合成数据和基于量表的强化学习来增强诊断和临床医疗保健推理。训练框架首先针对使用MedBullets派生问题的诊断准确性，然后通过具有多维量表的5.3k个生成场景解决多轮临床交互。
arxiv
arXiv cs.CL
·
1 天前
·
12 次浏览
Fathom-Vaidya 通过基于量表的奖励改善医疗推理
作者介绍了 Fathom-Vaidya，这是一个拥有 30B 参数的模型，它利用合成数据和基于量表的强化学习来增强诊断和临床医疗保健推理能力。
media
Hugging Face Forums
·
3 天前
·
18 次浏览
提案：将知识从 Qwen 9B 逐步转移到 27B，用于固定的 4B 模型
Hugging Face 论坛上的用户提出了一项渐进式知识转移的实验，其中固定大小的学生模型（Qwen 4B）依次从越来越大的教师模型中学习，而不是直接从最大的可用模型中学习。
arxiv
arXiv cs.LG
·
7 天前
·
20 次浏览
OpenAI 发布 Open-1B，具备完全可审计的训练过程
OpenAI 发布了 Open-1B，这是一种语言模型，其训练过程中的每一步操作都可以在异构商用硬件上以比特级精度独立复现。这种方法通过为 GPU 内核归约和数据批次排序等不确定性来源施加明确的顺序，解决了开源模型固有的可复现性问题。