本文介绍了一份实用指南，重点关注用于大规模分子动力学模拟的GPU发起通信技术。
它通过详细说明直接在GPU上优化数据传输和处理的方法，解决了在这些工作负载中观察原子行为的计算需求。
lab
NVIDIA Technical Blog
·
76 天前
·
inference
NVIDIA关于分子动力学中GPU发起通信的指南
译自 English → 中文
相关文章
arxiv
arXiv cs.AI
·
62 天前
·
29 次浏览
SLAI T-Rex 实现 DeepSeek-V4 在 Ascend SuperPOD 上的全参数后训练
SLAI 推出 T-Rex，这是一个端到端优化框架，用于在 Ascend NPU SuperPOD 上对万亿参数规模的 MoE 模型进行全参数后训练。以 DeepSeek-V4 模型家族为目标工作负载，该系统通过分层并行和内核执行优化来解决内存压力和通信开销问题。
arxiv
arXiv cs.CL
·
62 天前
·
23 次浏览
SLAI T-Rex 实现 DeepSeek-V4 在 Ascend SuperPOD 上的全参数后训练
SLAI 推出 T-Rex，这是一个端到端的优化框架，用于在 Ascend NPU SuperPOD 上对万亿参数规模的 MoE 模型进行全参数后训练。以 DeepSeek-V4 模型系列为目标工作负载，该系统通过分层并行和内核执行优化来解决内存压力和通信开销问题。
lab
NVIDIA Technical Blog
·
78 天前
·
21 次浏览
NVIDIA 提出非均匀张量并行以增强大规模 LLM 训练中的 goodput
NVIDIA 提出了一种使用非均匀张量并行的方法，以解决大规模 LLM 训练中的基础设施挑战。该方法旨在减轻因长时间跨数千个 GPU 运行作业时出现的未计划中断和资源波动导致的延迟。
media
r/LocalLLaMA
·
2 天前
·
11 次浏览
华为搁置全球AI芯片推广，因中国国内需求超过供应
由于中国国内需求超过可用供应，华为已暂停其人工智能芯片的国际化扩张。这一战略转变意味着AMD和Nvidia等竞争对手不再面临华为进入全球市场的直接压力。
media
Hugging Face Forums
·
3 天前
·
16 次浏览
关于Transformer渐进式模型增长及开放硬件配置文件的提案
Hugging Face上的一项提案讨论了AI中的两个相互关联的问题：对训练独立大型模型的依赖，以及生态系统对通用GPU的依赖。