字节跳动Seed和清华AIR推出了CUDA Agent，这是一个智能体强化学习系统，通过训练Seed1.6大语言模型来编写超越编译器的GPU内核。

  • 该系统在分析沙箱和正确性检查中，使用131,072-token上下文进行150步的PPO训练。
  • 在KernelBench基准测试中，其通过率高达98.8%，比torch.compile快96.8%，几何平均加速比为2.11×。
  • 研究团队发布了CUDA-Agent-Ops-6K数据集、SKILL.md规范以及奖励配方，但未公开训练好的智能体权重。
  • 消融实验表明，移除智能体循环会使比编译更快的比率从96.8%降至14.1%，凸显了智能体方法的重要性。

该工作证明，将LLM置于具有迭代分析的真实CUDA开发环境中，可以显著缩小生成内核与手写或编译器生成内核之间的性能差距。