media r/LocalLLaMA · 1 小时前 · open_models

微软确认 OpenAI 在 GPT-6 中使用循环 Transformer

译自 English → 中文

微软的一页网页证实，OpenAI 一直在 GPT-6 系列中使用循环 Transformer（Looped Transformers），验证了 The Information 此前的报道。文档显示，GPT-6.1 Sol 使用两次推理传递，从三次减少。

文章指出，GPT-6 和 GPT-6.1 共享相同的预训练基础模型权重，但在后训练方面有所不同，GPT-6.1 使用的循环少一次。

微软随后更新了网页以删除此信息。

重要性 2/3 r/LocalLLaMA Microsoft Research OpenAI Research paper

微软研究院已发布并开源了RetroChimera，这是一个用于逆合成预测的新框架，它结合了两个互补模型以提出高质量的合成路线。该系统将基于Transformer的从头生成模型R-SMILES 2与基于图神经网络（GNN）的NeuralLoc模型相结合，采用一种学习到的集成策略对预测结果进行排序。

OpenAI 发布了 Open-1B，这是一种语言模型，其训练过程中的每一步操作都可以在异构商用硬件上以比特级精度独立复现。这种方法通过为 GPU 内核归约和数据批次排序等不确定性来源施加明确的顺序，解决了开源模型固有的可复现性问题。

与OpenAI相关的账户报道，一项由AI辅助的工作产生了与Navier-Stokes存在性与正则性问题相关的成果，该问题是千禧年大奖难题之一。声明称，大约10,000个智能体在经过约一年的多智能体强化学习训练后协作完成了任务。

OpenAI报告称，其内部AI系统已生成一项证明，表明流体运动的纳维-斯托克斯方程的动力学可以在有限时间内产生奇点。该解由一个多智能体系统得出，该系统由比GPT-6 Astra强大得多的模型驱动，确立了千禧年大奖难题表述中的命题“C”。

研究人员展示了DisCo，这是一种以技能驱动的自主代理，旨在通过从代码仓库中提炼专业知识，弥合机器学习研究中的操作知识差距。该系统通过两种互补的形式，将广泛使用的开源项目浓缩为可重用且经过验证的技能：针对通用生态系统的任务无关蒸馏，以及针对特定需求的任务导向生成。