Qwen、NVIDIA、Mistral 和 Black Forest Labs 发布新模型；路由与安全成为关注焦点
2026年8月3日至4日的AI新闻汇总涵盖了阿里巴巴 Qwen、NVIDIA、Mistral AI 和 Black Forest Labs 的重要模型发布，以及代理路由、基础设施和网络安全的最新进展。
MiniMax发布MiniMax H3，一款能生成带原生立体声音频的2K视频的多模态模型
MiniMax发布了MiniMax H3，这是一款通用的多模态生成模型，将文本、图像、视频和音频统一到一个上下文中，以生成长达15秒、带有原生立体声音效的2K视频片段。与依赖特定任务专用专家模型的先前架构不同，H3允许用户通过自然语言提示来表达参考和编辑关系。
xAI 为 Imagine Video 1.5 添加图像和语音引用功能
xAI 已更新其 Imagine Video 1.5 模型，支持文本、图像和语音引用，使用户能够生成分辨率高达 1080p 的视频。此次更新通过锁定跨场景的面部和声音来实现角色一致性，并支持每次生成最多七个引用。
MiniMax 发布 MiniMax H3 视频模型，开源权重即将推出
MiniMax 推出了 MiniMax H3，这是一款通用的多模态生成模型，能够理解文本、图像、视频和音频的统一上下文。该模型可生成带有原生立体声的视频，时长长达 15 秒，分辨率为 2K。
NVIDIA推出Cosmos-H-Dreams，一款用于手术机器人的实时生成式模拟器
NVIDIA推出了Cosmos-H-Dreams，这是一款面向手术机器人的实时、动作条件生成式模拟器，它将Cosmos-H-Surgical-Simulator的能力蒸馏到一个因果学生模型中。该系统通过NVIDIA的FlashDreams加速流式推理库提供服务，支持在闭环中由人员或学习到的策略进行交互控制。
Black Forest Labs 发布 FLUX 3，一种用于图像、视频、音频和机器人动作预测的多模态流模型
Black Forest Labs 发布了 FLUX 3，这是一种多模态基础模型，能够在单一架构中从图像、视频和音频中学习。它是首款通过一组权重提供视频、音频和动作预测的 FLUX 模型。
Black Forest Labs 发布 FLUX 3 多模态流模型及 FLUX-mimic 机器人模型
Black Forest Labs 推出了 FLUX 3，这是一个包含原生音频视频生成能力的多模态流模型家族。此次发布还引入了 FLUX-mimic，一个专为视频动作机器人应用设计的变体。
NVIDIA NeMo Automodel 借助 Hugging Face Diffusers 实现分布式扩散模型微调
NVIDIA 与 Hugging Face 已将 NVIDIA NeMo Automodel 集成至 🤗 Diffusers 库，为开源扩散模型提供生产级分布式训练。此次合作使用户能够在 Hugging Face Hub 上微调任何 Diffusers 格式模型，无需进行检查点转换或重写模型代码。
Google 在 Google Vids 中新增 Gemini Omni 与个人数字分身
Google 为 Google Vids 推出了两项新更新：集成用于文本视频生成和编辑的 Gemini Omni，以及允许用户创建个人数字分身的功能。这些工具旨在通过让用户从自然语言提示和图像参考中生成片段，并无需实际拍摄即可出演视频，从而简化视频制作流程。
Kimi K3发布视频展示了改进的创意任务
一段使用 Kimi K3 作为模型提供商生成的病毒式视频已被分享，展示了其在创意任务中的能力。创作者指出，输出质量感觉比之前使用 GLM 5.2 的例子显著更好。
通过原子动作实现音乐到舞蹈生成
研究人员引入了一种结构感知框架，用于音乐驱动的舞蹈生成，该框架将编舞建模为原子动作的序列，而非连续信号。
NVIDIA 讨论将上下文感知的视频 AI 代理集成到企业工作流中
能够感知、推理并对海量视频素材采取行动的视频分析 AI 代理必须与现有工作流程集成才能发挥作用。这些工作流程包括内容管理系统、消息传递平台、数据库、工单队列和升级路径。
Text2Sign：面向文本到手语视频生成的单GPU扩散基线
研究人员提出了Text2Sign，这是一种文本条件扩散模型，旨在在单个NVIDIA L4 GPU上生成短手语片段，以解决训练和评估视频扩散模型所带来的高昂成本。该系统将冻结的视觉-语言文本编码器与3D编码器-解码器以及分解的空时注意力相结合，在保持运动连贯性的同时降低计算需求。
NVIDIA DeepStream 9.1 支持多摄像头 3D 追踪
在大型空间中构建视频分析应用的开发人员必须追踪同一对象在摄像头视角之间的移动。单摄像头 2D 追踪缺乏可靠的深度信息，通常在对象离开画面时丢失目标，限制了其在仓库安全、零售分析和智能建筑监控等应用中的使用。
视频扩散模型中的串行性差距
研究人员在视频扩散模型中发现了“串行性差距”，即在多球硬球动力学模拟期间，随着因果链的延长，性能会下降。受控实验表明，这种下降是由依赖事件结构引起的，而不是视频长度，因为在没有交互的单球控制中这种现象消失了。
NVIDIA Cosmos 3 使用代理技能进行后训练，准确率超过 90%
NVIDIA 展示了使用自主编码 AI 代理对 Cosmos 3 视觉推理模型进行后训练，可以在最小化人工努力的情况下将准确率提升至 90% 以上。
Wan-Dancer 生成与音乐同步的分钟级连贯舞蹈视频
研究人员推出了 Wan-Dancer，这是一个分层框架，可生成与音乐同步的长时长、高清舞蹈视频。该系统通过将生成分解为全局关键帧规划和局部时间细化，克服了扩散模型典型的 20 秒限制。
开发者发布免费游戏《Simulation Simulator》，内置本地大语言模型NPC
开发者 MorphLand 发布了一款名为 "Simulation Simulator" 的 Steam 免费游戏，该游戏集成了本地大型语言模型作为游戏内 NPC。这是一款自由对话体验的游戏，玩家试图说服他们的 AI 同伴现实其实是一个模拟。