瑞士AI发布了Apertus 1.5，这是一系列包含8B和70B参数量的语言模型，引入了多模态能力和新的推理功能。此次更新涉及在额外的4T token（针对8B模型）和2T token（针对70B模型）的多模态混合数据上继续进行预训练。

  • 支持包括图像、音频和文本在内的多模态输入，以生成文本响应。
  • 引入“思考模式”，使模型能够在生成响应之前对输入进行推理。
  • 将默认上下文长度增加到262,144个token，是Apertus 1.0的四倍。
  • 通过改进的后训练配方，增强了指令遵循和工具使用能力。
  • 保持权重、数据和训练细节的完全开源，同时支持多种语言。

此次发布旨在通过为开发者提供多样化的交互选项和提升推理任务的性能，推动多语言、多模态和透明AI的发展。