ByteDanceのSeedチームは、音声、映像、テキストを単一の統合アーキテクチャで融合するネイティブ音声・視覚フルデュプレックス大規模言語モデル「SeedRealtime」を発表した。

  • 従来のASR、VLM、TTSモジュールのカスケードスタックとは異なり、SeedRealtimeは知覚、理解、意思決定、表現を並列で実行し、連続するマルチモーダルストリーム上でリアルタイムの対話を可能にする。
  • 本モデルは外部の音声活動検出器を内部のターンテキング機構に置き換えている。
  • モダリティ間でのアイデンティティバインディング、指示保持からの能動的な発話、視覚状態に基づく修正を示している。
  • 人間による評価レポートによると、カスケードスタックと比較してペースの問題が半分になったと報告されている。
  • SeedRealtimeは現在ByteDanceのDoubaoアプリ内で稼働中だが、技術レポートやオープンウェイト、公開APIエンドポイントはない。

今回のリリースは、リアルタイム音声＋カメラ製品のための検証済み参照アーキテクチャとして機能し、直ちに第三者統合オプションが存在しないにもかかわらず、オムニモーダル対話の新基準を確立している。