研究者らは、AI駆動のコミュニケーションコーディングシステムのスケーラブルな評価データの不足に対処するため、参照行動注釈付きの制御された臨床対話データを生成するよう設計されたフレームワークであるSIMAXを開発しました。このシステムは、特定のコードブックを使用して全体的なコミュニケーション品質と計数可能な行動を制御し、事前定義されたシナリオ、ペルソナ、音声条件から模擬された臨床医-患者の相互作用を作成します。

  • SIMAXは3つの専門分野、複数の受診段階、ペルソンの特徴、アクセント条件にわたって3,388件の模擬対話を生成しました。
  • 自動評価により、UTMOSおよびWV-MOSスコアの平均値がそれぞれ3.03および2.61となり、単語誤り率（WER）および文字誤り率（CER）はそれぞれ0.07および0.05でした。
  • 人間による評価では、MOSの中央値が4.67、臨床的リアリティスコアの中央値が3.00となりました。
  • ダウンストリーム評価により、フレームワークが行動目標に対してコミュニケーションコーディングシステムがどのように応答するかを評価し、特定の次元における不十分な感度を特定する能力を示しました。

SIMAXは、制御され注釈付きの模擬対話を提供することで、コミュニケーションコーディングシステムの開発、検証、および改善のための再現可能なデータ基盤を提供します。