自己批判型マスク言語モデルを用いた広告見出しの生成

著者らは、TransformerベースのMasked Language Modelに強化学習のpolicy gradient手法を適用することで、商品広告の見出しを生成するプログラム的な解決策を提案している。このアプローチは、販売者が宣伝したい複数の商品に対して同時に条件付けを行う。

• 本手法は、TransformerベースのMasked Language Modelに対してRL Policy gradient手法を利用する。
• 複数の商品に同時に条件付けすることで広告見出しを生成する。
• モデルは、オーバーラップ指標および品質監査において既存のTransformerやLSTM + RL手法を上回る。
• 監査によると、モデル生成の見出しは人間が提出した見出しよりも文法と創造性の面で優れている。

著者らはこれを重要視している。なぜなら、これはeコマースウェブサイトにとって手動で大規模に達成するのが難しいクリエイティブの品質基準を満たすためのスケーラブルな方法を提供するからである。