あるユーザーは、CodexにピカチュウバレーボールをUmLang（観測可能な韓国のミームプログラミング言語）へポートするよう依頼し、現代的なコーディングエージェントをテストしました。エージェントは約41時間の作業を経てプロジェクトを正常に完了しました。

  • 生成されたコードは、ネイティブRust、元のJavaScript、および各種UmLang仮想マシンとのヘッドレスシミュレーションスループットを用いてベンチマークされました。
  • パフォーマンスランキングでは、Rustが首位となり、次にOriginal JS、その後Rust、Node、Python VM上のUmLang実装が続きました。
  • 正しさはすべての実装で一貫しており、パフォーマンスの違いはランタイムオーバーヘッドに起因すると考えられます。

このプロジェクトは、コーディングエージェントが極めて低リソースな言語を扱える能力を示し、言語固有の抽象化が将来のAI相互作用にどのような影響を与えるかについて疑問を投げかけています。