画面をモデルが1コマずつ描く研究アプリ

動画生成AIの米Runwayの研究開発チーム「Runway Labs」は11月17日(日本時間18日1時22分)、研究アプリケーション「Diffusion-UI」を公式Xアカウントで紹介した。画面のすべてのピクセルを、リアルタイムで動くモデルが生成する対話型のソフトウェアだという。今回のアプリでは、生成された画面が構造化データを使い、状態を保ち、操作用のコントロールを生成できると説明した。同チームは今回の公開を「初期の紹介(early look)」としている。

Introducing Diffusion-UI. Interactive software where every pixel is generated by a real-time model. Today, we're sharing a new research application that lets generated interfaces use structured data, maintain states and generate controls. Here’s an early look: https://t.co/M5PB5RyOaS

訳:Diffusion-UIを紹介する。すべてのピクセルをリアルタイムのモデルが生成する対話型のソフトウェアだ。きょうは、生成されたインターフェースが構造化データを使い、状態を保ち、コントロールを生成できる新しい研究アプリケーションを共有する。初期の様子はこちら。

プロンプトや枠の操作で場面を変える

続く投稿によると、文章の指示(プロンプト)を打ち込めば、場面を変えたり、物を足したり、あらゆるものをリアルタイムで編集したりできる。生成された画面は利用者の操作に合わせて1コマずつ描き直されるため、物を囲む枠(バウンディングボックス)を動かしたり大きさを変えたりするだけで場面を組み立てられるという。同チームは、ゲームの没入的な場面のような複雑な3Dの画面を描くのにも使えるとした。

地図や天気のデータをJSONで渡す

Diffusion-UIは、構造化データをもとに画面を生成できる。地図の正確な経路や最新の天気、ほかのAPIの情報をJSON形式のデータとして渡すと、モデルがその情報を使って動きのある画面を描くと説明した。生成には、データの取得元、参考にする画面の配置(レイアウト)、見た目のスタイル、文章の指示の4つの「レイヤー」を使う。マウスのポインターを重ねると、近くのボタンやスライダーなどが白い輪郭で示され、操作できる部分が分かるようにしている。

利用対象や提供時期は明らかにせず

Runway Labsは、リアルタイムに動く画面を組み立てて磨く作業を、直接的でなじみのあるものにする道具を探っているとし、さらなる試作品や道具を近く共有するとした。一連の投稿は、Diffusion-UIを誰が使えるか、提供の開始日、料金、申し込みや待機リストなどの入手方法を明らかにしていない。使っているモデルの名前や仕組み、応答の速さ、必要な計算資源も示していない。投稿には紹介動画が付いているが、ORIENSは動画の中身を確かめていない。日本時間18日2時台の時点で、Runway Labsのサイトと、Runwayの研究のページにも、Diffusion-UIの説明は確認できていない。

Runway Labsは、Runwayが3月11日に発表した社内の新事業の育成組織で、生成動画の次の世代のアプリケーションを探る。10月のXでの自己紹介では、生成動画とワールドモデル(世界の動きを予測するモデル)で試作品やアプリケーション、新しいメディアの企画を作る「最先端の研究のデザインスタジオ」と名乗り、Runwayの公式アカウントがこれを共有した。今回のDiffusion-UIの投稿も、Runwayの公式アカウントが共有している。Runwayは製品としては、文章の説明から制作用のアプリを作る「App Studio」を10月に公開している。