中国アント・グループ、音声と映像で同時に対話する世界モデル「Duo 1.0」の4段階蒸留版の重みを公開 MiniMaxの動画モデルが土台、性能の数字は示さず

映像と音声を作る部分の軽い版を公開

中国の金融大手アント・グループのAI部門inclusionAI（Ant Ling）は13日、世界モデル「Duo 1.0」の派生版「Duo-1.0-distill-quant」の重み（学習済みのパラメーター）を、Hugging Faceの同部門の組織ページで公開した。モデルカードによると、Duoは音声と映像をやり取りしながら、利用者と同時に話したり応じたりできる「全二重」のマルチモーダル世界モデルだ。今回のリポジトリには、Duo 1.0のうち映像と音声を作る部分「Realization」について、生成の手順を4段階に縮める蒸留をし、数値を8ビットの浮動小数点（FP8）に量子化した重みを収めた。

Hugging FaceのAPIの表示では、リポジトリの作成は日本時間13日午後5時9分で、容量は約47ギガバイトある。公開は、モデルの出現を追うXのアカウント@aitrackerbotが日本時間13日午後6時23分53秒に伝えた。同部門の公式Xアカウント@AntLingAGIでの発表は、記事の作成時点で確認できていない。

「考える」部分と「演じる」部分の2つで構成

開発チームが11日にarXivに投稿した技術報告によると、Duoは2つの部分からなる。世界とのやり取りの判断を担う「Intent」と、筋の通った音声と映像の振る舞いを作り出す「Realization」だ。どちらも音声、映像、文章を受け取り続け、利用者が途中で話をさえぎっても会話を続けられるとしている。会話のほか、実物を見せたり、仮想の場面を変えたり、マウスやキーボードを使わずにゲームを遊んだりできると説明する。

モデルカードでは、今回の重みは単体では動かず、土台となる「Duo-1.0-causal-base」と組み合わせて使う。Intent、映像と音声の符号化の部品、音声のモデル、Realizationの本体は土台の側に入っており、今回の重みはその上に重ねる。土台の既定の生成手順は50段階で、今回の版は4段階になる。

GitHubの公式リポジトリでは、Duoの重みを版ごとに整理している。1.0は土台、蒸留版、蒸留と量子化をした版の3つがそろった。1.2は土台だけを公開し、蒸留版などは「Coming soon」としている。次の2.0では、利用者の音声と映像を直接Realizationに渡し、映像でのやり取りに対応させる計画だ。

性能の数字はなく、研究者向けの先行版

Hugging Faceのモデルカード、プロジェクトのページ、論文の概要には、ベンチマークなど性能の数字は載っていない。蒸留と量子化で生成の品質や速さがどう変わったかも示しておらず、性能は確認できていない。論文の本文は、この記事では確かめていない。

GitHubのリポジトリは、Duo v1を「研究者向けの先行版」と位置づける。公開したのは録画を後から処理する仕組みで、動かすにはCUDA対応のGPUが2基要る。プロジェクトのページに載せた例も、学習データと、後から処理した推論の結果で、リアルタイムの全二重の結果は今後追加するとしている。

重みはMiniMax H3のライセンス、米国やEUは対象外

モデルカードによると、今回の重みは中国MiniMaxの「MiniMax H3」を初期値にし、Duoの開発チームが学習を重ねたものだ。ライセンス本文は、MiniMax H3を動画生成モデルと定義している。そのため重みには「MiniMax H3 Community License Agreement」が適用される。

許諾は「適用地域」に限られ、適用地域はEU、英国、韓国、米国を除く世界と定めている。商用の製品やサービスの年間売上高が2000万ドルを超える場合は、MiniMaxから事前に書面の許可を得る必要がある。商用の製品の画面には「MiniMax H3」と目立つように表示しなければならない。このほか、モデルや生成物を使ったほかのAIモデルの改良や、軍事目的での利用を禁じている。

MiniMaxは11日、同じH3シリーズの画像生成モデル「MiniMax-H3-Image」の重みを、同様に米国やEUを対象外とするライセンスで公開している。一方、GitHubのDuoのプログラムはApache 2.0ライセンスで公開した。

アント・グループのAI部門は、11月5日に画像と動画も読む言語モデル「Ling-3.2-flash」の提供を始め、10月には音声の5モデル「Ming-3.0」の重みを公開している。