13億と140億の2モデル、目標は1フレーム50ミリ秒以内

米Appleの研究チームは、文章から動画を作るAIモデル「FastFrames」の重み(学習済みのパラメーター)を、Hugging FaceのAppleの組織ページで公開した。公開したのは、13億パラメーターの「FastFrames-S」と140億パラメーターの「FastFrames-L」の2つだ。モデルカードによると、どちらも前のコマに続けて次のコマを順に作る「自己回帰型」の動画拡散モデルで、ノイズを取り除く処理を2回で済ませ、480pの動画を「対話的な待ち時間」で作る。

研究チームは17日(日本時間18日)、論文「FastFrames: Video Generation at Interactive Latency」をarXivに投稿した。著者はAppleとコーネル大学の7人で、筆頭著者がAppleでインターンをしていた間の研究としている。プロジェクトのページは、操作に滑らかに応じるための目標を1フレーム50ミリ秒以下に置く。

Hugging FaceのAPIの表示では、2つのリポジトリの作成は日本時間17日午前2時21分だった。公開に切り替えた日時は示していない。モデルカードからリンクするGitHubの公式リポジトリは、日本時間18日午前6時30分に作られた。

1.3B版はB200 1基で36ミリ秒、14B版はB200 8基で45ミリ秒

論文の概要によると、FastFrames-Sは米NVIDIAのGPU「B200」1基で1フレーム当たり36ミリ秒、1秒当たり28回応答する速さで動く。Appleは、8倍近く遅い最先端のモデルと同等の品質だと説明している。FastFrames-LはB200を8基つないだ環境で1フレーム45ミリ秒、1秒当たり22回応答し、映像の品質と写実性はFastFrames-Sより大きく高いとしている。

モデルカードが示す例では、FastFrames-SがGPU 1基で480pの1フレームを作る時間は計35.4ミリ秒だった。内訳は、映像を作る本体(DiT)の2回の計算が16.1ミリ秒と16.2ミリ秒、記憶の更新が2.2ミリ秒、画素への変換が0.9ミリ秒だ。生成の例は832×480の画素で81フレーム、毎秒16フレームの動画になる。

遅れの半分超は画像への変換と記憶の更新

論文によると、研究チームは既存のモデルの推論を細かく測り、ふだんは変えられない部品として扱われてきた2つの処理が、待ち時間全体の半分超を占めることを見つけた。圧縮した形から画像に戻す処理(VAEの復号)と、それまでのコマの情報をためる「KVキャッシュ」の更新だ。FastFramesはこの2つを軽い仕組みに置き換え、動画を作る本体の計算も実装の工夫で速めた。

FastFrames-Lは、動画生成モデル「Wan2.1」の140億パラメーター版を、既存の手法「Causal Forcing++」の手順で2回の処理で動くモデルに蒸留して作った。学習の途中段階の重みも、最終版とあわせて公開している。FastFrames-Sは、Causal Forcing++の2回で動く生成器をそのまま使い、周りの部品だけを学習した。そのためFastFrames-SのHugging Faceのリポジトリには追加の部品だけが入り、容量は約1.8ギガバイトと、FastFrames-Lの約174ギガバイトより小さい。

利用は研究目的に限り、測定は最新のB200

重みのライセンス「Apple Machine Learning Research Model License」は、利用を研究目的に限る。研究目的は、科学的な知見を進めるための非営利の研究や学術開発と定め、商用の利用、製品の開発、商用の製品やサービスでの利用を含まない。重みから作った派生モデルにも同じ制限がかかる。

FastFramesのコードは「Apple Sample Code License」で公開した。リポジトリに含む「LingBot-World v2」のコードと重みは、元の開発元のCC BY-NC-SA 4.0ライセンスに従う。動かすには、Linux(x86-64)とNVIDIAのGPU、CUDA 12.8に対応したドライバーが要る。

論文は、測定にB200を使ったことを限界の1つに挙げ、端末の上で動かすことを今後の可能性として示した。付録の測定では、NVIDIAのGPU「H100」は構成によりおよそ25〜50%遅い。解像度も480pが前提で、720pではFastFrames-SがB200 1基で127ミリ秒、FastFrames-LがB200 8基で116ミリ秒と、目標の50ミリ秒を超える。

Hugging Faceでは、Apple以外の利用者がFastFrames-Lを使うアプリ(Space)を3つ公開している。21日時点で、FastFrames-Lには488、FastFrames-Sには111の「いいね」が付いた。

既存のモデルにも適用、カメラ操作のLingBotは16倍速く

研究チームは、FastFramesの手法を他の研究チームが公開した2種類のモデルにも当てはめた。キー操作でカメラを動かせる動画モデル「LingBot」と、物理法則に沿ってドラッグした物を動かす「RealWonder」だ。LingBotの13億パラメーター版は、公式の実装で最も速い構成(GPU 2基)の842ミリ秒が、GPU 8基で52ミリ秒になり、16倍速くなった。RealWonderは公式(GPU 1基)の1141ミリ秒が51ミリ秒(GPU 8基)に、LingBotの140億パラメーター版は1373ミリ秒が233ミリ秒(どちらもGPU 8基)に縮んだ。

LingBotとRealWonderが文章から動画を作るFastFramesより遅いのは、ノイズを取り除く処理の回数が多く、1回に複数のコマを作り、操作の条件を処理する計算が加わるためだと論文は説明している。Hugging Faceでは、FastFramesの手法で速めたLingBot 13億パラメーター版の部品も公開した。測定はいずれもB200で、832×480の画素で行った。

Apple自身の比較、速さで上回り「意味」の点数は一部に及ばず

論文の表1は、同じ指示文と乱数の種を使い、およそ480pで、生成の時間と動画の評価指標VBenchの点数を比べた。VBenchは数字が大きいほど良く、総合(Total)、品質(Quality)、意味(Semantic)の3つを示す。測定はB200 1基が基本で、GPU 8基の行は表に記した。

FastFrames-Sの生成時間は36ミリ秒で、同じ13億パラメーターのCausal Forcing++の272ミリ秒より短く、Appleは8倍近く速いと説明している。総合は84.23点でCausal Forcing++の84.11点を上回ったが、意味は79.92点でCausal Forcing++の80.20点、Self-Forcingの81.13点を下回った。FastFrames-L(GPU 1基で158ミリ秒)は、同じ規模のKrea-Realtime(1675ミリ秒)より速く、総合は84.44点とKrea-Realtimeの84.42点を上回った。一方、意味は80.29点で、Krea-Realtimeの81.81点、Wan2.2の81.60点に及ばず、総合でもWan2.2の84.65点を下回った。

Appleが示した、VBenchの点数と生成の待ち時間の関係の図。点数が高く、待ち時間が短いほど良く、色を付けた範囲が目標の50ミリ秒以下を示す
Appleが示した、VBenchの点数と生成の待ち時間の関係の図。点数が高く、待ち時間が短いほど良く、色を付けた範囲が目標の50ミリ秒以下を示す(出典:FastFrames:Video Generation at Interactive Latency(プロジェクトのページ、図1))
生成時間とVBenchの点数。Appleが測定し、論文の表1に載せた値(NVIDIA B200 1基が基本、およそ480p)。種類は論文の分類(Bidirectional=双方向、Autoregressive=自己回帰)
モデル種類規模(10億パラメーター)生成時間(ミリ秒)VBench総合品質意味
Wan2.1双方向1.330,44483.8084.5680.73
Wan2.2双方向14.3117,73484.6585.4181.60
MiniMax-H3双方向33.138,45484.4385.1781.47
HunyuanVideo1.5双方向8.31,555,50883.1884.1479.35
LTX2.5双方向19.011,26483.6284.7878.96
MAGI1.1 Distilled自己回帰23.919,73682.0483.4076.60
Helios Distilled自己回帰14.32,54483.4384.5379.03
Krea-Realtime自己回帰14.31,67584.4285.0881.81
LongLive2.0自己回帰5.050583.6584.5480.09
CausVid自己回帰1.366283.1884.1579.31
Self-Forcing自己回帰1.371784.1084.8481.13
Causal Forcing++自己回帰1.327284.1185.0980.20
FastFrames-S自己回帰1.33684.2385.3079.92
FastFrames-S(GPU 8基)自己回帰1.31484.2385.3079.92
FastFrames-L自己回帰14.315884.4485.4880.29
FastFrames-L(GPU 8基)自己回帰14.34584.4485.4880.29

Self-Forcingの生成時間について、論文は、同モデルが公表する値はKVキャッシュがたまる前の軽いコマも含めた平均で、Appleはキャッシュが満ちた状態で測ったと注記している。第三者による同じ条件での評価は確認できていない。