NVIDIAの開発者がvLLMに対応のPR

米NVIDIAの開発者が11月17日(日本時間18日未明)、未発表のモデル「Nemotron Shortcut」に対応するPR(プルリクエスト、変更の提案)を、推論ソフト「vLLM」の公開リポジトリに出した。vLLMは、AIモデルをサーバーで動かして利用者に提供するための公開ソフトだ。PRの題名は「Add Nemotron Shortcut (text, MTP, vision-language)」で、モデルを動かすコードを新しいフォルダにまとめて加える。NVIDIAの公式発表は確認できておらず、公開リポジトリから見えたリークの情報だ。

PRの作成者のGitHubアカウントは、公開プロフィールの所属欄に「NVIDIA」と記している。コミット(変更の記録)の署名もnvidia.comのアドレスで、共同作成者として名前が挙がった開発者7人のうち6人もnvidia.comのアドレスだった。

PRは、モデルの置き場所として「nvidia/NemotronShortcut」を登録し、まだネット上で取得できないことを示す設定(is_available_online=False)を付けた。Hugging Faceの公開APIでも、11月21日朝の時点で、この名前のモデルは公開のものとして確認できなかった。

型名は「nemotron4」

PRの中で、このモデルの設定の型名は「nemotron4」と「nemotron4_text」、モデルの構造の名前は「Nemotron4ForConditionalGeneration」になっている。PRのページには、作成者の手元のリポジトリにある「Port Nemotron4 frontend to 0.33」という下書きの変更も、関連として表示された。

「Nemotron 4」の名前は、10月22日にも同社の推論ソフト「TensorRT-LLM」の開発記録に「nemotron4-nano-preview」として現れていた。Nemotron Shortcutが「Nemotron 4」のどの位置づけのモデルなのかは、PRには説明がない。

文章、画像、動画を入力、性質の違う部品を組み合わせる

PRの本文によると、Nemotron Shortcutは文章、画像、動画を入力できる。画像はvLLMにある「Pixtral」の画像エンコーダーを土台にした部品で読み取り、動画は複数のフレームを1つのまとまりとして読み込む。

モデルの本体は、性質の違う部品を組み合わせた「ハイブリッド」の構成だ。コミットの説明では、「GDP(Gated DeltaProduct)」と呼ぶミキサー(トークンの間で情報を混ぜる部品)、「SDSA」と呼ぶ疎な注意の仕組み、「shortcut MoE」のブロックを組み合わせる。SDSAは、索引役の部品がトークンごとに参照する相手を上位の一定数に絞り、その相手にだけ注意の計算をする。

MoE(複数の小さな専門のネットワークのうち一部だけを動かす作り)には、「shortcut」と名付けた工夫がある。入力ごとに振り分ける専門家がブロックの入力をそのまま読むため、ミキサーの計算が終わる前に専門家への振り分けを始められるという。

生成を速めるため、先の複数のトークンを予想する「MTP」の部分も持つ。重みは16ビットのBF16、8ビットのMXFP8、4ビットのNVFP4の形式に対応し、複数のGPUにモデルを分けて動かす方式(TP、PP、DP+EP)にも対応する。計算途中の結果をためる領域(KVキャッシュ)をNVFP4で持つ使い方は、部品ライブラリー「FlashInfer」の更新を待つ。vLLMでの実装はNVIDIAのGPU向けだけで、パッケージの説明には「Only an NVIDIA implementation exists」とある。

試験はGB300で、性能の数字は示さず

作成者は、NVIDIAの画像処理半導体「GB300」を4基積んだ1台で試したと書いている。単体の試験は1496件が通り、1件が失敗した。失敗した1件は、vLLMの本線でも起きるものだという。

16ビットのモデルで、算数の文章題の試験「gsm8k」の正答率と、MTPの予想が採用される割合が、vLLM側の設定とモデル側の設定で同じになったとするが、数字は示していない。NVFP4の専門家の部分の試験は、FlashInferの機能が足りず1件を飛ばした。パラメーター数、学習データ、使用許諾、公開の時期、他社のモデルとの性能比較は、PRに書かれていない。

取り込みは目前、前提の変更は取り込み済み

PRは18日夕方(日本時間)に下書きからレビュー待ちに変わった。レビューを受けて、モデルの設定と画像処理の部品はvLLM側に持たず、モデルと一緒に配る側のものを読む形に改めた。vLLMの開発メンバー2人が19日夜(日本時間)に承認し、自動で取り込む設定にした。

このモデルを動かすのに必要な、KVキャッシュの配置を直すPR #67941は、日本時間20日未明に取り込まれた。ORIENSが21日8時55分(日本時間)に確認した時点では、#68198はまだ取り込まれていない。

Nemotron Shortcutをめぐる経緯(11月の日付は日本時間)。vLLMのPR #68198、#67941とORIENSの既報による
  1. TensorRT-LLMの開発記録に「nemotron4-nano-preview」が現れるリーク
  2. 前提となるvLLMのPR #67941が出るリーク
  3. Nemotron Shortcutに対応するPR #68198が下書きで出るリーク
  4. PR #68198がレビュー待ちになるリーク
  5. vLLMの開発メンバー2人が承認し、自動で取り込む設定に第三者
  6. PR #67941が取り込まれる第三者