中国4社の6モデル、Blackwellで初期化と主張

中国のAI大手4社、DeepSeek、Moonshot AI（月之暗面）、MiniMax、Ant Groupの最新モデルが、米NVIDIAのGPU（AIの計算に使う半導体）「Blackwell」で作られたとする独自の解析結果を、Will Depue氏が協定世界時11月12日21時29分42秒（日本時間13日午前6時29分42秒）にXに投稿した。氏はBlackwellを「中国への輸出が禁じられている」チップと説明している。各社が公開したモデルの重み（学習で決まるモデルの数値）を解析した結果だとし、内部情報やリークには基づかないと強調した。

解析の対象として挙げたのは6つのモデルで、氏は「DeepSeek-V4-Pro」「Kimi K3」「MiniMax-M3」を含む6モデルがBlackwellのシステムで初期化（学習を始める前の重みの設定）されたと主張した。6モデルのうち4モデルは、NVIDIAの液冷のラック型システムに使う「Grace Blackwell」の「GB200」と「GB300」に一致したという。投稿が名前を挙げたのは、この3モデルと、検証の説明に出てくる「DeepSeek-V4-Flash」で、残りのモデル名は投稿に書かれていない。

これは第三者による分析で、4社やNVIDIA、米政府が認めたものではない。投稿の冒頭は4社が最新モデルを「Blackwellで作った」と書くが、検証として示したのは初期化の段階でどのGPUを使ったかの照合だ。チップの入手経路や設置場所、学習のすべてをBlackwellで行ったかには、投稿は触れていない。

I have a major result to share. I’ve found conclusive forensic evidence that the top 4 Chinese AI labs—DeepSeek, Moonshot, MiniMax and Ant Group—have built their newest models on NVIDIA’s most advanced Blackwell chips, which are barred from export to China. This sounds insane, but I discovered that almost every AI model carries a hidden signature of the GPU that trained it. When a model is first set up, the starting values of its weights are laid out in a pattern that depends on the exact GPU. Each combination of GPU and seed number produces a unique pattern—a sort of fingerprint of the hardware used to create the model. Traces of that pattern survive training into the published model. Again, this evidence isn’t based on any insider information or leaking. It’s based on a forensic analysis of the model weights released by the companies themselves. I searched more than six trillion combinations of chip layout and seed number and matched them to open-weights models. In doing so, I found conclusive evidence that six Chinese AI models—including DeepSeek-V4-Pro, Kimi K3, and MiniMax-M3—were initialized on NVIDIA Blackwell systems. Four of the models match Grace Blackwell, the GB200 and GB300 parts in NVIDIA’s flagship liquid-cooled rack-scale systems. I then verified these results on real hardware. Running unmodified PyTorch with the seeds I’d recovered, a Blackwell B300 reproduced DeepSeek-V4-Flash’s untouched starting weights bit for bit, and a rented GB200 reproduced Kimi K3’s to a correlation of 0.999995. A Hopper H100 reproduced none of DeepSeek-V4-Flash’s, and changing the seed by one broke the match. (DeepSeek’s seed is 953049583 by the way.) The method also was verified to match 24 known open-weights models to the hardware that developers said they used. It is exceedingly unlikely that these results are a coincidence. Across six trillion combinations, the best accidental match should reach only about 8 sigma (i.e., eight standard deviations above what random chance would produce). The real matches range from 49 to 1,385 sigma, and even the weakest single test hits 20. These were data-center-scale training runs. With some analysis of release schedules and model details, I estimate that the largest, Kimi K3 and DeepSeek-V4-Pro, used 2,000 to 3,000 Blackwell GPUs each. Clusters of this size cost on the order of $150 to $200 million each to buy, and across these labs alone would add up to more than half a billion dollars of export-controlled GPUs, not counting experimental compute or otherwise. It’s quite likely that we see multi-billion dollar expenditure on export-controlled GPUs. I am highly confident in this result, and it has been independently verified by senior researchers at OpenAI and Anthropic. You can read the full report at https://t.co/YOtzND0Jqk. There is much more I’ve identified about these models through other forms of checkpoint forensics like this, and will have more to share soon.

@willdepue · 2026年11月13日
訳：重大な結果を共有したい。中国のAI大手4社、DeepSeek、Moonshot、MiniMax、Ant Groupが、中国への輸出が禁じられているNVIDIAの最先端のBlackwellチップで最新のモデルを作ったことを示す、決定的な鑑識上の証拠を見つけた。信じがたく聞こえるだろうが、ほぼすべてのAIモデルが、それを学習したGPUの隠れた署名を持っていることを発見した。モデルを最初に用意するとき、重みの初期値は、使うGPUによって決まるパターンで並ぶ。GPUとシード番号の組み合わせごとに固有のパターンができ、モデルを作るのに使ったハードウェアの指紋のようなものになる。このパターンの痕跡は学習を経ても、公開されたモデルに残る。繰り返すが、この証拠は内部情報やリークに基づくものではない。各社自身が公開したモデルの重みの鑑識的な解析に基づく。チップの配置とシード番号の組み合わせを6兆通り以上探索し、公開重みのモデルと照合した。その結果、DeepSeek-V4-Pro、Kimi K3、MiniMax-M3を含む中国の6つのAIモデルが、NVIDIAのBlackwellシステムで初期化されたという決定的な証拠を見つけた。うち4つのモデルは、NVIDIAの旗艦である液冷のラック規模システムに使われるGrace Blackwell、つまりGB200とGB300に一致する。次に、実際のハードウェアでこの結果を検証した。復元したシードで改変していないPyTorchを動かすと、Blackwell B300はDeepSeek-V4-Flashの手を加えていない初期の重みをビット単位で再現し、借りたGB200はKimi K3の初期の重みを相関0.999995で再現した。Hopper H100はDeepSeek-V4-Flashの初期の重みをまったく再現せず、シードを1つ変えると一致が崩れた（ちなみにDeepSeekのシードは953049583だ）。この手法は、公開重みの既知のモデル24個について、開発者が使ったと説明したハードウェアと一致することも確かめた。これらの結果が偶然である可能性は極めて低い。6兆通りの組み合わせの中で、偶然の一致は最良でも約8シグマ（偶然で生じる値より標準偏差8つ分上）にしか届かないはずだ。実際の一致は49〜1385シグマで、最も弱い単独の検定でも20に達する。これらはデータセンター規模の学習だった。公開の時期とモデルの詳細を分析し、最大のKimi K3とDeepSeek-V4-Proは、それぞれ2000〜3000基のBlackwell GPUを使ったと推定する。この規模のクラスターは購入にそれぞれ1億5000万〜2億ドル程度かかり、これらの企業だけで輸出規制対象のGPUは5億ドルを超える。実験用の計算資源などは含めていない。輸出規制対象のGPUに数十億ドル規模の支出がある可能性はかなり高い。この結果には強い確信があり、OpenAIとAnthropicの上級研究者が独自に検証した。報告書の全文はリンク先で読める。これと同じようなチェックポイント（学習途中や完成時のモデルの保存データ）の鑑識で、これらのモデルについてほかにも多くのことを突き止めており、近く追加で共有する。

重みの初期値に残るGPUの「指紋」が手がかりと説明

Depue氏の説明では、AIモデルを最初に用意するとき、重みの初期値は使うGPUによって決まるパターンで並ぶ。GPUとシード番号（乱数の出発点となる数）の組み合わせごとに固有のパターンができ、モデルを作ったハードウェアの「指紋」のようになるという。氏はこの痕跡が学習を経ても公開されたモデルに残ると主張している。

氏はチップの配置とシード番号の組み合わせを6兆通り以上探し、公開重みのモデルと照合したとしている。同じ手法で、公開重みの既知の24モデルについて、開発者が使ったと説明したハードウェアと一致することも確かめたと書いた。24モデルの名前は投稿に書かれていない。

B300とGB200で初期値を再現したと説明

氏によると、実際のハードウェアでも検証した。復元したシードを使い、改変していない機械学習の基盤ソフト「PyTorch」を動かすと、Blackwell世代の「B300」がDeepSeek-V4-Flashの初期の重みをビット単位で再現したという。借りたGB200では、Kimi K3の初期の重みを相関0.999995で再現したとしている。一方、Hopper世代の「H100」ではDeepSeek-V4-Flashの初期の重みはまったく再現できず、シードを1つ変えると一致が崩れたと説明した。

偶然の一致の可能性について、氏は6兆通りの中で偶然に最もよく一致しても約8シグマ（偶然で生じる値より標準偏差8つ分上）にとどまると書いた。これに対し、実際の一致は49〜1385シグマで、最も弱い単独の検定でも20シグマだったという。いずれも氏の計算で、ORIENSは計算の中身を確かめていない。

最大の2モデルは各2000〜3000基、総額5億ドル超と推定

氏は、公開の時期とモデルの詳細から、最も大きいKimi K3とDeepSeek-V4-Proの学習には、それぞれ2000〜3000基のBlackwellが使われたと推定した。この規模の計算設備は購入にそれぞれ1億5000万〜2億ドル程度かかり、4社だけで輸出規制の対象のGPUは5億ドルを超えるとしている。実験用の計算資源などは含めておらず、輸出規制の対象のGPUへの支出が数十億ドル規模に達している可能性が「かなり高い」とも書いた。推定の計算方法は投稿には書かれていない。

各社とNVIDIA、米政府の見解は未確認

DeepSeek、Moonshot AI、MiniMax、Ant Groupの4社、NVIDIA、米商務省が今回の主張について示した公式の見解は、ORIENSが11月13日時点で調べた範囲では見つからなかった。

Depue氏は投稿で、結果はOpenAIとAnthropicの上級研究者が独自に検証したと書いた。これは氏の説明で、両社が検証を発表したことは確認できていない。氏は詳しい報告書へのリンクも添えたが、ORIENSが11月13日に取得を試みたところ、報告書のページはエラーを返し、中身を確かめられなかった。氏のXの自己紹介には「prev @ openai」とあり、OpenAIで動画生成の「Sora」などに携わったと書いている。

Moonshotを巡っては、欧州のデータセンターでBlackwellを借りる協議をしていたと米CNBCが11月5日に報じ、ORIENSも伝えた。今回の解析とは別の話で、両者の関係は分かっていない。

氏は同じような解析で、これらのモデルについてほかにも多くのことを突き止めたとして、近く追加で公表するとしている。