Thinking Machines、「Inkling 2 Small」の重みをHugging Faceで公開 Apache 2.0で、標準形式の実行には500GB以上のVRAM

発表から1週間で重みを公開

米Thinking Machines Labは11月12日（日本時間13日午前5時50分38秒）、AIモデル「Inkling 2 Small」の重み（学習済みのパラメーター）をHugging Faceでダウンロードできるようにしたと、公式アカウントがXで明らかにした。ライセンスはApache 2.0だ。

同社は11月5日（日本時間6日）にこのモデルを発表した際、まず同社のモデル開発サービス「Tinker」で重みを伏せたまま提供し、外部の安全性試験と、攻撃役が弱点を探す検証を終えた後の「来週」に、Apache 2.0で全重みを公開する意向を示していた。発表ページには11月12日付の追記が加わり、重みをHugging Faceで入手できるようになったと書いている。

同社はモデルカードで、研究、追加学習、他社の製品への組み込みに使えるよう重みを公開したと説明している。モデルカードのライセンス欄もApache 2.0と記載している。

総パラメーター5940億、標準形式でも500GB以上のVRAM

モデルカードによると、Inkling 2 Smallは総パラメーターが5940億で、1回の処理で使うのは170億だ。384個の専門家（エキスパート）から8個を選んで使う「Mixture-of-Experts（MoE）」の仕組みで、48層からなる。文字と画像を受け取って文字で答え、一度に読める量は最大100万トークンだ。

重みは2つの形式で配る。主となるNVFP4形式は、合計500GB以上のVRAM（GPUのメモリー）を持つGPUの構成が要り、同社は米NVIDIAのB300なら2基、H200なら4基を例に挙げる。もう一つのMXFP8形式は800GB以上が要り、B300で4基、H200で8基が例だ。同社は事前学習、中間の学習、仕上げの学習のすべてをNVFP4で行ったため、これが本来の精度だと説明し、すべての用途でNVFP4を勧める。MXFP8は評価の点数が1〜2ポイント高いが、実用上の意味はないとしている。

NVIDIAなど7社がAPIで提供、OpenRouterは入力0.30ドル

発表ページの追記とHugging Faceのページによると、重みの公開にあわせ、NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、CloudflareのAPIで使えるようになった。自社のサーバーで動かすための推論ソフトはSGLang、vLLM、TokenSpeed、Unslothが対応し、追加学習にはMiles、SkyRL、Snowflake Cortex Trainingが使える。各社のAPIの料金は、同社の資料には載っていない。

AIモデルの仲介サービスOpenRouterのモデルページは、Inkling 2 Smallの料金を100万トークンあたり入力0.30ドル、出力1ドルと載せている。同じページは一度に読める量を104万8576トークンとしている。OpenRouterは、Thinking Machinesが挙げた7社には入っていない。

モデルカードによると、同社のTinkerでも追加学習とAPIでの利用ができ、試用の画面「Tinker Playground」では推論だけを試せる。