Inkling 2 Smallに続き、手元のPCで動く小型版
米OpenAIの元最高技術責任者ミラ・ムラティ氏が率いる米Thinking Machines Labは11月20日(日本時間21日)、AIモデル「Inkling 2 Mini」を公開した。同社は「ノートPCで動くほど小さい」モデルと説明している。重み(学習済みのパラメーター)はHugging Faceで入手でき、ライセンスはApache 2.0だ。
同社の公式アカウントは日本時間21日午前5時10分、Xでこのモデルを紹介した。11月5日(日本時間6日)に発表した「Inkling 2 Small」は総パラメーターが5940億で、大きすぎるという声があったとし、今回のモデルを総パラメーター260億と紹介した。
Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index.
Inkling 2 Smallの重みは11月12日(日本時間13日)に公開したが、標準の形式でも500GB以上のVRAM(GPUのメモリー)が要る。今回のモデルは、個人のPCや小型のAI向け機器で動かせる大きさにした点が新しい。
総264億パラメーター、中間層を3回通して54億分の処理
モデルカードによると、総パラメーターは264億で、1回の処理で使うのは34億だ。多数の専門家(エキスパート)から一部を選んで使う「Mixture-of-Experts(MoE)」の仕組みで、各層で128個から8個を選ぶ。24層のうち中央の12層を同じ重みのまま3回通す「ループ型」で、24層分の重みで48層分の処理をする。ループを1回増やすごとに実効で約10億パラメーター分の処理が増え、3回通すため1トークンあたりの実効は54億になる。
同社によると、ループによって答えを書き出す前により多く考えられ、少ないトークン数で正しい答えに届く。専門家を削る前の段階でループ型とループのない型を比べた試験では、ループなしの方が学習の計算量は7.5%少なかった。ただ、51万2000トークン規模のエージェント作業の記録で同じ損失(予測の誤差)に届くには、推論の計算量が140%多く要ったという。
同社は384個あった専門家のうち3分の2を学習の途中で削り、各層でよく使われた128個を残した。その後、社内のより大きなInklingモデルから蒸留した1兆トークンで学習し、削る前の性能を取り戻したと説明している。文字と画像を受け取って文字で答え、一度に読める量は最大100万トークンだ。
重みは約20GB、32GBのMacやDGX Sparkで動く
重みは約20GBの1つのファイルで、4ビットのNVFP4と8ビットのMXFP8を組み合わせている。同社は学習時と同じ精度のまま配るため、変換による性能の低下はないとしている。動かせる機器として、米NVIDIAの小型AI機「DGX Spark」1台と、メモリー32GB以上のAppleシリコン搭載のMacBook、Mac mini、Mac Studioを挙げる。ほかのGPUでも、32GB以上のVRAMを勧めている。
同社の研究者は飛行機の中で、ネットにつながないMacBook Proでこのモデルを動かし、遊べるフライトシミュレーターを数分で作ったという。
開発向けの評価は同規模で首位、総合指数はQwenと並ぶ
同社は、総パラメーター1000億未満の公開モデルの中で、開発向けの評価DeepSWE v1.1(48.2%)とVals Index v2.2(46.5%)で首位だと説明している。同社の表では、開発向けのSWE-bench Pro v2(Hard)は77.9%で、中国Alibabaの「Qwen3.8-27B」の73.8%を上回った。一方、米Artificial Analysis(AA)の総合指数「AA Index」(v5.0)は20.1で、同じ表のQwen3.8-27Bと同じ点だった。
同社はDeepSWE v1.1の得点と、生成の速さの理論上の上限を並べた図も示した。Inkling 2 Miniは48.2%で毎秒54.4トークン、Qwen3.8-27Bは42.2%で毎秒11.4トークンだ。速さはBF16形式の重みで、メモリーの帯域が毎秒614GB、同時に1件を処理する条件で同社が計算した値で、ループで同じ重みを読み直す分も含む。評価の設定はモデルごとに異なると同社は注記している。
同じ図の対象は総パラメーター1000億未満のモデル。SWE-bench Pro v2(Hard、51問)の図では、「Ripple-65B (Preview)」が79.1%で、Inkling 2 Miniの77.9%を上回った。
複雑な指示や知識を問う評価では劣る
同社は弱点も挙げた。複数回のやり取りを評価するMultiChallengeは50.0%、多くの条件を含む指示に従う力を測るComplexConstraints v1.1は33.4%で、どちらもQwen3.8-27Bに及ばない。推論の重いCritPt v2やHLE-Diamondでは、より大きなモデルに劣るとしている。
ループは推論の力を上げるが、重みに蓄えられる知識は増えないと同社は説明する。知識は主に総パラメーター数で決まり、事実の正確さを測るAA-Omniscienceの点数は同じ規模のモデル並みだという。同社は、検索や外部の道具を使って知識の不足を補えるとし、BrowseCompやMCP Atlasなどの評価で同規模の公開モデルを上回ったとしている。
「書かずに考える」力と監視しやすさを検証
ループ型は、考えた過程を文字に書き出さなくても多く考えられる。AIが書き出した思考の過程(CoT)を読んで動きを監視する手法が効きにくくなるとの懸念があり、同社は公開にあわせてこの点を調べた。
Inkling 2 Mini is a looped transformer with 24 layers. The middle 12 layers loop three times; the first and last six run once.
Looping lets a model reason more while writing less, which has raised concerns about monitorability. We studied this as part of our release.訳: Inkling 2 Miniは24層のループ型トランスフォーマーです。中央の12層を3回繰り返し、最初と最後の6層は1回だけ通します。ループによってモデルは書く量を減らしながら多く考えられるため、監視しやすさへの懸念が出ています。私たちは今回の公開の一環としてこれを調べました。
検証には、ループの回数を1〜5回で変えられる研究用のモデル「TML-d24-varloop-research」を使い、これも公開した。思考を書き出さずに解ける課題の長さ(人が解く時間に換算)は、ループ1回の16秒から3回で37秒に延びた。ループを増やすと思考の過程は短くなったが、人が読める状態は保たれ、この規模では監視しやすさの意味のある低下は見られなかったと同社は説明している。エージェントによる妨害行為の試験でも、ループを増やして点が上がる傾向はなかったという。
一方、道具の呼び出しと出力だけを見る監視役は多くの攻撃を見逃したと同社は記している。研究用モデルの強化学習はループ3回で行ったため、より多い回数で学習したモデルが推論をどこまで縮めるかは分からないとしている。
Tinkerと各種ソフトで利用可能、料金は示さず
同社のモデル開発サービス「Tinker」で推論と追加学習に使え、試用の画面「Tinker Playground」でも対話できる。自社の機器で動かす推論ソフトは、SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed、Llama Appが対応した。強化学習による追加学習には、SkyRL、Miles、NVIDIA AutoModelが使える。
発表ページとモデルカードは、Tinkerでの料金を明らかにしていない。






