公開した小型モデルがAPIでも使えるように

米Thinking Machines Labが11月20日(日本時間21日)に公開したAIモデル「Inkling 2 Mini」が、日本時間21日午前、複数のAIモデルを1つのAPIで使える米OpenRouterに掲載された。OpenRouterのAPIによると、登録は日本時間21日午前11時19分で、同社がXで公開を告げた午前5時10分の約6時間後だった。配信を担うのはPrime Intellectで、OpenRouterでInkling 2 Miniを提供する事業者は同社だけだ。

Inkling 2 Miniは、総パラメーター264億のうち1回の処理で34億を使い、中央の層を3回通す「ループ型」のモデルだ。同社は重みを公開しており、ノートPCで動くほど小さいと説明している。仕様と評価は公開時の記事で報じた。

Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index.

訳:Inkling 2 Smallは5940億パラメーターで大きすぎると考えた方もいました。その声を聞きました。Inkling 2 Miniはわずか260億パラメーターのループ型トランスフォーマーで、ノートPCで動くほど小さく、AA Indexで20.1点と、エージェント作業をこなせるほど強力です。

料金は入力0.10ドル、出力0.40ドル

OpenRouterのAPIに載った料金は、100万トークンあたり入力0.10ドル、出力0.40ドル。一度読み込んだ入力を使い回すキャッシュ読み込みは、100万トークンあたり0.02ドルだ。一度に読める長さ(コンテキスト)は104万8576トークンで、文字と画像を受け取り、文字で答える。

同じPrime IntellectがOpenRouterで配信する、総パラメーター5940億の「Inkling 2 Small」は、入力0.15ドル、出力0.50ドルだ。Inkling 2 Smallはほかに5社が配信し、Modal、Nebius、Together、Cloudflareは入力0.30ドル、出力1ドル、DeepInfraは入力0.285ドル、出力0.95ドルを掲げる。

OpenRouterでPrime Intellectが配信する2モデルの掲載料金(100万トークンあたり、ドル)。OpenRouterのAPIによる(日本時間11月21日取得)
  • Inkling 2 Mini
  • Inkling 2 Small
0.100.15
入力
0.400.50
出力

OpenRouterのモデルページの料金欄は、取得時点で入力0.093ドル、出力0.371ドルと表示していた。ページは、利用者が実際に払う平均の価格を事業者の掲載価格と並べて示すと説明しており、キャッシュや割引で実際の支払額は掲載価格を下回ることが多いとしている。

配信は1社、出力の上限はSmallより短い

OpenRouterでのInkling 2 Miniの配信はPrime Intellectの1社に限られる。1回の出力は最大6万5536トークンで、同じ事業者のInkling 2 Smallの94万3718トークンより短い。配信する重みの形式は4ビット(fp4)と掲載されている。

対応する機能として、外部の道具を呼び出すtools、推論の深さを選ぶreasoning_effort、決まった形式で答えるstructured_outputsなどが並ぶ。Thinking Machinesは、このモデルがエージェント作業をこなせると説明している。

開発元はOpenRouterでの提供に触れず

Thinking Machinesの発表ページは、OpenRouterとPrime Intellectに触れていない。同社が公開から21日午前9時すぎまでにXで投稿した告知のうち、確認できた範囲にもOpenRouterでの提供は含まれていなかった。OpenRouter自身による掲載の告知も、21日時点で確認できていない。

同社が公開時に挙げた利用先は、自社のモデル開発サービス「Tinker」と、SGLang、vLLM、Ollamaなど手元の機器で動かす各種ソフトだ。21日午前9時8分には、研究基盤のNDIFが、ループの回数を変えられる研究用モデルとあわせてInkling 2 Miniを提供しているとXで紹介した。ループをまたいでモデル内部の値を読み取ったり書き換えたりする手引きもあるという。同9時14分には、Ollamaのソフトを使えば1つのコマンドで手元に導入して動かせると投稿した。