10月の試用版から約2週間半で後継

中国SenseTime(商湯科技)は11月17日、約90億パラメーターのAIモデル「SenseNova-Loop-9B」の重み(学習済みのパラメーター)を、AIモデルの共有サイトHugging Faceにある同社の公式リポジトリ「sensenova」で公開した。Hugging Faceの公開APIの記録では、リポジトリの作成は日本時間17日19時16分、最終更新は同21時19分だった。同日22時22分の時点で、ダウンロード数は0だった。

同社が10月末に公開した試用版「SenseNova-6.8-Loop-9B-Preview」の後継にあたる(試用版の詳細はORIENSの既報)。モデルカード(モデルの説明ページ)の更新履歴には、10月31日に試用版を、11月17日に今回のモデルを、それぞれ重みとコードとともに公開したと書かれている。同社はカードで、今回のモデルを「officially release」したと表現している。

重みの取得には条件への同意が必要

使用許諾はApache 2.0だ。公開APIでもモデルに「license:apache-2.0」の印が付いている。

ただし、重みのファイルは自由には取得できない。ページには「リポジトリは公開されているが、ファイルと内容にアクセスするには条件に同意する必要がある」とあり、Hugging Faceの利用者情報を共有することへの同意を求めている。公開APIでも、アクセスを申請制にする設定(gated=auto)になっている。説明文と仕様はログインなしで読めるが、モデルを動かすにはHugging Faceにログインして申請する必要がある。

32の層で56層分の計算

モデルカードによると、構成は試用版を引き継いだ。32の層のうち、最初の4層を通した後、中間の24層を同じ重みのまま2回続けて通し、最後の4層を通す。1回の処理で56層分の計算をしながら、保存する重みは32層分にとどまる。パラメーターは約90億で、推論の計算は約146億パラメーター分になるという。公開APIが示す重みの数は約94億1000万だった。

中間の層では、情報を運ぶ通り道を2本にし、層ごとに読み書きの配分を学習させる「mHC(manifold-constrained hyper-connections)」という仕組みを使う。注意(文脈のどこを参照するかを決める計算)は、4層ごとに計算の軽いリニア注意3層と、全体を見るフル注意1層を組み合わせる。文字と画像を受け取って文字で答え、扱える文脈は最大51万2000トークン(512K)。重みの精度はBF16だ。

カードでは、中間の層を通す回数を1〜4回で変えた実験も示した。4つの課題で3回か4回のときの成績が最もよかったが、推論の効率との兼ね合いから、試用版も今回のモデルも2回を標準にしたという。

4ビット化で約15GiBのGPUメモリ

カードによると、重みを4ビットに圧縮すると重みの大きさは約4.9GBになる。4ビットの重みと8ビットのKVキャッシュ(処理中の文脈を保持するメモリ)の組み合わせで、25万6000トークン(256K)の文脈で画像も含めた推論をするのに必要なGPUメモリは約15GiBと見積もっている。公開日に、同社が用意したAWQ方式の4ビット版も出したとしている。

推論ソフトの案内は、試用版の手順を流用した形だ。カードは、vLLMとSGLangについては、このモデルへの対応を加える変更提案(プルリクエスト)の版を使うよう案内している。今回のモデル向けの推論ソフトの版と設定は、今後更新するとしている。

指示の多い作業や長い作業に課題

カードは「既知の制限」として3点を挙げた。多数の複雑なツールの定義や複数の制約を与えると、要求を取り違えたり見落としたりすることがある。プログラミングや一般的なエージェント(AIが自分で手順を進める使い方)の作業では成績にばらつきがあり、複雑で長い作業をこなす力はまだ改善が要るという。複雑な3D表示や多くの動きを含むウェブサイトは1回で作りきれないことがあり、利用者の指摘をもとに2〜3回の手直しが要る例もあるとした。同社は、この構成をより大きなモデルにも使う計画だとしている。

試用版から点数は上昇、数字は同社の自己申告

モデルカードによると、同社はエージェント、プログラミング、データ分析の7つの評価で、今回のモデルを試用版やほかのモデルと比べた。同社は、示した7つの評価すべてで試用版より点数が高いとしている。AutomationBenchは14.33から36.67、Terminal-Bench 2.1は40.45から59.55、GAIAは37.86から69.90になった。BIRDは71.38から72.34で、差は0.96ポイントだった。

カードは「Qwen3.8-27B」との比較も示した。AutomationBenchはどちらも36.67、AIDABenchは今回のモデルが65.31、Qwen3.8-27Bが65.01だった。NL2Repoは、今回のモデルが41.36、Qwen3.8-27Bが44.60だった。

数字はすべてモデルカード上の同社の評価で、第三者による検証は見つからない。カードは7つの評価の結果を画像の表でも示しているが、画像は取得できず、本文に書かれた4つの評価の数字だけを下の表に載せた。

試用版(SenseNova-6.8-Loop-9B-Preview)と今回のモデルの点数。SenseTimeがモデルカードの本文に書いた自社評価の数字
  • 試用版
  • SenseNova-Loop-9B
  • AutomationBench14.33 → 36.67
  • Terminal-Bench 2.140.45 → 59.55
  • GAIA37.86 → 69.90
  • BIRD71.38 → 72.34