llama.cppに下書きのPR、検出ボットが伝える

中国のAI研究組織OpenBMBの名を冠した未発表のモデル「MiniCPM5-15B-A2.5B」への対応が、日本時間11月16日午後、公開の推論ソフト「llama.cpp」に下書きのPR(プルリクエスト、変更の提案)として出された。llama.cppは、AIモデルをパソコンなど手元の機器で動かすための公開ソフトだ。PRの題名は「xcy/models: add MiniCPM5 MoE inference support」で、11月17日未明の時点で下書きのまま、取り込まれていない。OpenBMBは発表しておらず、リークで未確認の情報だ。

AIモデルの公開の動きを自動で追うXの検出ボット@aitrackerbotが、11月16日(日本時間17日未明)にこのPRを伝えた。ボットは、OpenBMBがMiniCPM5の「MoE」(複数の小さな専門のネットワークのうち一部だけを動かす作り)のモデルを準備しているとし、総パラメーターは150億、動作時は25億だと説明した。PRの作成者を「ModelBestのエンジニア」とし、未公開のモデルのGGUF(llama.cppで使うファイル形式)で試したとも書いている。

OpenBMB has a MiniCPM5 MoE coming: MiniCPM5-15B-A2.5B, 15B total and 2.5B active. A ModelBest engineer opened a llama.cpp PR for it this morning, tested against GGUFs of the unreleased model. https://github.com/ggml-org/llama.cpp/pull/32386

訳:OpenBMBがMiniCPM5のMoEを出す。MiniCPM5-15B-A2.5Bで、総パラメーター150億、動作時25億。ModelBestのエンジニアが今朝、これに対応するllama.cppのPRを出し、未公開のモデルのGGUFで試した。

OpenBMBは小型のモデル「MiniCPM」のシリーズを手がける。10月に文字読み取り専用のMiniCPM-OCR 1.0を公開した際も、推論ソフトのvLLMへの対応が重みの公開より5日早く提案されていた。

PRは「MiniCPM5 MoE」の推論対応

PRの本文によると、変更はMiniCPM5 MoEをGGUF形式で動かす推論の対応を加える。構成として、注意の計算の仕組み「gated GQA」、先頭の通常の層(dense FFN)、入力ごとに振り分けて使う専門家(routed experts)と共有の専門家(shared experts)を挙げている。既存のMiniCPM5のトークナイザー(文章をトークンに区切る部分)をそのまま使い、元の形式からGGUFへの変換は、このPRの範囲外としている。

モデル名のMiniCPM5-15B-A2.5Bは、PRの試験の記述に出てくる。総パラメーター150億、動作時25億という数字や、「未公開」という言葉はPRの本文にはなく、ボットの説明にとどまる。

作成者は「品質評価ではない」と明記

作成者は、既存のMiniCPM5-15B-A2.5BのGGUFを、NVIDIAのGPU「H800」(80GB)1枚で試したと書いている。16ビットのBF16、8ビットのQ8_0、4ビットを中心にした混合精度のQ4_K_Mの3つの形式で、通常の生成が通ったという。生成を速める手法の一つ「投機的デコード」の仕組みDSparkでも、「MiniCPM5-15B-A2.5B-1025-DSpark.gguf」というファイルを使い、生成が通ったとしている。

一方で作成者は、今回の確認は推論が動くかと異常終了しないかを見たもので、モデルの品質評価や性能のベンチマークではないと明記した。速度が上がるとの主張もしていない。通常の生成とDSparkでは、出力にトークン単位の差が出ており、原因は調べきれておらず、出力が一致するかはまだ確かめていないという。

作成者の所属と公開状況は確認できず

ボットはPRの作成者を「ModelBestのエンジニア」と説明したが、作成者のGitHubアカウント「cyxu0401」の公開プロフィールには名前、所属、紹介文がなく、所属は確認できない。PRの記録では、作成者とllama.cppのリポジトリとの関係は「NONE」となっている。

llama.cppの開発メンバーのCISC氏は日本時間16日夜、PRのコメントで、変換のコードが必要だと指摘した。既存のGGUFで試したとの記述には「Not public yet AFAICT?」(私の知る限り、まだ公開されていないのでは)と書いた。続いて共同開発者のngxson氏が、tc-mb氏に確認を求めた。tc-mb氏のGitHubの紹介文には「Member@MiniCPM-V & MiniCPM-o」とあるが、所属する会社は書かれていない。

Hugging Faceのopenbmb/MiniCPM5-15B-A2.5Bのページは、ORIENSが11月17日未明に取得した時点で公開のモデルとして確認できなかった。OpenBMBの公式Xにも、10月1日以降の投稿にこのモデルの発表は見当たらない。

MiniCPM5-15B-A2.5Bをめぐる経緯(日付は日本時間)。llama.cppのPRとコメント、@aitrackerbotの投稿による
  1. llama.cppにMiniCPM5 MoE対応の下書きPRが出るリーク
  2. レビューした開発メンバーが「まだ公開されていないのでは」とコメント第三者
  3. 検出ボット@aitrackerbotがMiniCPM5-15B-A2.5Bを伝えるリーク