数学の第三者評価「MathArena」、運営者がGemini 4 Carbonの首位を発表 GPT-6.1 Solを上回り、2位はClaude Fable 5.2

運営者「久しぶりにOpenAI以外が1位」

AIの数学力を測る第三者の評価「MathArena」で、Googleの最上位モデル「Gemini 4 Carbon」が首位になった。運営者のJasper Dekoninck氏が11月13日（日本時間14日0時27分44秒）、Xで発表した。同氏は「とても久しぶりに、OpenAI以外のモデルがMathArenaの1位になった」と書き、CarbonがOpenAIの「GPT-6.1 Sol」から首位を奪い、Anthropicの「Fable 5.2」が2位に入ったとした。

Dekoninck氏はスイスのチューリッヒ工科大学（ETH Zurich）の博士課程の学生で、XのプロフィールにMathArenaなどAIの数学の評価に取り組むと書いている。MathArenaは新しい数学の大会や研究の問題を使い、モデルが学習中に見ていない問題で推論の力を測る。各モデルに同じ問題を4回ずつ解かせ、平均の得点と1回当たりの費用を示す。

MathArenaのサイトの更新情報によると、Carbonと「Claude Fable 5.2」の結果は11月13日に加わった。Googleは11月10日（日本時間11日）にCarbonの一般提供を始め、Anthropicは9日にFable 5.2を公開していた。

GoogleのSundar Pichai（サンダー・ピチャイ）CEOと、Google DeepMindのDemis Hassabis（デミス・ハサビス）CEOは、Dekoninck氏の投稿をXでリポストした（日本時間14日2時25分45秒にハサビス氏、2時55分03秒にピチャイ氏）。2人とも自身のコメントは付けていない。Google自身はこの順位について発表していない。

総合の期待得点はCarbonが85.4%

MathArenaのサイトの総合表では、推論の設定を「high」にしたCarbonの期待得点が85.4%で1位だった。推論を最も深い「max」にしたClaude Fable 5.2が82.8%で2位、同じくmaxのGPT-6.1 Solが80.6%で3位だった。重みを公開したモデルでは、中国Moonshot AIの「Kimi K3.1 Pro」（max）の54.3%が最も高い。

期待得点は、現在使っている大会の全問題の得点を100%満点に直して平均した値だ。MathArenaは95%の信頼区間を、Carbonで±3.0ポイント、Fableで±5.3ポイントと示している。CarbonとFableの差の2.6ポイントは、この幅に収まる。

1問当たりの費用はSolの約15倍

費用ではCarbonはSolを大きく上回る。MathArenaのサイトでは、1問を1回解く期待費用はCarbonが15.70ドルで、Solの1.07ドルの約15倍だった。Fableは40.20ドル、Kimi K3.1 Proは3.70ドルだった。

Dekoninck氏は続く投稿で、この推論の設定ではCarbonの性能の上積みに「かなり高い費用」がかかり、評価の一つ「BrokenArXiv」で特に目立つと書いた。

費用の都合で、Carbonはまだ一部の評価で測っていない。Dekoninck氏によると、Carbonを走らせたのは「ArXivLean」だけで、そこでの成績は「とても印象的」だった。「LeanLean」には後で加えるという。MathArenaの説明では、結果が無い問題の得点は、ほかのモデルや問題の結果から統計的に推定して平均に含める。