公開3日後、ロボットの比較評価で首位に

ロボットの評価を手がけるRoboColosseumは日本時間11月21日11時59分、米OpenAIの最上位モデル「GPT-6.2 Astra」が、自らの「SO-101」のOpenトラックの順位表で首位になったとXに投稿した。点数はEloの尺度で1984だった。Eloは、一対一の比較の勝ち負けから点数を付けて並べる方式を指す。GPT-6.2 Astraについての比較は122回だった。

GPT-6.2 Astra now tops our SO-101 Open track leaderboard at 1,984 on the Elo scale, based on 122 pairwise comparisons. A couple of side-by-side runs from the evaluations 🧵

訳:GPT-6.2 Astraは現在、当社のSO-101 Openトラックの順位表で首位にあり、Eloの尺度で1984、一対一の比較122回に基づく。評価で行った横並びの試行をいくつか紹介する(スレッド)。

OpenAIは同モデルを11月17日(日本時間18日)に公開しており、順位表の集計時点は公開の3日後にあたる。これに先立つ日本時間21日8時45分、評価を実施した側のJiafei Duan氏(@DJiafei)が、GPT-6.2 AstraがRoboColosseumのSO-101のEloランキングで1位になったとXに投稿していた。Duan氏は、1日で数百回の一対一の比較を実際の環境で行ったと書き、GPT-6.2 Astraはロボットの分野で「seriously capable(非常に有能)」だとした。

GPT-6.2 Astra is proving seriously capable at robotics. 🤖 In just ONE DAY, we ran hundreds of head-to-head comparisons in the wild, and it climbed to #1 in @RoboColosseum's SO-101 Elo rankings. 🏆 Watch it in action 👇

訳:GPT-6.2 Astraはロボットの分野で非常に有能であることを示している。わずか1日で、私たちは実際の環境で数百回の一対一の比較を行い、GPT-6.2 Astraは@RoboColosseumのSO-101のEloランキングで1位に上がった。動いている様子を見てほしい。

Duan氏の「数百回」と、RoboColosseumが示したGPT-6.2 Astraの比較回数122回が、どう対応するかは説明がない。Duan氏の投稿には約12秒の動画が付いているが、ORIENSは動画の中身を確かめていない。

2位はClaude Fable 5.2の1803、前の最上位のGPT-6 Astraは5位

RoboColosseumが投稿に付けた順位表の画像には、10のモデルの点数が載っている。2位は米Anthropicの「Claude Fable 5.2」で1803、3位は同じAnthropicの「Claude Opus 5.5」で1666だった。GPT-6.2 Astraと2位の差は181になる。OpenAIの前の最上位モデル「GPT-6 Astra」は1393で5位、米xAIの「Grok 4.7」は1366で6位だった。点数は米太平洋時間11月20日11時46分(日本時間21日4時46分)に計算したもので、画像の点線は1500の位置に引かれている。

RoboColosseumは続く投稿で、評価の試行の動画を2本示した。「向きが1本だけ違うボトルを見つけよ」という指示ではClaude Fable 5.2とGPT-6.2 Astraを、「黄色い箱を倒せ」という指示ではGrok 4.7とGPT-6.2 Astraを、左右に並べている。それぞれの試行でどちらが勝ったかは、投稿の文には書かれていない。ORIENSは動画の中身を確かめていない。

RoboColosseumが公開したSO-ARM101のOpenトラックの順位表。DCR rating(Eloの尺度)で10モデルを並べ、各モデルの比較回数(N)と誤差の幅(事後標準偏差の±1)を添えている
RoboColosseumが公開したSO-ARM101のOpenトラックの順位表。DCR rating(Eloの尺度)で10モデルを並べ、各モデルの比較回数(N)と誤差の幅(事後標準偏差の±1)を添えている(出典:RoboColosseum(@RoboColosseum)のX投稿)
SO-ARM101のOpenトラックの点数(Eloの尺度で、満点はない)。RoboColosseumがXに載せた順位表の画像の転載で、米太平洋時間11月20日11時46分の計算点数
1984
122GPT-6.2-Astra
1803
112Claude-Fable-5.2
1666
187Claude-Opus-5.5
1525
194Pi 0.5
1393
183GPT-6-Astra
1366
181Grok-4.7
1259
214LingBot-MolmoAct2
1233
219GR00T N1.7
1122
216MolmoAct2
1095
207G0.5

GPT-6.2 Astraの比較回数は122回で、10モデルのうち2番目に少ない。最も少ないのはClaude Fable 5.2の112回だった。

SO-101はロボットの名前、作業の内容は示さず

RoboColosseumがスレッドの3件目に付けた順位表のページへのリンクには、「実環境の実際のロボットでロボットの方策(動かし方)を順位付けし、ロボットごとにOpenトラックとFine-tuneトラックの順位表を設ける。1時間ごとに更新する」との説明が付いている。このリンクのURLではSO-101がロボットの指定(robot=so101)になっており、順位表の画像では「SO-ARM101」と表記されている。SO-101は、評価に使うロボットの名前にあたる。

一方、OpenトラックとFine-tuneトラックの違い、画像にある「DCR rating」の意味、ロボットにさせた作業の全体、モデルをどうつないでロボットを動かしたかは、投稿に説明がない。RoboColosseumのリーダーボードのページは、ORIENSが取得した時点で順位表の本文を読み込めず、これらは確認できていない。順位表は1時間ごとに更新されるとしており、集計時点の日本時間21日4時46分(米太平洋時間20日11時46分)より後の順位も確認できていない。

ブロックマン社長が紹介、公式ページにロボットの記述なし

OpenAIのグレッグ・ブロックマン社長は日本時間21日10時36分、Duan氏の投稿を引用し、「GPT-6.2 for robotics」とだけ書いてXで紹介した。OpenAIの経営者による言及にあたる。

GPT-6.2 for robotics:

訳:ロボット向けのGPT-6.2。

一方、OpenAIが11月17日に出したGPT-6.2の発表ページには、ロボット、RoboColosseum、SO-101についての記述はない。ORIENSが確かめたのはこの発表ページで、OpenAIの公式アカウントなどでの発表は見つかっていない。今回の順位はRoboColosseumの評価で、OpenAI本体の発表としては確認できていない。

ブロックマン氏は同じ時期に、6.2の外部の評価を紹介する投稿を続けている。日本時間20日19時5分には、物理的な3Dの理解を測るベンチマークでGPT-6.2 Astraが人の基準を上回ったとする投稿を引用した。21日5時30分にも、別の投稿を引用して「GPT-6.2 Astra is great at robotics」と書いた。この引用元の投稿者と評価の中身は、ORIENSは確かめていない。

6.2は資料作成やコードの改善を前面に

OpenAIはGPT-6.2 Astraを、最も難しいプロジェクト向けの新しいフロンティアモデルと位置づけて公開した。発表では、スライドや文書の質、コード、サイバーセキュリティの能力の伸びを強調し、APIの料金を100万トークン当たり入力8ドル、出力40ドルとした。

公開前の11月1日には、Codexの利用記録に「gpt-6.2-astra」の表示が現れていた。汎用のAIモデルでロボットを動かす研究では、11月1日に清華大学などが公開モデル「Qwen」でロボットを操作させる仕組みの論文を公開していた。