OpenAI、外部4団体と「embedded assessments」を開始

米OpenAIは11月16日(日本時間17日未明)、AIの安全性を研究する外部の4団体と「embedded assessments」に取り組むと公式Xで発表した。相手はApollo Research、METR、Transluce、Goodfireだ。外部の専門家に社内のモデルとシステムへの深いアクセスを与え、AIが開発者の意図どおりに振る舞うか(アライメント)を調べ、同社の安全対策(セーフガード)を試すと説明した。

We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal models and systems to investigate alignment and test our safeguards. These assessments build on our ongoing alignment and safety research, bringing independent scrutiny to how we identify and manage risks in our systems.

訳:Apollo Research、METR、Transluce、Goodfireと、embedded assessments に取り組んでいる。外部の専門家に社内のモデルとシステムへの深いアクセスを与え、アライメントを調べ、私たちのセーフガードを試すものだ。これらの評価は、進めているアライメントと安全性の研究の上に立ち、システムのリスクを私たちがどう特定し管理しているかに、独立した検証をもたらす。

embedded は「組み込まれた」の意味で、外部の評価者が開発の内側に入って調べる形を指す。OpenAIは、今回の評価を社内のアライメントと安全性の研究の延長に位置づけ、リスクの特定と管理の方法に独立した検証を入れるとしている。

同社のグレッグ・ブロックマン社長(共同創業者)は自身のXで、発表の投稿を引用して「launching our first round of embedded assessments」と書いた。

4団体も同じ日本時間17日未明にそれぞれの公式Xで発表し、期間、範囲、アクセスの条件、報告書の公表について説明した。OpenAIの投稿には、こうした条件や費用の負担の記載はない。

OpenAIは発表の投稿に公式ブログへのリンクを付けたが、ORIENSはブログの本文を取得できなかった(HTTP 403)。この記事は、OpenAIと4団体、ブロックマン氏のX投稿だけに基づく。

OpenAIが示した4団体の担当

OpenAIは発表に続く投稿で、4団体の担当を説明した。

Apollo Researchは、モデルが開発者の意図にひそかに反して動く可能性があるか、そしてセーフガードがそれを検知できるかを評価する。訓練、安全性テスト、社内での利用から証拠を集めて調べる。

METRは、OpenAIのこれまでで最大の強化学習(試行と報酬でモデルを鍛える学習)の実行で、意図に沿わない振る舞いを調べる。既存のテストや監視が見逃した可能性のある失敗も対象にする。OpenAIは、より広い監視の仕組みの評価をMETRと行うことでも暫定的に合意したとし、範囲は双方の合意を待つとした。

Transluceは、モデルの学習後に行うアライメント評価について、質と網羅性を調べる。追加のテストを作り、評価の抜けを埋める改善を提案する。OpenAIによると、Transluceは2027年にこのパイロットを広げる意向だ。

Goodfireは、解釈可能性(モデル内部の働きを読み解く研究)の研究者をOpenAIに常駐させる。自社の基盤でモデルの内部を分析し、訓練の監視、不具合の原因の調査、アライメントに取り組む。

4団体の担当と条件。OpenAIと各団体の公式X投稿から作成(日本時間11月17日時点)
団体OpenAIが示した担当団体が自ら示した期間と公表
Apollo Researchモデルが開発者の意図にひそかに反して動くか、セーフガードが検知できるか評価者6人が4か月。報告書2本
METR最大の強化学習の実行での意図に沿わない振る舞い。広い監視の評価も暫定合意範囲は1回の強化学習。報告書を1本以上
Transluce学習後のアライメント評価の質と網羅性。2027年にパイロットを拡大する意向12月上旬から6週間、現地で。公開の報告書
Goodfire解釈可能性の研究者が常駐し、モデル内部を分析期間の記載なし。進捗に応じて知見を公開

Apollo、評価者6人が4か月常駐 開示の権利は「まだ基準に届かない」

Apollo Researchは自身の投稿で、今回の取り組みを embedded evaluations に向けたパイロットと位置づけた。評価者6人が4か月間、OpenAIの中で働き、モデルが自らへの監視や制御を損なおうとするかを調べる。OpenAIの訓練の過程を調べてきたこれまでの研究の上に立つとも説明した。

同団体は、こうした評価は開発企業への信頼に頼らずに信用できるものでなければならず、アクセス、開示、メタ透明性(評価の条件そのものを公にすること)に強い保証が要ると主張する。今回のパイロットはその目標への意欲的な第一歩だが、アクセスと開示の権利は、同団体が考える完全な embedded evaluations の基準にまだ届かないと述べた。

アクセスについては、訓練の評価で、関連するコード、教師ありの微調整(SFT)のデータ、推論の過程と報酬を含む強化学習の記録、問い合わせのできる途中段階のモデルを、OpenAIが提供すると約束したとする。ほかの評価のアクセスの詳細は、これから決める。OpenAIは技術、セキュリティ、知的財産の理由で必要と判断した資料を出さずにおけるが、不利な内容だという理由だけではできず、出さない資料の存在と書面の理由を示す必要がある。

制約も明かした。機密情報について話せる相手はOpenAIが選んだ職員に限られ、OpenAIの安全性の研究者が使うSlackなどの社内の連絡経路には入れない。承認された職員との正式な会話は記録に残す。

公表では、訓練の誘因と、評価、社内での利用、検出のしやすさについて、報告書を2本出す。OpenAIは結論の根拠を含む機密情報の黒塗りを求められるが、不利な発見だという理由だけではできない。職員との会話に基づく情報は、OpenAIの正式な証明があるか、同団体が独自に確かめた場合にしか公表できない。アクセスで何を求めて何を得たか、何が出されず遅れたか、黒塗りの影響、作業に影響したと考える圧力を公に説明する強い権利で、OpenAIと合意したとしている。

We're launching a pilot towards embedded evaluations with @OpenAI. Six evaluators from Apollo Research will work within OpenAI for four months, investigating whether models attempt to undermine their own oversight and control.

訳:OpenAIとの embedded evaluations に向けたパイロットを始める。Apollo Researchの評価者6人が4か月間OpenAIの中で働き、モデルが自らへの監視や制御を損なおうとするかを調べる。

METRは範囲を1回の強化学習に限定 当初の提案より狭く

METRは自身の投稿で、範囲を限ったアライメント評価をOpenAIと行うことで合意したと発表した。OpenAIの最大の強化学習の実行について、アライメントの性質を調べる。調査結果と進め方を伝える報告書を1本以上公表する。

範囲はその1回の強化学習に限られ、OpenAIがこれまでに公表した、意図に沿わない振る舞いの事案は対象外だ。METRは、以前に提案した範囲より狭いと認めたうえで、アライメントについて新しい証拠が得られることを期待すると述べた。

OpenAIは、記録、監視の記録、強化学習の途中のモデルのスナップショットへのアクセスを提供する。OpenAIの職員への聞き取りを作業の手がかりに使えるが、報告書で個人の見解を引用したり出典にしたりはできない。

OpenAIが投稿で触れた広い監視の評価の暫定合意について、METRの投稿は言及していない。METRは11月5日(日本時間6日)にも、米Anthropicの内部データを使った独立評価の報告書を公表している。

We have reached an agreement with OpenAI to conduct a limited alignment assessment. This pilot will focus on investigating the alignment properties of OpenAI's largest RL run. We will publish one or more reports to share our findings and transparently describe our process.

訳:範囲を限ったアライメント評価を行うことでOpenAIと合意した。このパイロットは、OpenAIの最大の強化学習の実行について、アライメントの性質を調べることに焦点を当てる。調査結果を共有し、進め方を透明に説明するため、1本以上の報告書を公表する。

Transluceは12月から6週間 「従業員並み」のアクセスではない

Transluceは、12月上旬から6週間のパイロットをOpenAIと行うと発表した。チームが現地で働き、OpenAIの学習後のアライメント評価について、範囲と質を独立に調べる。結果は公開の報告書で示す。

アクセスについては、OpenAIの一部の内部評価と、生の思考過程(モデルが答えを出すまでの推論の記録)を見られるモデルへの特権的なアクセスを交渉で得たとした。ただし「従業員並み」のアクセスには及ばないと述べた。

Transluceは今回を第一歩と位置づけ、2027年初めに、より広く深いアクセスでアライメント評価のより完全な評価を行うことでOpenAIと合意したとしている。

Transluce is piloting a six-week embedded assessment with @OpenAI in early December. Our team will work onsite to independently assess the scope and quality of OpenAI's post-training alignment evaluations. We’ll share our findings in a public report

訳:Transluceは12月上旬、OpenAIと6週間の embedded assessment を試験的に行う。チームが現地で働き、OpenAIの学習後のアライメント評価の範囲と質を独立に評価する。結果は公開の報告書で示す。

Goodfire、解釈可能性の基盤で訓練を監視

Goodfireは自身のXの記事「Announcing our collaboration with OpenAI」で、研究者をOpenAIに常駐させると発表した。自社の解釈可能性の基盤を使い、訓練の実行の監視、望ましくない振る舞いの原因の調査、アライメントの改善を行う。同社の研究者は、OpenAIの社内のモデルとシステムに深くアクセスできるという。

Goodfireはこの作業を「model forensics」と呼ぶ。訓練中のモデル内部の信号を監視し、既知のリスクと、新たに現れる異常な振る舞いの両方を検出する。知見の主な受け手はOpenAIの研究者で、モデルの安全性の改善に使う。同社は、協力が進むにつれて学んだことや知見も公表するとしている。

We’re announcing an embedded assessment with @OpenAI to advance safety and alignment at the frontier.

訳:最先端の安全性とアライメントを前進させるため、OpenAIとの embedded assessment を発表する。