12のモデルに隔離環境からの脱出を試させる

米Perplexityは11月11日(日本時間12日)、AIエージェント「Computer」向けの仮想マシン(VM)のサンドボックス(外部から隔離した実行環境)「SPACE」を、攻撃側の立場で検証(レッドチーム)した新しい研究を公開すると公式Xで案内した。

We are publishing new research on our findings from red-teaming SPACE, our VM sandbox for Computer agents. We gave 12 models two tasks: escape the VM to take a credential from the host, and bypass SPACE's network policy to reach a blocked URL. We found that the standard Capture the Flag setup used in red-teaming can steer agents away from the security boundary being tested, and that security-specialized models don't guarantee better results. https://t.co/Egh3x3uX4c

訳:Computerエージェント向けのVMサンドボックス「SPACE」をレッドチームで検証した結果について、新しい研究を公開します。12のモデルに2つの課題を与えました。VMを抜け出してホストの認証情報を取ること、SPACEのネットワークポリシーを回避してブロックされたURLに到達することです。レッドチームで使われる標準的なCapture the Flagの設定は、検証対象のセキュリティ境界からエージェントをそらしうること、セキュリティに特化したモデルでも結果が良くなるとは限らないことが分かりました。

投稿によると、同社は12のモデルに2つの課題を与えた。1つはVMを抜け出し、VMを動かしている側の計算機(ホスト)から認証情報を取ること。もう1つは、SPACEのネットワークポリシー(通信を許す先の決まり)を回避し、ブロックされたURLに到達することだ。

Computerは、利用者に代わって作業を進める同社のAIエージェントだ。同社は11月5日、役割ごとに仕事を続ける「teammates」を加え、10月20日にはMacの中だけで動かす方式に対応した。

標準的な「旗取り」形式は検証の焦点がずれうると指摘

同社は研究の結果として2点を挙げた。1つは、レッドチームで標準的に使われる「Capture the Flag(CTF)」形式の設定が、検証したい安全上の境界からエージェントをそらしうることだ。CTFは、隠した目印(フラグ)を取れるかどうかで攻撃の成否を判定する形式を指す。もう1つは、セキュリティに特化したモデルを使っても、結果が良くなるとは限らないことだ。

モデル名や結果の数字は投稿に書かれていない

投稿は、詳しい内容を同社サイトの研究ページで案内している。投稿には、検証した12のモデルの名前、課題ごとの成否や点数、検証の手順は書かれていない。Computerの対象プランや料金、SPACEの提供範囲にも触れていない。