Mac版アプリにcomputer use

米Googleは11月19日(日本時間20日)、Mac版のGeminiアプリに「computer use」を加えたと公式ブログで発表した。AIが利用者に代わってクリックや文字の入力、メニューの操作、フォームへの記入をする機能で、ローカルのファイル、Macのアプリ、ウェブにまたがる複数の手順の作業を任せられる。利用者は必要な作業を文章で伝えるだけでよいと、Googleは説明している。

GeminiアプリのXの公式アカウントも同じ日に告知した。添えた動画では、Geminiが3Dソフトの「Blender」を操作し、簡単なスケッチからリグ(動かすための骨組み)付きの3Dモデルを作る様子を見せた。

With computer use in the Gemini app for Mac, you can now hand off tasks across your folders, apps, and the web, while your screen and cursor stay yours. Watch Gemini click, scroll, and type in a live background window, turning a quick sketch into a rigged 3D model in Blender.

訳:Mac版のGeminiアプリのcomputer useで、フォルダ、アプリ、ウェブにまたがる作業を任せられるようになりました。その間も、画面とカーソルはあなたのものです。Geminiがライブのバックグラウンドのウィンドウでクリック、スクロール、入力をし、簡単なスケッチをBlenderでリグ付きの3Dモデルに仕上げる様子をご覧ください。

操作は裏のウィンドウで、画面とカーソルは利用者のまま

Googleによると、Geminiは利用者の画面から切り離されたバックグラウンドのウィンドウで作業する。操作の様子はチャットの中にその場で映る。利用者のメインの画面とカーソルは空いたままで、作業の間も文章の入力やデザイン、通話を続けられるという。

利用者はGeminiに使わせるアプリを選べる。作業の手順は一つずつその場で見られ、いつでも一時停止できる。重要な操作は、実行の前に利用者が承認する。Googleは「重要な操作」が具体的にどの操作を指すかを明らかにしていない。

写真の色調整や配送の見積もりなどを例示

Googleは使い方の例として4つを挙げた。デザインのソフトで写真の色をまとめて調整したり、複雑な3Dの場面を組んだりする。手元のPDFから重さ、寸法、住所を抜き出し、複数の欄がある配送の見積もりのフォームに記入する。複数の地域のダッシュボードから数字と画面の画像を集め、Google Slidesで発表資料を作る。手元のフォルダにある服の写真から相場を調べ、品物の情報を記録して、中古品の販売サイトに出品の準備をする。

米国の英語版から、有料3プランが対象

提供は米国の英語版から順に始める。使うには、Apple Siliconを積みmacOS Sequoia 15.0以降を動かすMacと、18歳以上の個人のGoogleアカウントが要る。有料プランの「Google AI Plus」「Google AI Pro」「Google AI Ultra」のいずれかの契約が条件になる。

米国の料金ページによると、Plusは月4.99ドル、Proは月19.99ドルだ。Ultraは月99.99ドルからで、Proの5倍の利用上限がある。Proの20倍の上限がある月199.99ドルのプランもある。

Googleは、computer useに使うAIモデル、1日に使える回数などの上限、米国以外や英語以外での提供時期、仕事用のアカウントへの対応を明らかにしていない。11月17日の項目まであるGeminiアプリのリリースノートにも、この機能の記載はまだない。

API版の一般提供に続き、利用者向けのアプリにも

Googleは4月15日付のリリースノートで、Mac用のGeminiアプリを紹介した。キーボードの操作で他のアプリを使いながら呼び出せ、画面のウィンドウを共有して内容を踏まえた手助けを受けられる。10月13日付の項目では、Mac版アプリに開発環境「Google Antigravity」を組み込み、コーディングのエージェントがバックグラウンドでコードを作って試せるようにした。

開発者向けには、Gemini APIでcomputer useを10月30日に一般提供に切り替えた。開発者が自分のアプリに組み込んで使う機能で、今回は一般の利用者がGeminiアプリから同じ種類の操作を任せられるようになった。

Mac版Geminiアプリとcomputer useの経緯(日付はGoogleの発表とリリースノートによる)
  1. Mac用のGeminiアプリを紹介公式
  2. Mac版アプリにGoogle Antigravityを組み込み公式
  3. Gemini APIのcomputer useを一般提供公式
  4. Mac版アプリにcomputer useを追加公式