公開仕様に入力設定、Googleは未発表

米Googleの開発者向け「Gemini API」の公開仕様に、スプレッドシートと文書、音声の入力を細かく指定する未発表の設定項目が載っていることが分かった。APIの変更を検知するbotの@aitrackerbotが11月16日(日本時間17日未明)にXで報告した。投稿によると、読むシートとセル範囲を選び、数式やシートを描画した画像を読み、ページ範囲を決め、音声を切り出す設定がある。

The Gemini API's schema just got controls for spreadsheet and document inputs: pick a sheet and cell range, read formulas or a rendered image of the sheet, set page ranges, and clip audio. The docs still say only an XLSX's first sheet is read, as CSV.

訳:Gemini APIのスキーマに、スプレッドシートと文書の入力を制御する設定が加わった。シートとセル範囲を選ぶ、数式やシートを描画した画像を読む、ページ範囲を決める、音声を切り出す。ドキュメントはまだ、XLSXは最初のシートだけをCSVとして読むと書いている。

ORIENSは11月17日、APIの構造をGoogleが機械向けに公開する「Discovery文書」で、3つの設定「SpreadsheetMetadata」「DocumentMetadata」「AudioMetadata」を確かめた。いずれもリーク段階の未確認の情報で、Googleは発表しておらず、更新履歴にも追加の記載はない。ORIENSはAPIキーを使った試験をしておらず、項目を指定して実際に動くかは分かっていない。

シート、セル範囲、数式や画像を選ぶ項目

Discovery文書によると、SpreadsheetMetadataは入力したスプレッドシートの「静的な前処理」を設定する項目だ。リクエストの入力の部品(Part)と、関数呼び出しの結果を返す部品(FunctionResponsePart)の両方に置ける。

sheetIndex はブックの並び順で何枚目のシートを読むかを1から数えて指定し、visibleCells は「A1:D10」のようなA1形式でセル範囲を指定する。セル範囲を指定しなければ、そのシートでデータの入った範囲全体を使うと説明している。

contentLayers では受け取る内容を選ぶ。選択肢は、セルの値と結合、書式の「DATA」、数式とその計算結果の「FORMULAS」、シートを描画した画像の「VISUAL」の3つだ。空にした場合は、DATAとFORMULASが既定になる。

文書はページ範囲、音声は区間を指定

DocumentMetadataは文書の前処理の設定で、startPage と endPage で読むページを1から数えて指定する。両端のページも範囲に含む。

contentLayers では、描画したページ画像の「PAGE_IMAGE」か、抜き出した文字の「PAGE_TEXT」を選ぶ。空にした場合はPAGE_IMAGEが既定で、この設定を置かなければ従来の処理(PDFならページ画像)になると説明している。

AudioMetadataは音声の前処理の設定で、startOffset と endOffset で、音声の先頭から数えた開始と終了の位置を指定する。botの投稿にある「clip audio(音声の切り出し)」は、この項目に当たる。動画向けの既存の videoMetadata とは別の項目だ。

公式ドキュメントは「最初のシートだけ」のまま

Googleの公式ドキュメント「Document understanding」は、いまもExcelのXLSXとXLS形式について、読むのは最初のシートだけと説明している。内容はCSV(カンマで区切った文字のデータ)に変換され、モデルにはセルの値が渡り、数式や書式は渡らない。ほかのシートは無視されるため、別のシートを分析するには先頭に移すか、別のファイルに保存するよう案内している。新しい設定項目には触れていない。

botの投稿も、ドキュメントはまだ最初のシートだけをCSVとして読むと書いていると指摘した。公開仕様の項目が説明文のとおりに提供されれば、シートを並べ替えたりファイルを分けたりせずに、読む範囲や数式の有無を指定できることになる。表計算のファイルをAIに読ませる企業の開発者にとっては、今の手順を見直すかを決める材料になる。

Googleの更新履歴は11月12日分まであり、これらの設定の追加を伝える項目は見当たらない。11月5日にはPowerPoint 97-2003(PPT)やOpenDocument形式のファイルの受け付けを広げたが、その際もXLSXとXLSの処理は「変わらない」としていた。同じ日に、関数の結果として文書や音声、動画をモデルに返せるようにしている。新しい設定がこれらの変更とどう関係するかは、資料に書かれていない。

「シート未指定」の扱いは資料で食い違う

シート番号を指定しなかったときの扱いは、資料によって説明が違う。Discovery文書(v1betaとv1alpha)は「未設定ならすべてのシートを取り出す」と書く。一方、Googleが公開するPython版とJavaScript版のSDK(開発用の部品集)は、mainブランチで同じ型を定義し、「未設定なら最初のシートを使う」と説明している。ORIENSは動作を試しておらず、どちらが実際の挙動かは分からない。

安定版のv1にはなく、対応モデルや料金は不明

3つの設定は、Discovery文書のうちベータ版のv1betaとアルファ版のv1alphaにあり、安定版のv1にはない。3つの版の文書はいずれもリビジョンが「20261116」だが、これは文書の現行版を示す値で、項目が追加された日は分からない。botは「just got(加わったばかり)」と書いたが、追加の時期は確かめられなかった。

対応するモデル、料金、提供の時期は、どの資料にも書かれていない。シートの画像(VISUAL)やページ画像を選んだときに、入力の量や費用がどう変わるかも分かっていない。ORIENSは11月7日、Gemini APIの公開仕様に載った別の未発表項目「proactiveVideo」も報じたが、今回の項目と同じ変更の一部かは分からない。

各資料の記載をまとめると次のとおりだ。Discovery文書とSDKは3つの設定を定義しているが、公式ドキュメントと更新履歴には記載がない。

3つの入力設定の記載の有無(11月17日時点でORIENSが公開資料を確認)
公開資料3つの設定の記載シートを指定しないときの説明
Discovery文書(v1beta)ありすべてのシートを取り出す
Discovery文書(v1alpha)ありすべてのシートを取り出す
Discovery文書(v1)なし―
Python版SDK(mainブランチ)あり最初のシートを使う
JavaScript版SDK(mainブランチ)あり最初のシートを使う
Document understandingなしXLSXとXLSは最初のシートだけをCSVで読む
Gemini APIの更新履歴なし―