Google Cloudがobject enrichmentsをプレビュー公開、AIで画像やPDFのメタデータ抽出が可能
公開:
Google Cloudは、Cloud Storageの新機能object enrichmentsをプレビューとして公開しました。object enrichmentsは、AIモデルで条件を満たす画像やPDFからメタデータを自動抽出し、object contextとしてオブジェクトと一緒に保存する機能です。[1][2]
この記事では、プレビュー版のobject enrichmentsでできることと、対応するファイル形式や処理ロケーションを整理します。発生する料金項目や、用途別のモデル選択の目安も解説します。[1][2][3]
目次
object enrichmentsのプレビューでできること
プレビューのobject enrichmentsは、Googleの事前トレーニング済みモデルを対応形式の画像やPDFに直接適用し、構造化メタデータを生成します。Google Cloudは、法外な費用なしにエージェントへ完全で根拠のある知識を与える目的で同機能を開発しました。[1][2]
プレビューのobject enrichmentsは、モデル推論の調整や応答の解析、object contextへの結果の書き込みを担う仕組みです。再試行とスロットリングも内蔵し、利用者が管理するキューやスケールさせるワーカー、保守するグルーコードはありません。
プレビューで選べる5つのモデル
プレビューで選べるのは画像向け4つとPDF分類1つの、Cloud Storageのファーストパーティーのモデルで、1つ以上を選ぶ形式です。PDF分類モデルは、FinanceやGames、News、Healthのような標準的なビジネス・業界カテゴリに文書を分類します。[1][2][3]
プレビューでは、Google PhotosなどGoogleの社内サービスで使われるAIモデルを利用者も使えるのが特徴です。Google Cloudは、オブジェクト検出などの画像アノテーションを他社クラウドの類似サービスより75%低い費用で提供するとしています。
object contextへの保存
プレビューのobject enrichmentsは、モデルの出力をobject contextに直接書き込みます。object contextはキーと値の組で情報をオブジェクトと一緒に保存する仕組みで、主な特徴は以下の通りです。
object contextは、Storage Insightsデータセット経由でBigQueryへ流れるよう構成できます。ETLコードなしで、SQL分析やダッシュボード作成、構造化された業務テーブルとの結合が可能です。
プレビュー版object enrichmentsを使える場所
プレビューのobject enrichmentsは、Cloud StorageコンソールとCloud Storage APIで使えます。gcloud CLIやJSON APIでも機能構成を作成できます。[1][3]
プレビューのobject enrichmentsでは、壊れやすい複数コンポーネントの自作パイプラインを省けるのが特徴です。設定は範囲の定義やモデルの選択、権限の付与の3ステップで、Google Cloudコンソールではコードが不要です。
範囲の定義では、対象のバケットと処理ロケーションを指定します。プレビュー版のobject enrichmentsは、数百万から数十億のオブジェクトまで処理を拡張できます。
gcloud CLIで機能構成を作成
プレビューでは、gcloud alpha storage feature-configs createコマンドで機能構成を作成します。コマンドの例は以下の通りです。
gcloud alpha storage feature-configs create FEATURE_CONFIG_ID \
--description="DESCRIPTION" \
--auto-annotate-models=MODELS \
--auto-annotate-processing-location=PROCESSING_LOCATION \
--include-bucket-id-regexes=BUCKET_NAME
公式資料からの抜粋:オブジェクト エンリッチメントを構成する(機能構成を作成する / コマンドライン)。対象版・範囲:プレビュー。
上記のコードのMODELSには有効にするモデル名をカンマ区切りで、PROCESSING_LOCATIONにはus、eu、asiaのいずれかを指定します。BUCKET_NAMEには正確なバケット名を書く必要があり、正規表現やワイルドカードはサポートされていません。
エンリッチメントの確認方法
プレビューでは機能構成の作成・更新が非同期で反映され、有効化に最長24時間ほどかかることがあります。特定のオブジェクトのエンリッチメントはGoogle CloudコンソールやCloud Storage APIで、処理ステータスはCloud Monitoringで確認できます。[2]
Storage Insightsデータセットを設定すれば、エンリッチメントをBigQueryの業務データと併せてクエリすることも可能です。初期の利用者は、画像や文書の知見と構造化された業務データを組み合わせるマルチモーダル分析に活用しています。
object enrichmentsの利用条件
object enrichmentsはプレビューで、一般提供前のサービス規約の対象です。pre-GAの機能は現状のまま提供され、サポートが制限されることがあります。[2]
プレビュー版では、機能構成の作成にプロジェクトに対するストレージ管理者(roles/storage.admin)などのロールが前提です。サービスエージェントへのroles/storage.annotationGeneratorServiceとroles/storage.bucketViewerの付与も必要です。[3]
Google Cloudは発表時点で、Geminiを使う要約や文字起こし、翻訳などのエンリッチメントを今後提供する機能としています。アクセスは、storage-ai@google.comへの連絡でリクエストする形式です。[1]
処理対象になるオブジェクト
プレビューでは、Cloud StorageはオブジェクトのContent-Typeメタデータで処理するかを判断します。Content-Typeが無効または欠落していると、中身が有効な画像やPDFでも処理されません。
プレビューでは、対象の画像形式がBMPやGIF、ICO、JPEG、PNG、TIFF、WEBPで、文書はPDF(application/pdf)です。オブジェクトは、画像とPDFのどちらも20 MiB以下にする必要があります。
プレビューでは、Rapidバケットや階層型名前空間が有効なバケットでobject enrichmentsを有効にできません。顧客指定の暗号鍵(CSEK)で暗号化したオブジェクトも、プレビューではサポート対象外です。
プレビューでは、object enrichmentsはバケットの再配置と互換性がなく、再配置前に機能構成からバケットを削除する必要があります。新規作成・再作成・再配置したバケットも既存の構成へ自動追加されず、構成の更新が必要です。
データを処理するロケーション
プレビューのobject enrichmentsは、us、eu、asiaの3つのマルチリージョンでデータを処理します。確認日時点の処理ロケーションの一覧に、東京や大阪のリージョンは含まれていません。
編集部の目安では、プレビュー(確認日時点)で日本のリージョンにバケットを置く場合、規制とデータ主権の要件を満たしバケットに最も近いロケーションをus、eu、asiaから選びます。同じバケットとモデルに複数ロケーションを構成すると、プレビューではそれぞれで実行ごとに課金されます。
プレビュー版で発生する料金の内訳
プレビュー版のobject enrichmentsを利用すると、以下の4つの区分の料金が発生します。
メタデータ生成のためのオブジェクトの読み取りは、標準のデータアクセス料金の対象です。Autoclassが有効なバケットでは、この読み取りでストレージクラスの移行が起こります。
Google Cloudが示す費用の例は、公開料金に基づく1,000万件の画像またはPDFで700ドルです。Storage InsightsとBigQueryでメタデータを照会すると、追加費用が発生する可能性があります。
用途別に選ぶプレビュー版のモデル
プレビュー版の用途別モデルを編集部で整理しました。生成した画像ラベルを索引付けすれば、メディアアーカイブからクリエイティブ資産を探すエージェントにも使えます。[1]
不適切な画像を検査する場合は、content-safetyを選びます。学習データを絞り込む場合は、object-detectorとlabel-detectorが候補です。[1][2][3]
学習データの絞り込みは、保存場所にあるカメラやセンサーの生データを物体検出と画像ラベル付けのモデルでエンリッチし、メタデータをBigQueryで照会する方法です。Google Cloudは、MLエンジニアが特定のファインチューニング向け学習データ群を数か月でなく数分で特定できるとしています。
編集部の目安では、請求書などのPDFを整理する場合はpdf-classificationを選びます。検索拡張生成(RAG)の検索を改善する場合は、label-detectorとpdf-classificationの組み合わせが候補です。
出典
- ^ Google Cloud. 「Introducing object enrichments: Transform unstructured data into agent-ready context」. https://cloud.google.com/blog/products/storage-data-transfer/cost-effective-ai-context-extraction-from-unstructured-gcs-data, (参照 26-11-19).
- ^ Google Cloud. 「オブジェクト エンリッチメント」. https://docs.cloud.google.com/storage/docs/object-enrichments/overview?hl=ja, (参照 26-11-19).
- ^ Google Cloud. 「オブジェクト エンリッチメントを構成する」. https://docs.cloud.google.com/storage/docs/object-enrichments/configure-object-enrichments?hl=ja, (参照 26-11-19).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら


















