Google Cloudがobject enrichmentsをプレビュー公開

Google Cloudがobject enrichmentsをプレビュー公開、AIで画像やPDFのメタデータ抽出が可能

公開:
CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Google Cloudは、Cloud Storageの新機能object enrichmentsをプレビューとして公開しました。object enrichmentsは、AIモデルで条件を満たす画像やPDFからメタデータを自動抽出し、object contextとしてオブジェクトと一緒に保存する機能です。[1][2]

この記事では、プレビュー版のobject enrichmentsでできることと、対応するファイル形式や処理ロケーションを整理します。発生する料金項目や、用途別のモデル選択の目安も解説します。[1][2][3]

目次
  1. object enrichmentsのプレビューでできること
  2. プレビュー版object enrichmentsを使える場所
  3. object enrichmentsの利用条件
  4. 用途別に選ぶプレビュー版のモデル

object enrichmentsのプレビューでできること

プレビューのobject enrichmentsは、Googleの事前トレーニング済みモデルを対応形式の画像やPDFに直接適用し、構造化メタデータを生成します。Google Cloudは、法外な費用なしにエージェントへ完全で根拠のある知識を与える目的で同機能を開発しました。[1][2]

object enrichmentsが担う処理

図1 object enrichmentsが担う処理

プレビューのobject enrichmentsは、モデル推論の調整や応答の解析、object contextへの結果の書き込みを担う仕組みです。再試行とスロットリングも内蔵し、利用者が管理するキューやスケールさせるワーカー、保守するグルーコードはありません。

プレビューで選べる5つのモデル

プレビューで選べるのは画像向け4つとPDF分類1つの、Cloud Storageのファーストパーティーのモデルで、1つ以上を選ぶ形式です。PDF分類モデルは、FinanceやGames、News、Healthのような標準的なビジネス・業界カテゴリに文書を分類します。[1][2][3]

プレビューで選べる5つのモデル

図2 プレビューで選べる5つのモデル

プレビューでは、Google PhotosなどGoogleの社内サービスで使われるAIモデルを利用者も使えるのが特徴です。Google Cloudは、オブジェクト検出などの画像アノテーションを他社クラウドの類似サービスより75%低い費用で提供するとしています。

object contextへの保存

プレビューのobject enrichmentsは、モデルの出力をobject contextに直接書き込みます。object contextはキーと値の組で情報をオブジェクトと一緒に保存する仕組みで、主な特徴は以下の通りです。

耐久性:元のオブジェクトと同じ耐久性と一貫性/ライフサイクル:コピーや移動、レプリケーションに追従し削除時に自動削除/権限管理:読み取りや追加、更新、削除を管理者がIAMで制御/高速な絞り込み:キーと値の組でオブジェクト一覧をフィルタ/読み出し:オブジェクトと一緒にメタデータを読み取って提供

object contextは、Storage Insightsデータセット経由でBigQueryへ流れるよう構成できます。ETLコードなしで、SQL分析やダッシュボード作成、構造化された業務テーブルとの結合が可能です。

プレビュー版object enrichmentsを使える場所

プレビューのobject enrichmentsは、Cloud StorageコンソールとCloud Storage APIで使えます。gcloud CLIやJSON APIでも機能構成を作成できます。[1][3]

プレビューのobject enrichmentsでは、壊れやすい複数コンポーネントの自作パイプラインを省けるのが特徴です。設定は範囲の定義やモデルの選択、権限の付与の3ステップで、Google Cloudコンソールではコードが不要です。

コンソールで設定する3つのステップ

図3 コンソールで設定する3つのステップ

範囲の定義では、対象のバケットと処理ロケーションを指定します。プレビュー版のobject enrichmentsは、数百万から数十億のオブジェクトまで処理を拡張できます。


Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

gcloud CLIで機能構成を作成

プレビューでは、gcloud alpha storage feature-configs createコマンドで機能構成を作成します。コマンドの例は以下の通りです。

gcloud alpha storage feature-configs create FEATURE_CONFIG_ID \
    --description="DESCRIPTION" \
    --auto-annotate-models=MODELS \
    --auto-annotate-processing-location=PROCESSING_LOCATION \
    --include-bucket-id-regexes=BUCKET_NAME

公式資料からの抜粋:オブジェクト エンリッチメントを構成する(機能構成を作成する / コマンドライン)。対象版・範囲:プレビュー。

上記のコードのMODELSには有効にするモデル名をカンマ区切りで、PROCESSING_LOCATIONにはus、eu、asiaのいずれかを指定します。BUCKET_NAMEには正確なバケット名を書く必要があり、正規表現やワイルドカードはサポートされていません。

構成の作成で指定する主な値

図4 構成の作成で指定する主な値

エンリッチメントの確認方法

プレビューでは機能構成の作成・更新が非同期で反映され、有効化に最長24時間ほどかかることがあります。特定のオブジェクトのエンリッチメントはGoogle CloudコンソールやCloud Storage APIで、処理ステータスはCloud Monitoringで確認できます。[2]

機能構成が有効になるまでの時間とエンリッチメントの確認方法

図5 機能構成が有効になるまでの時間とエンリッチメントの確認方法

Storage Insightsデータセットを設定すれば、エンリッチメントをBigQueryの業務データと併せてクエリすることも可能です。初期の利用者は、画像や文書の知見と構造化された業務データを組み合わせるマルチモーダル分析に活用しています。

object enrichmentsの利用条件

object enrichmentsはプレビューで、一般提供前のサービス規約の対象です。pre-GAの機能は現状のまま提供され、サポートが制限されることがあります。[2]

利用前に確かめる提供状態と権限

図6 利用前に確かめる提供状態と権限

プレビュー版では、機能構成の作成にプロジェクトに対するストレージ管理者(roles/storage.admin)などのロールが前提です。サービスエージェントへのroles/storage.annotationGeneratorServiceとroles/storage.bucketViewerの付与も必要です。[3]

Google Cloudは発表時点で、Geminiを使う要約や文字起こし、翻訳などのエンリッチメントを今後提供する機能としています。アクセスは、storage-ai@google.comへの連絡でリクエストする形式です。[1]


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

処理対象になるオブジェクト

プレビューでは、Cloud StorageはオブジェクトのContent-Typeメタデータで処理するかを判断します。Content-Typeが無効または欠落していると、中身が有効な画像やPDFでも処理されません。

プレビューで処理できる対象の条件

図7 プレビューで処理できる対象の条件

プレビューでは、対象の画像形式がBMPやGIF、ICO、JPEG、PNG、TIFF、WEBPで、文書はPDF(application/pdf)です。オブジェクトは、画像とPDFのどちらも20 MiB以下にする必要があります。

プレビューでは、Rapidバケットや階層型名前空間が有効なバケットでobject enrichmentsを有効にできません。顧客指定の暗号鍵(CSEK)で暗号化したオブジェクトも、プレビューではサポート対象外です。

プレビューでは、object enrichmentsはバケットの再配置と互換性がなく、再配置前に機能構成からバケットを削除する必要があります。新規作成・再作成・再配置したバケットも既存の構成へ自動追加されず、構成の更新が必要です。

バケットを管理するときの注意点

図8 バケットを管理するときの注意点

データを処理するロケーション

プレビューのobject enrichmentsは、us、eu、asiaの3つのマルチリージョンでデータを処理します。確認日時点の処理ロケーションの一覧に、東京や大阪のリージョンは含まれていません。

処理ロケーションを選ぶときの観点

図9 処理ロケーションを選ぶときの観点

編集部の目安では、プレビュー(確認日時点)で日本のリージョンにバケットを置く場合、規制とデータ主権の要件を満たしバケットに最も近いロケーションをus、eu、asiaから選びます。同じバケットとモデルに複数ロケーションを構成すると、プレビューではそれぞれで実行ごとに課金されます。

プレビュー版で発生する料金の内訳

プレビュー版のobject enrichmentsを利用すると、以下の4つの区分の料金が発生します。

モデル推論の料金/メタデータストレージの料金/データアクセスオペレーションの料金/ネットワーキングの料金

メタデータ生成のためのオブジェクトの読み取りは、標準のデータアクセス料金の対象です。Autoclassが有効なバケットでは、この読み取りでストレージクラスの移行が起こります。

Google Cloudが示す費用の例は、公開料金に基づく1,000万件の画像またはPDFで700ドルです。Storage InsightsとBigQueryでメタデータを照会すると、追加費用が発生する可能性があります。

用途別に選ぶプレビュー版のモデル

プレビュー版の用途別モデルを編集部で整理しました。生成した画像ラベルを索引付けすれば、メディアアーカイブからクリエイティブ資産を探すエージェントにも使えます。[1]

編集部によるプレビュー版モデルの選択目安

図10 編集部によるプレビュー版モデルの選択目安

不適切な画像を検査する場合は、content-safetyを選びます。学習データを絞り込む場合は、object-detectorとlabel-detectorが候補です。[1][2][3]

学習データの絞り込みは、保存場所にあるカメラやセンサーの生データを物体検出と画像ラベル付けのモデルでエンリッチし、メタデータをBigQueryで照会する方法です。Google Cloudは、MLエンジニアが特定のファインチューニング向け学習データ群を数か月でなく数分で特定できるとしています。

編集部の目安では、請求書などのPDFを整理する場合はpdf-classificationを選びます。検索拡張生成(RAG)の検索を改善する場合は、label-detectorとpdf-classificationの組み合わせが候補です。

出典

  1. ^ Google Cloud. 「Introducing object enrichments: Transform unstructured data into agent-ready context」. https://cloud.google.com/blog/products/storage-data-transfer/cost-effective-ai-context-extraction-from-unstructured-gcs-data, (参照 26-11-19).
  2. ^ Google Cloud. 「オブジェクト エンリッチメント」. https://docs.cloud.google.com/storage/docs/object-enrichments/overview?hl=ja, (参照 26-11-19).
  3. ^ Google Cloud. 「オブジェクト エンリッチメントを構成する」. https://docs.cloud.google.com/storage/docs/object-enrichments/configure-object-enrichments?hl=ja, (参照 26-11-19).

※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。

修正・削除・掲載などの依頼はこちら
ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

企業・法人向けのIT・プログラミング・生成AI研修を探す、比較する - IT・プログラミングを知って学べるコネクトメディア CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプが提供する無料で学べるプログラミングスクール講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア 3.5日の研修で、年間1,600時間の削減効果が見込まれる。東京きらぼしフィナンシャルグループのDX人材育成事例 - IT・プログラミングを知って学べるコネクトメディア 配属3ヶ月で30%の生産性向上を実現するいよぎんコンピュータサービスの新人研修に迫る - IT・プログラミングを知って学べるコネクトメディア 金融業界の業務効率化を加速するニッセイアセットマネジメントの生成AI×GAS活用研修事例 - IT・プログラミングを知って学べるコネクトメディア 【製造業のDX人材育成事例】デジタル人材の即戦力化を実現する、日本ガイシ株式会社の異動者向オンボーディング研修 - ITやプログラミングを知って学べるコネクトメディア フューチャーアーキテクト株式会社が実現した新入社員向けIT研修プログラムでタスクフォース制度が主体的な学びと成長を生み出す - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【IT新入社員研修】オンラインとオフラインの最適バランスを実現したFutureOneの導入事例 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【新入社員研修】柔軟なハイブリッド型Java研修で実現した新卒20名の成長と成果|サークレイス株式会社 - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア

What's New

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する