Vodafone Czech RepublicがData Engineering Agentを導入、複雑なETLパイプライン変換で手作業比90%の移行時間削減を報告
公開:
Vodafone Czech Republicは、Data Engineering Agentでストアドプロシージャの一部をDataformパイプラインへ移行しました。Data Engineering Agentは、Geminiを使ってBigQueryのパイプライン作業の自動化を支援するエージェントです。[1]
この記事では、Data Engineering Agentでできることや使い始める場所、プレビュー版としての提供状態とサポート上の注意点を解説します。Vodafone Czech Republicは、移行後のパイプラインの実行時間が半分になったと報告しています。[1][2]
目次
プレビュー版Data Engineering Agentでできること
プレビュー版のData Engineering Agentは、自然言語の指示を解釈し、パイプラインのコードを生成します。生成したコードは、DataformリポジトリのSQLXファイルに整理されます。[2]
GEMINI.MDによる指示
プレビュー版では、エージェントへの指示をGEMINI.MDファイルとして作成し、永続的な指示として保存できます。命名規則やスタイルガイドを組織全体でそろえたい場合に使う機能です。
従来の数千行のストアドプロシージャの欠点
Vodafone Czech Republicが挙げた、エージェントが作るDataformのモジュール方式と比べた従来型ストアドプロシージャの欠点は以下の通りです。[1]
Vodafone Czech Republicによる比較
| 観点 | 従来型ストアドプロシージャ(モノリス) | Dataformのモジュール方式 |
|---|---|---|
| コード構成 | 1ファイルに数千行、複雑なロジックが混在 | 小さなモジュール単位の.sqlxファイル |
| ロジックの再利用 | コードのコピーと貼り付け(ずれやすい) | 関数とref()による厳密な再利用 |
| テスト | 手動かつ場当たり的で、実施はまれ | Unique、Not Null、Referential Integrityの自動テストを組み込み |
| ドキュメント | コード内のコメント(通常は古い) | リネージグラフ付きの自動生成 |
| 実行 | 手動のスケジュールと依存関係の直書き | リネージ(DAG)に基づく自動実行 |
同社によると、Data Engineering Agentはパイプラインの構築と保守を容易にします。自然言語の指示を基に、指示ファイルにコードがあれば併用してDataformパイプラインを構築します。
Vodafone Czech Republicの移行成果
Vodafone Czech Republicによると、エージェントは複雑なETLパイプラインの変換を自動化し、移行時間を従来の手作業より90%削減しました。同社は、導入がレガシー移行の煩雑な作業に即時かつ測定可能な効果をもたらしたとしています。[1]
同社によると、基盤インフラの刷新で性能が大きく上がりました。移行後のベンチマークでは新しいパイプラインが2倍の速さになり、クエリの遅延減少とデータ処理量の増加も見られました。
同社は、エージェントへの中間テーブルのキャッシュ指示がコストの30%削減につながったとしています。エージェントは移行対象のストアドプロシージャをすべて1対1のロジックで再現し、人手の介入は最小限でした。
Dataformパイプラインへの移行
Vodafone Czech Republicは、業務用のデータ変換に多くのBigQueryストアドプロシージャを使っています。オンプレミスのデータウェアハウスからBigQueryへの移行で残ったもので、多くは2,000行や3,000行のコードを含み、順番に実行されます。
Dataformパイプラインへの移行で同社が挙げた主な点は、以下の通りです。
Data Engineering Agentはテーブル間の依存関係を理解でき、下流で使うテーブルのキャッシュは高速化とコスト削減につながります。同社は以前、依存関係を表計算シートで手動管理していました。
並列化とキャッシュの注意点
Vodafone Czech Republicがストアドプロシージャの並列化をエージェントに指示すると、コストが増えました。逐次実行ではBigQueryが最初のスレッドでベーステーブルをキャッシュしますが、並列化で効果が失われ、スレッドごとにテーブル全体をスキャンすることがあります。
Vodafone Czech Republicは、エージェントに並列化をより効率よく行わせるため、対象をステージングテーブルと具体的に指示しました。中間テーブルのマテリアライズドビュー作成も依頼し、このビューはデータを事前にキャッシュして並列化したクエリの性能とコスト効率を保つとしています。
Data Engineering Agentの始め方
プレビュー版のData Engineering Agentは、BigQueryパイプラインかDataformのどちらかを選んで使い始めます。どちらも[エージェントに質問]に自然言語のプロンプトを入力し、[送信]をクリックします。[1][2]
プレビュー版のData Engineering Agentでは、BigQueryパイプラインの入口はクエリエディタの[新規作成]>[パイプライン]です。提案ドラフトは[適用]で反映し、Dataformでは開発ワークスペースのファイルをエージェントが直接変更します。
次のプロンプトは、日次の売上レポートを作る指示の例です。
Create a daily sales report from the
bigquery-public-data.thelook_ecommerce.order_items table into a
reporting.daily_sales_aggregation table.
公式資料からの抜粋:Data Engineering Agent を使用したデータ パイプラインの構築と変更(サンプル プロンプト / 既存のデータを集計して新しいテーブルにする)。対象版・範囲:プレビュー版(pre-GA)、確認日時点の公式ドキュメント(最終更新日 2025-12-17 UTC)。
上記のコードでは、集計結果をreporting.daily_sales_aggregationテーブルに入れるよう指示しています。プレビュー版のData Engineering Agentは、スキーマとサンプルからキーによるグループ化を推測します。
プレビュー版のData Engineering Agentは、パイプラインを実行できません。利用者がパイプラインを確認し、実行またはスケジュールする必要があります。
Data Engineering Agentの利用条件
Data Engineering Agentはプレビュー版のpre-GAサービスで、本番環境での使用は想定されていません。pre-GAの機能は「現状のまま」提供され、サポートが制限されることがあります。[2]
Data Engineering Agentは、BigQueryパイプラインとDataformで利用できます。Vodafone Czech Republicは、Dataformでエージェントを直接使いました。[1]
BigQueryパイプラインのタスクを実行すると、BigQueryのコンピューティングとストレージの料金が発生します。実行は自動でCloud Loggingに記録されるため、Cloud Loggingの料金が発生する場合もあります。[3]
利用に必要な設定と制限
プレビュー版(pre-GA)のData Engineering Agentを使うには、プロジェクトでの機能やAPIの有効化と、必要な権限が前提です。前提条件と主な制限は、以下の通りです。
プレビュー版のData Engineering Agentは、BigQueryテーブルのサンプル行などを会話中のコンテキストとして取得できます。取得したデータは、エージェントのトレーニングには使われません。
データの置き場所の確認点
Gemini in BigQueryはグローバルに運用され、利用者は使うリージョンを選べません。提供元のリージョンは、南北アメリカのus-central1やヨーロッパのeurope-north1、europe-west3です。
DataformとBigQueryへのリクエストは、各リージョンのエンドポイントに送られます。データとコードは、そのリージョン内に留まる仕組みです。
確認日時点のBigQueryパイプライン全般の対応リージョン一覧には、東京(asia-northeast1)が含まれます。この一覧はData Engineering Agent固有の対応範囲ではなく、大阪はアジア太平洋の欄に含まれていません。
保存リージョンは作成後に変えられないため、BigQueryパイプラインで東京を使う場合は作成時に選んでおくとよいでしょう。データの置き場所に要件がある場合は、Gemini in BigQueryの提供元リージョンも確かめるとよいでしょう。
出典
- ^ Google Cloud. 「How Vodafone is using the Data Engineering Agent to improve their data pipelines」. https://cloud.google.com/blog/products/data-analytics/vodafone-cuts-data-pipeline-costs-30-via-data-engineeringagent, (参照 26-11-20).
- ^ Google Cloud. 「Data Engineering Agent を使用したデータ パイプラインの構築と変更」. https://docs.cloud.google.com/bigquery/docs/data-engineering-agent-pipelines?hl=ja, (参照 26-11-21).
- ^ Google Cloud. 「BigQuery パイプラインの概要」. https://docs.cloud.google.com/bigquery/docs/pipelines-introduction?hl=ja, (参照 26-11-21).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら


















