Vodafone Czech RepublicがData Engineering Agentを導入

Vodafone Czech RepublicがData Engineering Agentを導入、複雑なETLパイプライン変換で手作業比90%の移行時間削減を報告

公開:
CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Vodafone Czech Republicは、Data Engineering Agentでストアドプロシージャの一部をDataformパイプラインへ移行しました。Data Engineering Agentは、Geminiを使ってBigQueryのパイプライン作業の自動化を支援するエージェントです。[1]

この記事では、Data Engineering Agentでできることや使い始める場所、プレビュー版としての提供状態とサポート上の注意点を解説します。Vodafone Czech Republicは、移行後のパイプラインの実行時間が半分になったと報告しています。[1][2]

目次
  1. プレビュー版Data Engineering Agentでできること
  2. Vodafone Czech Republicの移行成果
  3. Data Engineering Agentの始め方
  4. Data Engineering Agentの利用条件

プレビュー版Data Engineering Agentでできること

プレビュー版のData Engineering Agentは、自然言語の指示を解釈し、パイプラインのコードを生成します。生成したコードは、DataformリポジトリのSQLXファイルに整理されます。[2]

Data Engineering Agentの主な機能

図1 Data Engineering Agentの主な機能

GEMINI.MDによる指示

プレビュー版では、エージェントへの指示をGEMINI.MDファイルとして作成し、永続的な指示として保存できます。命名規則やスタイルガイドを組織全体でそろえたい場合に使う機能です。

エージェントへの指示の要点

図2 エージェントへの指示の要点

従来の数千行のストアドプロシージャの欠点

Vodafone Czech Republicが挙げた、エージェントが作るDataformのモジュール方式と比べた従来型ストアドプロシージャの欠点は以下の通りです。[1]

Vodafone Czech Republicによる比較

観点 従来型ストアドプロシージャ(モノリス) Dataformのモジュール方式
コード構成 1ファイルに数千行、複雑なロジックが混在 小さなモジュール単位の.sqlxファイル
ロジックの再利用 コードのコピーと貼り付け(ずれやすい) 関数とref()による厳密な再利用
テスト 手動かつ場当たり的で、実施はまれ Unique、Not Null、Referential Integrityの自動テストを組み込み
ドキュメント コード内のコメント(通常は古い) リネージグラフ付きの自動生成
実行 手動のスケジュールと依存関係の直書き リネージ(DAG)に基づく自動実行

同社によると、Data Engineering Agentはパイプラインの構築と保守を容易にします。自然言語の指示を基に、指示ファイルにコードがあれば併用してDataformパイプラインを構築します。

Vodafone Czech Republicの事例での構築方法

図3 Vodafone Czech Republicの事例での構築方法


Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

Vodafone Czech Republicの移行成果

Vodafone Czech Republicによると、エージェントは複雑なETLパイプラインの変換を自動化し、移行時間を従来の手作業より90%削減しました。同社は、導入がレガシー移行の煩雑な作業に即時かつ測定可能な効果をもたらしたとしています。[1]

同社によると、基盤インフラの刷新で性能が大きく上がりました。移行後のベンチマークでは新しいパイプラインが2倍の速さになり、クエリの遅延減少とデータ処理量の増加も見られました。

Vodafone Czech Republicの移行の成果

図4 Vodafone Czech Republicの移行の成果

同社は、エージェントへの中間テーブルのキャッシュ指示がコストの30%削減につながったとしています。エージェントは移行対象のストアドプロシージャをすべて1対1のロジックで再現し、人手の介入は最小限でした。

Dataformパイプラインへの移行

Vodafone Czech Republicは、業務用のデータ変換に多くのBigQueryストアドプロシージャを使っています。オンプレミスのデータウェアハウスからBigQueryへの移行で残ったもので、多くは2,000行や3,000行のコードを含み、順番に実行されます。

Dataformパイプラインへの移行で同社が挙げた主な点は、以下の通りです。

コードの並列化:読みやすさと性能のため独立した手順で並行実行/中間結果のキャッシュ:BigQueryのマテリアライズドビューで中間テーブルの一部をキャッシュ可能/実行管理:依存関係と実行ログをDataformが扱う/部分実行:手順への分割でDataformの一部アクションだけ実行可能

Data Engineering Agentはテーブル間の依存関係を理解でき、下流で使うテーブルのキャッシュは高速化とコスト削減につながります。同社は以前、依存関係を表計算シートで手動管理していました。

並列化とキャッシュの注意点

Vodafone Czech Republicがストアドプロシージャの並列化をエージェントに指示すると、コストが増えました。逐次実行ではBigQueryが最初のスレッドでベーステーブルをキャッシュしますが、並列化で効果が失われ、スレッドごとにテーブル全体をスキャンすることがあります。

並列化で起きたことと対処

図5 並列化で起きたことと対処

Vodafone Czech Republicは、エージェントに並列化をより効率よく行わせるため、対象をステージングテーブルと具体的に指示しました。中間テーブルのマテリアライズドビュー作成も依頼し、このビューはデータを事前にキャッシュして並列化したクエリの性能とコスト効率を保つとしています。

Data Engineering Agentの始め方

プレビュー版のData Engineering Agentは、BigQueryパイプラインかDataformのどちらかを選んで使い始めます。どちらも[エージェントに質問]に自然言語のプロンプトを入力し、[送信]をクリックします。[1][2]

プレビュー版の使い始める場所の違い

図6 プレビュー版の使い始める場所の違い

プレビュー版のData Engineering Agentでは、BigQueryパイプラインの入口はクエリエディタの[新規作成]>[パイプライン]です。提案ドラフトは[適用]で反映し、Dataformでは開発ワークスペースのファイルをエージェントが直接変更します。

次のプロンプトは、日次の売上レポートを作る指示の例です。

  Create a daily sales report from the
  bigquery-public-data.thelook_ecommerce.order_items table into a
  reporting.daily_sales_aggregation table.

公式資料からの抜粋:Data Engineering Agent を使用したデータ パイプラインの構築と変更(サンプル プロンプト / 既存のデータを集計して新しいテーブルにする)。対象版・範囲:プレビュー版(pre-GA)、確認日時点の公式ドキュメント(最終更新日 2025-12-17 UTC)。

上記のコードでは、集計結果をreporting.daily_sales_aggregationテーブルに入れるよう指示しています。プレビュー版のData Engineering Agentは、スキーマとサンプルからキーによるグループ化を推測します。

プレビュー版のData Engineering Agentは、パイプラインを実行できません。利用者がパイプラインを確認し、実行またはスケジュールする必要があります。


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

Data Engineering Agentの利用条件

Data Engineering Agentはプレビュー版のpre-GAサービスで、本番環境での使用は想定されていません。pre-GAの機能は「現状のまま」提供され、サポートが制限されることがあります。[2]

Data Engineering Agentの提供範囲

図7 Data Engineering Agentの提供範囲

Data Engineering Agentは、BigQueryパイプラインとDataformで利用できます。Vodafone Czech Republicは、Dataformでエージェントを直接使いました。[1]

BigQueryパイプラインのタスクを実行すると、BigQueryのコンピューティングとストレージの料金が発生します。実行は自動でCloud Loggingに記録されるため、Cloud Loggingの料金が発生する場合もあります。[3]

利用に必要な設定と制限

プレビュー版(pre-GA)のData Engineering Agentを使うには、プロジェクトでの機能やAPIの有効化と、必要な権限が前提です。前提条件と主な制限は、以下の通りです。

対象:プレビュー版(pre-GA)の確認日時点/プロジェクト設定:Gemini in BigQueryが有効か確認/API:Gemini Data Analytics APIを有効化/権限の依頼:プロジェクトへのIAMロール付与を管理者に依頼/対象ロール:roles/dataform.codeEditorとroles/bigquery.jobuser/ほかのロール:カスタムロールや他の事前定義ロールでも権限を取得可能/形式の制限:ノートブックやデータの準備、SQLx内のJavaScriptへの自然言語コマンドは非対応/URL:手順やプロンプト内のウェブリンクは検索できない

プレビュー版のData Engineering Agentは、BigQueryテーブルのサンプル行などを会話中のコンテキストとして取得できます。取得したデータは、エージェントのトレーニングには使われません。

データの置き場所の確認点

Gemini in BigQueryはグローバルに運用され、利用者は使うリージョンを選べません。提供元のリージョンは、南北アメリカのus-central1やヨーロッパのeurope-north1、europe-west3です。

Gemini in BigQueryの提供リージョン

図8 Gemini in BigQueryの提供リージョン

DataformとBigQueryへのリクエストは、各リージョンのエンドポイントに送られます。データとコードは、そのリージョン内に留まる仕組みです。

確認日時点のBigQueryパイプライン全般の対応リージョン一覧には、東京(asia-northeast1)が含まれます。この一覧はData Engineering Agent固有の対応範囲ではなく、大阪はアジア太平洋の欄に含まれていません。

保存リージョンは作成後に変えられないため、BigQueryパイプラインで東京を使う場合は作成時に選んでおくとよいでしょう。データの置き場所に要件がある場合は、Gemini in BigQueryの提供元リージョンも確かめるとよいでしょう。

出典

  1. ^ Google Cloud. 「How Vodafone is using the Data Engineering Agent to improve their data pipelines」. https://cloud.google.com/blog/products/data-analytics/vodafone-cuts-data-pipeline-costs-30-via-data-engineeringagent, (参照 26-11-20).
  2. ^ Google Cloud. 「Data Engineering Agent を使用したデータ パイプラインの構築と変更」. https://docs.cloud.google.com/bigquery/docs/data-engineering-agent-pipelines?hl=ja, (参照 26-11-21).
  3. ^ Google Cloud. 「BigQuery パイプラインの概要」. https://docs.cloud.google.com/bigquery/docs/pipelines-introduction?hl=ja, (参照 26-11-21).

※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。

修正・削除・掲載などの依頼はこちら
ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

企業・法人向けのIT・プログラミング・生成AI研修を探す、比較する - IT・プログラミングを知って学べるコネクトメディア CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプが提供する無料で学べるプログラミングスクール講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア 3.5日の研修で、年間1,600時間の削減効果が見込まれる。東京きらぼしフィナンシャルグループのDX人材育成事例 - IT・プログラミングを知って学べるコネクトメディア 配属3ヶ月で30%の生産性向上を実現するいよぎんコンピュータサービスの新人研修に迫る - IT・プログラミングを知って学べるコネクトメディア 金融業界の業務効率化を加速するニッセイアセットマネジメントの生成AI×GAS活用研修事例 - IT・プログラミングを知って学べるコネクトメディア 【製造業のDX人材育成事例】デジタル人材の即戦力化を実現する、日本ガイシ株式会社の異動者向オンボーディング研修 - ITやプログラミングを知って学べるコネクトメディア フューチャーアーキテクト株式会社が実現した新入社員向けIT研修プログラムでタスクフォース制度が主体的な学びと成長を生み出す - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【IT新入社員研修】オンラインとオフラインの最適バランスを実現したFutureOneの導入事例 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【新入社員研修】柔軟なハイブリッド型Java研修で実現した新卒20名の成長と成果|サークレイス株式会社 - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア

What's New

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する