Google CloudがData Agent Kitを紹介、IDE拡張機能でBigQueryのパイプライン構築が可能

Data Agent Kitでできること

Data Agent Kitは、データ作業の流れに2つの要素を加え、その1つはエージェントへの支援です。MCPツールはエージェントをデータサービスにつなぎ、Markdownファイルのスキルはデータスタックを扱うための指示とベストプラクティスを与えます。^[1]

図1　Data Agent Kitが加える支援とツール

エディタ内で扱える範囲

IDE内のツールでは、GoogleのAgentic Data Cloudをエディタから離れずに扱えます。対象は、データベースへのクエリからAirflowパイプラインのデプロイまでです。

IDE拡張機能の中核機能

Data Agent KitのIDE拡張機能は、複数の機能領域でデータワークフローを効率化します。中核の機能は、以下の通りです。^[2]

BigQueryやDataflow、Spanner、Cloud Storageなどは、1つのIDEかコーディングエージェントの中で操作できます。データアプリやワークロードの開発とデプロイには、組み込みのベストプラクティスを使えます。

Data Agent Kitの使い方

Data Agent Kitは、IDE拡張機能かコーディングエージェント用プラグインを入れて使います。不正取引の調査候補を作る例では、Antigravity IDE内のData Agent Kitを使い、取引ログの取り込みから日次実行の設定までをエージェントと構築できます。^[1][2]

図2　不正取引の調査候補を作るワークフロー

取り込みのPySparkノートブック

取り込みでは、Google Cloud StorageのJSON取引ログをBigQueryへ読み込むノートブックを、エージェントに作らせます。指示の文は、次の通りです。

Create a PySpark notebook to ingest JSON transaction logs from gs://financials-clearing-raw/ into the BigQuery table transactions.raw_transactions.

公式資料からの抜粋：Agentic data science with the Data Agent Kit（Loading the data）。対象版・範囲：Google Cloudブログ記事の記載（提供状態の記載なし）。

上記のコードでは、JSON取引ログを取り込むPySparkノートブックの作成を指示しています。生成されたJupyterノートブックは、コードを確かめたうえで、IDEから事前設定済みのSpark Serverlessランタイムで実行できます。

図3　取り込みノートブックの作成から確認まで

この例では、ノートブックの実行後にraw_transactionsテーブルを開けるのが特徴です。拡張機能では、このBigQueryテーブルをIDEから直接閲覧し、メタデータを確かめられます。

dbtプロジェクトでの整形

取り込んだ記録はBigQueryにありますが、まだモデル学習に使える状態ではありません。この例では重複や不完全な記録を処理してから、残った記録を送金者と受取人の情報と結合します。

この整形は新しいバッチごとに実行できるようdbtプロジェクトにまとめ、各取引が1回だけ現れるかもテストします。指示の文は、次の通りです。

Create a dbt project in dbt_project/ for the BigQuery dataset transactions.

Deduplicate raw_transactions by transaction_id in staging. Separate records with null IDs into invalid_transactions. Join valid records with dim_payers and dim_payees to create enriched_transactions, preserving the is_fraud label. Add a transaction uniqueness test.

公式資料からの抜粋：Agentic data science with the Data Agent Kit（Cleaning it up）。対象版・範囲：Google Cloudブログ記事の記載（提供状態の記載なし）。

上記のコードでは、BigQueryのtransactionsデータセット用dbtプロジェクトを作らせます。重複除去やIDがnullの記録のinvalid_transactionsへの分離、結合、一意性テストも含みます。

図4　例のdbt buildがBigQueryに作るテーブル

この例では、生成されたSQLモデルで重複と参照テーブルの結合の扱いを確かめ、統合ターミナルでdbtモデルを検証する流れです。dbt buildでは、ステージングと拡充済み、取引IDが欠けた記録用の3テーブルがBigQueryに作られ、一意性テストも実行されます。

学習用のPySparkノートブック

この例では、RandomForestClassifierを学習するPySparkノートブックの作成を指示します。対象はtransactions.enriched_transactionsで、ラベルが非nullの記録だけで学習してis_fraudを予測する内容です。

図5　例の学習用ノートブックへの指示

前処理はカテゴリ特徴量のエンコードと金額のスケーリング、評価はROC AUCとし、モデルはgs://models/fraud_modelへ保存させます。ノートブックの確認と実行後は、評価出力で不正取引と正当な取引をモデルがどの程度分けられるかを見る流れです。

学習済みモデルの成果物がGoogle Cloud Storageに保存されたかは、Data Agent Kitの拡張機能で確認できます。推論の読み込み元は別のパスなので、例をなぞる場合はそこにモデルがあるかを確かめます。

推論ノートブックでの採点

保存済みモデルで、is_fraudがnullの取引を採点するバッチ推論ノートブックも、エージェントに作らせます。読み込み元は、gs://my_models/fraud_modelとする指示です。

図6　例の推論ノートブックへの指示

対象テーブルはtransactions.enriched_transactionsです。この例ではBigQueryのラベルなし取引を採点し、不正の推定確率が50%以上の取引をSpannerのレビュー待ちテーブルへ送ります。

この例の書き込み先は、cymbal-fraudインスタンスのfraud-dbにあるSparkEvalFraudReviewQueueテーブルです。フラグ付きの取引は調査先を決める助けになりますが、不正かどうかは担当チームが判断する必要があります。

この例では、推論ノートブックの絞り込みと書き込みを確かめてから実行します。完了後はIDEでSpannerテーブルのフラグ付き取引をクエリし、結果を確かめる流れです。

図7　例の推論ノートブックの実行と結果確認

Airflowでの日次実行

例では毎日、最新ログの読み込みとdbtの変換、保存済みモデルによるラベルなし取引の採点を行います。各段階を順に動かすのは、Managed Service for Apache Airflowの役割です。

図8　例のfraud_analysis_pipelineへの指示

この例では、エージェントがYAML形式のパイプライン定義とデプロイ構成を生成します。パイプライン定義はスケジュールとステップ間の依存関係を設定し、デプロイ構成は実行先のAirflow環境を指定する役割です。

fraud_analysis_pipelineでは、ノートブックにSpark Serverlessを使い、推論にSpanner connectorを含めるよう指示します。成果物の保存先はgs://YOUR_ARTIFACT_BUCKETとする指示です。

DAGの対話型グラフ

この例では、Antigravity IDE内のData Agent Kitがパイプライン定義をAirflow DAGに変換する流れです。DAGは同IDE内の対話型グラフで確認できます。

図9　例のデータパイプラインの確認

Antigravity IDEの例では、「Orchestration Pipelines」でパイプラインを開き、タスクをクリックして中身を確かめられます。ノートブックのタスクからは、リンクで元のコードへの移動が可能です。

Run pipelineでの実行

Airflow環境の設定後に「Run pipeline」を押すと、Data Agent KitがノートブックとdbtプロジェクトをまとめてDAGをデプロイします。実行も始まり、実行履歴で進み具合や各タスクの状態、所要時間、ログを確かめられます。

Data Agent Kitの利用条件

Data Agent Kitは、Antigravity IDEやCursorといったVS Code派生のIDE向けに、拡張機能として利用できます。Antigravity 2.0やAntigravity CLI、Claude Code、Codexといったほかのツールでは、プラグインとして使えます。^[1]

対応状況と制限事項は、以下の通りです。^[2]

AlloyDBのデータを扱う場合は、IAMデータベース認証を使える構成かを導入前に確認します。「Run pipeline」を押して始めるデプロイとは別に、オーケストレーションパイプラインを自動デプロイする場合は、GitHub Actionsを使えるかも確かめます。

Data Agent Kitの提供形態の選び方

VS CodeとVS Code互換のIDE用の拡張機能は、IDE内でデータアセットとデータワークロードの全体像を示すUIコンポーネントを備えます。プラグインは、サポート対象のコーディングエージェントで、自然言語の指示からGoogle Cloudのデータを操作します。^[2]

図10　IDE拡張機能とプラグインの違い

テーブルやパイプラインを画面で確かめながら進めたい場合は、IDE拡張機能が候補です。サポート対象のエージェントを使う場合は、プラグインも候補です。