Managed AirflowがManaged Airflow Agentを提供

Managed AirflowがManaged Airflow Agentを提供、失敗したDAG実行の原因調査が可能

公開:
CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Google Cloudは、Managed Service for Apache Airflow(旧Cloud Composer)でエージェントによる支援を提供しています。Managed Airflow Agentは、Google Cloudコンソールで失敗したタスクを調べ、環境の改善を推奨するエージェントです。[1]

Managed Airflow Agentでできることや調査の始め方、エージェント機能の制限事項を解説します。DAGを作るData Agent Kitの役割や、例で推奨された3つの対処も整理します。[1][2]

目次
  1. Managed Airflow Agentでできること
  2. Data Agent KitによるDAG開発
  3. Managed Airflow Agentで調査を始める操作
  4. Managed Airflowのエージェント機能の制限事項
  5. 例で見るManaged Airflow Agentとメモリ不足対処

Managed Airflow Agentでできること

Managed Airflow Agentは、Google Cloudコンソールに組み込まれたエージェントです。失敗したタスクの調査や環境の改善の推奨、DAGが新しいAirflowの版に対応できるかの確認を担います。[1]

Managed Airflow Agentの主な役割

図1 Managed Airflow Agentの主な役割

例に使うCymbal Shopsの環境

Cymbal Shopsは、機能の説明に使われる架空のオンライン小売企業です。cymbal-prodは同社の本番のManaged Airflow (Gen 3)環境で、Airflow 2.11.1を使う構成です。

この架空事例のcymbal-prodでは、ワーカーが2 vCPUsと4 GBのメモリを持ち、1〜6の間で自動スケーリングします。ウェブサイトとモバイルアプリのクリックや検索、カート追加のイベントは、Pub/Subトピックに送られます。

同じ架空事例では、Cloud Storageサブスクリプションがイベントを改行区切りJSONのファイルとして並列に書き込む構成です。書き込み先はgs://cymbal-clickstream-landing/events/配下の時間別フォルダで、5分ごとか128 MBごとの早い方で新しいファイルが始まります。

Cymbal Shopsの例のイベント取り込み

図2 Cymbal Shopsの例のイベント取り込み

失敗したDAG実行の調査

Managed Airflow Agentは、問題文や証拠、修復の推奨を含む構造化された診断レポートを提供します。証拠にはログの抜粋とタイムスタンプが入り、結論ごとに根拠が添えられます。[1][2]

診断レポートに含まれる内容

図3 診断レポートに含まれる内容

例では、clickstream_hourlyの実行が3回の試行すべてでタスクログにエラーを残さずに失敗しました。Managed Airflow Agentはワーカーのメモリ指標とタスクの再試行を関連付け、対処を推奨しています。

例での環境全体の分析

例では利用者が同じパネルで、clickstream_hourlyが4 GBのワーカーでメモリ不足だと伝え、cymbal-prod環境の必要メモリ量やほかの改善点を尋ねました。Managed Airflow Agentは環境全体のテレメトリーを分析し、ワーカーメモリを4 GBから8 GBへ増やすよう推奨しています。

例で示された推奨と本番運用の不足

図4 例で示された推奨と本番運用の不足

データベースの保持が無効で、高い復元性やスケジュールされたスナップショットもない点も、本番運用への備えの不足として指摘されました。Managed Airflow Agentは読み取り専用のため、例の利用者はワーカーメモリを自分で8 GBに増やしました。


Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

Data Agent KitによるDAG開発

Data Agent Kitは、IDEやコーディングエージェントの中でDAGの作成や移行、デプロイを担います。提供形態は拡張機能とプラグインの2つです。[1][3]

例でのDAG作成の流れ

Cymbal Shopsの架空事例の利用者は、エージェントでDAGを書きます。使うのはAntigravityのData Agent Kitプラグインで、エージェントにGoogle Data Cloudのスキルとツールを追加します。

モデルはGeminiでした。準備はプラグインのインストールやGoogleアカウントでのサインイン、プロジェクトとリージョンの選択で、数分で終わります。

Cymbal Shopsの例でDAG生成を依頼するまで

図5 Cymbal Shopsの例でDAG生成を依頼するまで

例ではエージェントパネルでの依頼後、Data Agent Kitがコードを書く前に、Antigravityで対象のManaged Airflow環境を確認しました。続いてAirflow 2.11.1に合わせたDAGを生成してcymbal-prodにデプロイし、Airflowがエラーなく読み込むことも確かめています。

例で依頼したDAGの要件

例の依頼は、us-central1のcymbal-prodで動くclickstream_hourlyというDAGの作成でした。毎時、前の1時間のイベントをBigQueryのclickstream.eventsへ読み込む指定です。

Cymbal Shopsの例で依頼したDAGの要件

図6 Cymbal Shopsの例で依頼したDAGの要件

入力元にはgs://cymbal-clickstream-landing/events/YYYY-MM-DD/HH/の改行区切りJSONを指定しました。各ファイルは、ネストしたcontextをJSON文字列のまま保ってpandasのDataFrameに読み込み、pd.concatで結合する指定です。

Cymbal Shopsの例で依頼した変換の順序

図7 Cymbal Shopsの例で依頼した変換の順序

結合後は、不正なレコードの除去やevent_idでの重複排除、user_emailとip_addressのハッシュ化を求めています。重複排除はPub/Subが少なくとも1回配信するためで、同じ時間帯の再実行での重複防止や失敗時のdata-oncall@example.comへのメールも求めました。

Managed Airflow Agentで調査を始める操作

Managed Airflow Agentを使う場所は、Google Cloudコンソールで開いたManaged Airflowの環境です。失敗したDAG実行やタスクインスタンスにあるボタンから、根本原因の調査を始められます。[1][2]

Cymbal Shopsの例で調査を始める操作

図8 Cymbal Shopsの例で調査を始める操作

例では、DAGsタブで対象のDAGを選び、Run historyで失敗した実行の横にあるスパークルアイコン付きのInvestigateボタンを押しました。Investigate DAG run failureという確認のダイアログで確定すると、Ask agentパネルが開いて調査が始まります。


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

Managed Airflowのエージェント機能の制限事項

Managed Airflowのエージェント機能の主な制限は、以下の通りです。[2]

会話の処理場所:環境と別のリージョンで処理されうる/リモートMCPサーバーの権限:2つのIAMロールが必要/MCPの変更操作・破棄操作:組織のポリシーの制約とIAM拒否ポリシーの対象/プレビュー版の機能:一般提供のSLAは適用されない

コンソールのManaged Airflow Agentは、独自のデータ所在地ポリシーで動くConversational Analytics APIを利用しています。データの所在地に要件がある場合、使い始める前に要件との整合を確かめることが編集部の勧める手順です。

リモートMCPサーバーは、Gemini CLIやClaudeなどの外部のエージェントがManaged Airflowの環境とやり取りできるようにします。使うにはroles/serviceusage.serviceUsageAdminとroles/mcp.toolUserのIAMロールが必要です。

利用形態と関連仕様の違い

図9 利用形態と関連仕様の違い

Managed Airflow Agentは読み取り専用で、問題の診断と対処の推奨を担います。例では、変更内容を利用者が決めました。[1]

例で見るManaged Airflow Agentとメモリ不足対処

例のレポートの最後で、Managed Airflow Agentは3つの対処を推奨しました。BigQueryへの直接読み込みやバッチでの分割処理、ワーカーのメモリ増加です。[1]

例で推奨された3つの対処

図10 例で推奨された3つの対処

例では毎時の実行が失敗し、記述とテストに時間がかかるコード変更の2案より先にワーカーのメモリ増加が必要でした。すぐに失敗を止める必要がある場合はワーカーのメモリ増加を先にする順番が考えられると、編集部は整理します。

例で見る8 GBワーカーの限界

例では、イベントの大型化とキャンペーンが重なり、1時間分のクリックが約350 MBから約1.4 GBに増えました。pandasで1時間分をまとめて持つと元の数倍のメモリが要り、4 GBのワーカーでは足りなくなっています。

Cymbal Shopsの例でのトラフィックとメモリ

図11 Cymbal Shopsの例でのトラフィックとメモリ

同じ事例では、自動スケーリングはタスクが待ち行列にたまるとワーカーを増やしますが、各タスクは1つのワーカーのメモリを超えて使えません。同事例のブラックフライデーのトラフィックは通常のピーク時の8〜10倍と予測され、1時間単位のバッチには8 GBを大きく超えるメモリが要る見込みです。

Airflow 3による到着時の処理

例の環境はAirflow 2.11.1で、Airflow 2には外部の出来事でDAG実行を始めるネイティブな方法がありません。チームは構成要素を増やさないよう、数分ごとにDAGを実行してセンサーで新しいファイルを待つ方法やAirflow REST APIを使う別サービスを避け、毎時バッチを選びました。

Cymbal Shopsの例での2つの構成

図12 Cymbal Shopsの例での2つの構成

例のDAGは作業単位が1時間のため、トラフィックが増えるほどタスクのメモリも増える構成でした。Airflow 3は、イベント駆動のスケジュールをネイティブにサポートします。

asset watcherは、Pub/Subサブスクリプションなどに新しいメッセージが届くとアセットを更新し、そのアセットにスケジュールされたDAGが実行を始めます。このPub/Sub監視例では確認がAirflowのtriggererで数秒ごとに行われ、センサーがファイルを待つためだけのDAGや起動用の追加サービスは要りません。

例の構成では、各実行が新しいメッセージを受け取り、届いたファイルだけを1ファイル1タスクで処理できます。タスクごとのメモリを左右するのはファイルサイズです。

出典

  1. ^ Google Cloud. 「Drowning in clicks: Scaling Black Friday pipelines with Managed Airflow agents」. https://cloud.google.com/blog/products/data-analytics/scaling-airflow-pipelines-with-ai-agents-on-managed-airflow, (参照 26-11-20).
  2. ^ Google Cloud. 「Managed Airflow のエージェント機能の概要」. https://docs.cloud.google.com/composer/docs/composer-3/agentic-capabilities-overview?hl=ja, (参照 26-11-21).
  3. ^ Google Cloud. 「Data Agent Kit の概要」. https://docs.cloud.google.com/data-agent-kit/overview?hl=ja, (参照 26-11-21).

※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。

修正・削除・掲載などの依頼はこちら
ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

企業・法人向けのIT・プログラミング・生成AI研修を探す、比較する - IT・プログラミングを知って学べるコネクトメディア CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプが提供する無料で学べるプログラミングスクール講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア 3.5日の研修で、年間1,600時間の削減効果が見込まれる。東京きらぼしフィナンシャルグループのDX人材育成事例 - IT・プログラミングを知って学べるコネクトメディア 配属3ヶ月で30%の生産性向上を実現するいよぎんコンピュータサービスの新人研修に迫る - IT・プログラミングを知って学べるコネクトメディア 金融業界の業務効率化を加速するニッセイアセットマネジメントの生成AI×GAS活用研修事例 - IT・プログラミングを知って学べるコネクトメディア 【製造業のDX人材育成事例】デジタル人材の即戦力化を実現する、日本ガイシ株式会社の異動者向オンボーディング研修 - ITやプログラミングを知って学べるコネクトメディア フューチャーアーキテクト株式会社が実現した新入社員向けIT研修プログラムでタスクフォース制度が主体的な学びと成長を生み出す - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【IT新入社員研修】オンラインとオフラインの最適バランスを実現したFutureOneの導入事例 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【新入社員研修】柔軟なハイブリッド型Java研修で実現した新卒20名の成長と成果|サークレイス株式会社 - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア

What's New

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する