Managed AirflowがManaged Airflow Agentを提供、失敗したDAG実行の原因調査が可能
公開:
Google Cloudは、Managed Service for Apache Airflow(旧Cloud Composer)でエージェントによる支援を提供しています。Managed Airflow Agentは、Google Cloudコンソールで失敗したタスクを調べ、環境の改善を推奨するエージェントです。[1]
Managed Airflow Agentでできることや調査の始め方、エージェント機能の制限事項を解説します。DAGを作るData Agent Kitの役割や、例で推奨された3つの対処も整理します。[1][2]
目次
Managed Airflow Agentでできること
Managed Airflow Agentは、Google Cloudコンソールに組み込まれたエージェントです。失敗したタスクの調査や環境の改善の推奨、DAGが新しいAirflowの版に対応できるかの確認を担います。[1]
例に使うCymbal Shopsの環境
Cymbal Shopsは、機能の説明に使われる架空のオンライン小売企業です。cymbal-prodは同社の本番のManaged Airflow (Gen 3)環境で、Airflow 2.11.1を使う構成です。
この架空事例のcymbal-prodでは、ワーカーが2 vCPUsと4 GBのメモリを持ち、1〜6の間で自動スケーリングします。ウェブサイトとモバイルアプリのクリックや検索、カート追加のイベントは、Pub/Subトピックに送られます。
同じ架空事例では、Cloud Storageサブスクリプションがイベントを改行区切りJSONのファイルとして並列に書き込む構成です。書き込み先はgs://cymbal-clickstream-landing/events/配下の時間別フォルダで、5分ごとか128 MBごとの早い方で新しいファイルが始まります。
失敗したDAG実行の調査
Managed Airflow Agentは、問題文や証拠、修復の推奨を含む構造化された診断レポートを提供します。証拠にはログの抜粋とタイムスタンプが入り、結論ごとに根拠が添えられます。[1][2]
例では、clickstream_hourlyの実行が3回の試行すべてでタスクログにエラーを残さずに失敗しました。Managed Airflow Agentはワーカーのメモリ指標とタスクの再試行を関連付け、対処を推奨しています。
例での環境全体の分析
例では利用者が同じパネルで、clickstream_hourlyが4 GBのワーカーでメモリ不足だと伝え、cymbal-prod環境の必要メモリ量やほかの改善点を尋ねました。Managed Airflow Agentは環境全体のテレメトリーを分析し、ワーカーメモリを4 GBから8 GBへ増やすよう推奨しています。
データベースの保持が無効で、高い復元性やスケジュールされたスナップショットもない点も、本番運用への備えの不足として指摘されました。Managed Airflow Agentは読み取り専用のため、例の利用者はワーカーメモリを自分で8 GBに増やしました。
Data Agent KitによるDAG開発
Data Agent Kitは、IDEやコーディングエージェントの中でDAGの作成や移行、デプロイを担います。提供形態は拡張機能とプラグインの2つです。[1][3]
例でのDAG作成の流れ
Cymbal Shopsの架空事例の利用者は、エージェントでDAGを書きます。使うのはAntigravityのData Agent Kitプラグインで、エージェントにGoogle Data Cloudのスキルとツールを追加します。
モデルはGeminiでした。準備はプラグインのインストールやGoogleアカウントでのサインイン、プロジェクトとリージョンの選択で、数分で終わります。
例ではエージェントパネルでの依頼後、Data Agent Kitがコードを書く前に、Antigravityで対象のManaged Airflow環境を確認しました。続いてAirflow 2.11.1に合わせたDAGを生成してcymbal-prodにデプロイし、Airflowがエラーなく読み込むことも確かめています。
例で依頼したDAGの要件
例の依頼は、us-central1のcymbal-prodで動くclickstream_hourlyというDAGの作成でした。毎時、前の1時間のイベントをBigQueryのclickstream.eventsへ読み込む指定です。
入力元にはgs://cymbal-clickstream-landing/events/YYYY-MM-DD/HH/の改行区切りJSONを指定しました。各ファイルは、ネストしたcontextをJSON文字列のまま保ってpandasのDataFrameに読み込み、pd.concatで結合する指定です。
結合後は、不正なレコードの除去やevent_idでの重複排除、user_emailとip_addressのハッシュ化を求めています。重複排除はPub/Subが少なくとも1回配信するためで、同じ時間帯の再実行での重複防止や失敗時のdata-oncall@example.comへのメールも求めました。
Managed Airflow Agentで調査を始める操作
Managed Airflow Agentを使う場所は、Google Cloudコンソールで開いたManaged Airflowの環境です。失敗したDAG実行やタスクインスタンスにあるボタンから、根本原因の調査を始められます。[1][2]
例では、DAGsタブで対象のDAGを選び、Run historyで失敗した実行の横にあるスパークルアイコン付きのInvestigateボタンを押しました。Investigate DAG run failureという確認のダイアログで確定すると、Ask agentパネルが開いて調査が始まります。
Managed Airflowのエージェント機能の制限事項
Managed Airflowのエージェント機能の主な制限は、以下の通りです。[2]
コンソールのManaged Airflow Agentは、独自のデータ所在地ポリシーで動くConversational Analytics APIを利用しています。データの所在地に要件がある場合、使い始める前に要件との整合を確かめることが編集部の勧める手順です。
リモートMCPサーバーは、Gemini CLIやClaudeなどの外部のエージェントがManaged Airflowの環境とやり取りできるようにします。使うにはroles/serviceusage.serviceUsageAdminとroles/mcp.toolUserのIAMロールが必要です。
Managed Airflow Agentは読み取り専用で、問題の診断と対処の推奨を担います。例では、変更内容を利用者が決めました。[1]
例で見るManaged Airflow Agentとメモリ不足対処
例のレポートの最後で、Managed Airflow Agentは3つの対処を推奨しました。BigQueryへの直接読み込みやバッチでの分割処理、ワーカーのメモリ増加です。[1]
例では毎時の実行が失敗し、記述とテストに時間がかかるコード変更の2案より先にワーカーのメモリ増加が必要でした。すぐに失敗を止める必要がある場合はワーカーのメモリ増加を先にする順番が考えられると、編集部は整理します。
例で見る8 GBワーカーの限界
例では、イベントの大型化とキャンペーンが重なり、1時間分のクリックが約350 MBから約1.4 GBに増えました。pandasで1時間分をまとめて持つと元の数倍のメモリが要り、4 GBのワーカーでは足りなくなっています。
同じ事例では、自動スケーリングはタスクが待ち行列にたまるとワーカーを増やしますが、各タスクは1つのワーカーのメモリを超えて使えません。同事例のブラックフライデーのトラフィックは通常のピーク時の8〜10倍と予測され、1時間単位のバッチには8 GBを大きく超えるメモリが要る見込みです。
Airflow 3による到着時の処理
例の環境はAirflow 2.11.1で、Airflow 2には外部の出来事でDAG実行を始めるネイティブな方法がありません。チームは構成要素を増やさないよう、数分ごとにDAGを実行してセンサーで新しいファイルを待つ方法やAirflow REST APIを使う別サービスを避け、毎時バッチを選びました。
例のDAGは作業単位が1時間のため、トラフィックが増えるほどタスクのメモリも増える構成でした。Airflow 3は、イベント駆動のスケジュールをネイティブにサポートします。
asset watcherは、Pub/Subサブスクリプションなどに新しいメッセージが届くとアセットを更新し、そのアセットにスケジュールされたDAGが実行を始めます。このPub/Sub監視例では確認がAirflowのtriggererで数秒ごとに行われ、センサーがファイルを待つためだけのDAGや起動用の追加サービスは要りません。
例の構成では、各実行が新しいメッセージを受け取り、届いたファイルだけを1ファイル1タスクで処理できます。タスクごとのメモリを左右するのはファイルサイズです。
出典
- ^ Google Cloud. 「Drowning in clicks: Scaling Black Friday pipelines with Managed Airflow agents」. https://cloud.google.com/blog/products/data-analytics/scaling-airflow-pipelines-with-ai-agents-on-managed-airflow, (参照 26-11-20).
- ^ Google Cloud. 「Managed Airflow のエージェント機能の概要」. https://docs.cloud.google.com/composer/docs/composer-3/agentic-capabilities-overview?hl=ja, (参照 26-11-21).
- ^ Google Cloud. 「Data Agent Kit の概要」. https://docs.cloud.google.com/data-agent-kit/overview?hl=ja, (参照 26-11-21).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら






















