Google CloudがManaged Airflow Agentの移行例を紹介、DAGと指定版の互換性確認が可能
公開:
Managed Airflow Agentは、環境のDAGが指定したAirflowの版と互換性があるかを、移行の前に確認できるエージェントです。Airflow 3への移行例では、Antigravity上のData Agent Kitのmigrations skillがDAGの変換とデプロイ、検証を行いました。[1]
この記事では、Managed Airflow Agentでできることと、Airflow 3への移行前に確認する条件を解説します。あわせて、1時間ごとのバッチをイベント駆動型へ切り替えた例の変化も取り上げる構成です。
Managed Airflow Agentでできること
Managed Airflow Agentは、アップグレードの準備状況を確認でき、環境のDAGと指定した版との互換性を確かめます。Airflow 3への移行例では、移行前にcymbal-prodのDAGを調べ、Airflow 3との互換性の阻害要因を探して報告しました。[1]
Airflow 3への移行例では、エージェントが数分で必要な作業を見積もりました。主な指摘は、以下の通りです。
このうち阻害要因とされたのは、保守用DAGとexecution_dateの2件です。schedule_intervalの改名は、2件に加えて必要な作業として挙がりました。
準備状況の確認から始める移行の例
移行例では、まずエージェントにcymbal-prodのアップグレード準備状況の確認を依頼しました。移行先には、既存の環境をその場で更新せず、cymbal-prodと並べて作った新しいAirflow 3環境を使っています。[1]
例では、コードに触れる前に、同じパネル上のエージェントへ文章で準備状況の確認を依頼しました。確認の対象はAirflow 3.3.1(composer-3-airflow-3.3.1-build.3)への移行で、依頼は次の一文です。
Check whether cymbal-prod is ready to upgrade to Airflow 3.
出典:Google Cloud「Drowning in clicks: Scaling Black Friday pipelines with Managed Airflow agents」
日本語訳:cymbal-prodがAirflow 3へアップグレードできる状態かを確認してください。
例では、Antigravity上でData Agent Kitのmigrations skillが作業を引き継ぎ、既存のDAGを対象の版に合わせました。最後にエージェントがDAGをcymbal-prod-af3へデプロイし、エラーなく読み込めることを確認しています。
Managed Airflow Agentが報告した指摘
この例の指摘からは、Airflow 3で扱いが変わった点が分かります。データベースの手動清掃やexecution_date、schedule_intervalの扱いが対象です。[1]
保守用DAGへの修正として、エージェントは廃止とdatabase retentionの有効化を示しました。database retentionは、インシデントの際にもエージェントが勧めていた機能です。
Airflow 3へ移行する場合、編集部は作業の前にManaged Airflow Agentで準備状況を確かめ、阻害要因を把握する順序を勧めます。Google Cloudも、本番環境のメジャーバージョンアップは確認なしに進める作業ではないとしています。
Airflow 3移行例のイベント駆動化
例では、Data Agent Kitのmigrations skillがパイプラインをAirflow 3のイベント駆動型スケジューリングへ書き換えました。Airflow 2の時間単位バッチと比べると、クリックからBigQueryに届くまでの時間は1時間超から数分になりました。[1]
移行前は1時間分のデータが通常約350 MB、キャンペーンのピーク時には1.4 GBで、タスクあたりのメモリはピーク時に約5〜6 GBでした。Black Fridayには8 GBを大きく超える予測でしたが、移行後は1ファイル数MBの処理となり、メモリは1 GBを大きく下回って一定です。
AssetWatcherによる処理の起動
Airflow 3のイベント駆動型パイプラインの例では、2つの設計の変更が元の問題を取り除きました。1つ目はスケジュールをwatcher側へ移すことで、PubsubPullTriggerはイベントトリガーのため、AssetWatcherが直接使えます。
triggererは10秒ごとにバックグラウンドでサブスクリプションを確認し、メッセージのまとまりをアセットイベントとして実行を開始します。毎正時を待つ処理はなく、Airflow REST APIを呼び出す別のサービスも不要です。
動的タスクマッピングの処理単位
設計の変更の2つ目は、各タスクが1時間分ではなく1ファイルを処理することです。動的タスクマッピングが新しいファイルごとにタスクを割り当て、サブスクリプションはファイルを128 MBまでに制限します。
通常ピークの8倍のトラフィックを再生した負荷試験では、clickstream_ingestの実行回数が増えました。一方で、タスクあたりのメモリは変わっていません。
既存の環境と並べて新しいAirflow 3環境を作り、DAGを移す場合、編集部は新しいDAGを実運用のトラフィックで確かめてから旧DAGを止める順序を勧めます。例でも、新しいDAGが実運用のトラフィックで実績を示した後に、cymbal-prodの1時間ごとのDAGを一時停止しました。
出典
- ^ Google Cloud. 「Drowning in clicks: Scaling Black Friday pipelines with Managed Airflow agents」. https://cloud.google.com/blog/products/data-analytics/scaling-airflow-pipelines-with-ai-agents-on-managed-airflow, (参照 26-11-20).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら
















