Google CloudがManaged Airflow Agentの移行例を紹介

Google CloudがManaged Airflow Agentの移行例を紹介、DAGと指定版の互換性確認が可能

公開:
CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Managed Airflow Agentは、環境のDAGが指定したAirflowの版と互換性があるかを、移行の前に確認できるエージェントです。Airflow 3への移行例では、Antigravity上のData Agent Kitのmigrations skillがDAGの変換とデプロイ、検証を行いました。[1]

この記事では、Managed Airflow Agentでできることと、Airflow 3への移行前に確認する条件を解説します。あわせて、1時間ごとのバッチをイベント駆動型へ切り替えた例の変化も取り上げる構成です。

目次
  1. Managed Airflow Agentでできること
  2. 準備状況の確認から始める移行の例
  3. Managed Airflow Agentが報告した指摘
  4. Airflow 3移行例のイベント駆動化

Managed Airflow Agentでできること

Managed Airflow Agentは、アップグレードの準備状況を確認でき、環境のDAGと指定した版との互換性を確かめます。Airflow 3への移行例では、移行前にcymbal-prodのDAGを調べ、Airflow 3との互換性の阻害要因を探して報告しました。[1]

Managed Airflow Agentの準備状況の確認

図1 Managed Airflow Agentの準備状況の確認

Airflow 3への移行例では、エージェントが数分で必要な作業を見積もりました。主な指摘は、以下の通りです。

保守用DAG:Airflow 3ではデータベースの手動清掃が不可/execution_date:marketing_attributionが使用、Airflow 3で削除済み/schedule_interval:4つのDAGでscheduleへの改名が必要/移行の手段:Data Agent Kitのmigrations skillの利用を提案

このうち阻害要因とされたのは、保守用DAGとexecution_dateの2件です。schedule_intervalの改名は、2件に加えて必要な作業として挙がりました。


Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

準備状況の確認から始める移行の例

移行例では、まずエージェントにcymbal-prodのアップグレード準備状況の確認を依頼しました。移行先には、既存の環境をその場で更新せず、cymbal-prodと並べて作った新しいAirflow 3環境を使っています。[1]

Airflow 3への移行の流れ(例)

図2 Airflow 3への移行の流れ(例)

例では、コードに触れる前に、同じパネル上のエージェントへ文章で準備状況の確認を依頼しました。確認の対象はAirflow 3.3.1(composer-3-airflow-3.3.1-build.3)への移行で、依頼は次の一文です。

Check whether cymbal-prod is ready to upgrade to Airflow 3.

出典:Google Cloud「Drowning in clicks: Scaling Black Friday pipelines with Managed Airflow agents」

日本語訳:cymbal-prodがAirflow 3へアップグレードできる状態かを確認してください。

例では、Antigravity上でData Agent Kitのmigrations skillが作業を引き継ぎ、既存のDAGを対象の版に合わせました。最後にエージェントがDAGをcymbal-prod-af3へデプロイし、エラーなく読み込めることを確認しています。

Managed Airflow Agentが報告した指摘

この例の指摘からは、Airflow 3で扱いが変わった点が分かります。データベースの手動清掃やexecution_date、schedule_intervalの扱いが対象です。[1]

Airflow 3で変わる扱い

図3 Airflow 3で変わる扱い

保守用DAGへの修正として、エージェントは廃止とdatabase retentionの有効化を示しました。database retentionは、インシデントの際にもエージェントが勧めていた機能です。

Airflow 3へ移行する場合、編集部は作業の前にManaged Airflow Agentで準備状況を確かめ、阻害要因を把握する順序を勧めます。Google Cloudも、本番環境のメジャーバージョンアップは確認なしに進める作業ではないとしています。


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

Airflow 3移行例のイベント駆動化

例では、Data Agent Kitのmigrations skillがパイプラインをAirflow 3のイベント駆動型スケジューリングへ書き換えました。Airflow 2の時間単位バッチと比べると、クリックからBigQueryに届くまでの時間は1時間超から数分になりました。[1]

時間単位バッチとイベント駆動型の比較(例)

図4 時間単位バッチとイベント駆動型の比較(例)

移行前は1時間分のデータが通常約350 MB、キャンペーンのピーク時には1.4 GBで、タスクあたりのメモリはピーク時に約5〜6 GBでした。Black Fridayには8 GBを大きく超える予測でしたが、移行後は1ファイル数MBの処理となり、メモリは1 GBを大きく下回って一定です。

AssetWatcherによる処理の起動

Airflow 3のイベント駆動型パイプラインの例では、2つの設計の変更が元の問題を取り除きました。1つ目はスケジュールをwatcher側へ移すことで、PubsubPullTriggerはイベントトリガーのため、AssetWatcherが直接使えます。

イベント駆動型の処理の流れ(例)

図5 イベント駆動型の処理の流れ(例)

triggererは10秒ごとにバックグラウンドでサブスクリプションを確認し、メッセージのまとまりをアセットイベントとして実行を開始します。毎正時を待つ処理はなく、Airflow REST APIを呼び出す別のサービスも不要です。

動的タスクマッピングの処理単位

設計の変更の2つ目は、各タスクが1時間分ではなく1ファイルを処理することです。動的タスクマッピングが新しいファイルごとにタスクを割り当て、サブスクリプションはファイルを128 MBまでに制限します。

1ファイル単位の処理と切り替えの確認(例)

図6 1ファイル単位の処理と切り替えの確認(例)

通常ピークの8倍のトラフィックを再生した負荷試験では、clickstream_ingestの実行回数が増えました。一方で、タスクあたりのメモリは変わっていません。

既存の環境と並べて新しいAirflow 3環境を作り、DAGを移す場合、編集部は新しいDAGを実運用のトラフィックで確かめてから旧DAGを止める順序を勧めます。例でも、新しいDAGが実運用のトラフィックで実績を示した後に、cymbal-prodの1時間ごとのDAGを一時停止しました。

出典

  1. ^ Google Cloud. 「Drowning in clicks: Scaling Black Friday pipelines with Managed Airflow agents」. https://cloud.google.com/blog/products/data-analytics/scaling-airflow-pipelines-with-ai-agents-on-managed-airflow, (参照 26-11-20).

※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。

修正・削除・掲載などの依頼はこちら
ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

企業・法人向けのIT・プログラミング・生成AI研修を探す、比較する - IT・プログラミングを知って学べるコネクトメディア CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプが提供する無料で学べるプログラミングスクール講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア 3.5日の研修で、年間1,600時間の削減効果が見込まれる。東京きらぼしフィナンシャルグループのDX人材育成事例 - IT・プログラミングを知って学べるコネクトメディア 配属3ヶ月で30%の生産性向上を実現するいよぎんコンピュータサービスの新人研修に迫る - IT・プログラミングを知って学べるコネクトメディア 金融業界の業務効率化を加速するニッセイアセットマネジメントの生成AI×GAS活用研修事例 - IT・プログラミングを知って学べるコネクトメディア 【製造業のDX人材育成事例】デジタル人材の即戦力化を実現する、日本ガイシ株式会社の異動者向オンボーディング研修 - ITやプログラミングを知って学べるコネクトメディア フューチャーアーキテクト株式会社が実現した新入社員向けIT研修プログラムでタスクフォース制度が主体的な学びと成長を生み出す - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【IT新入社員研修】オンラインとオフラインの最適バランスを実現したFutureOneの導入事例 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【新入社員研修】柔軟なハイブリッド型Java研修で実現した新卒20名の成長と成果|サークレイス株式会社 - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア

What's New

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する