Google CloudがSpanner Graphの広告不正検出を紹介、1秒未満の多段探索を実現
公開:
Google広告のチームは、ハッカーの攻撃が続く巨大なシステムを安定稼働させる答えの一部として、Spannerを中核の運用とグラフのデータベースに使っています。Spanner Graphは、既存のリレーショナルテーブルをプロパティグラフに対応付け、ISO GQL互換のクエリでデータ同士の関係をたどれる機能です。[1][2]
この記事では、Spanner GraphがGoogle広告の不正検出で果たす役割と、複数ホップの探索を書くクエリの例を解説します。あわせて、利用前に確認するエディションやデータベースの条件、導入を検討する観点も整理します。
Google広告の不正検出基盤の事例
Google広告のチームは、バッチとリアルタイムのシグナルを使うグラフベースの中央基盤で、不正や悪用に対処しています。この基盤は、Spanner Graphで運用中のリレーショナルデータに対し、ISO GQLで複数ホップのパターン照合を直接行うのが特徴です。[1]
この基盤はGoogle広告のエコシステムを守るために作られ、発表時点ではGoogleの複数のチームが利用しています。中核の目的は、悪意ある資産の隠れたつながりを、利用者や広告主に被害が及ぶ前にリアルタイムで見つけることです。
不審な活動でアカウントが判定されると、基盤はグラフ全体の関連シグナルをリアルタイムにたどります。アカウントを1件ずつ処理するのではなく、組織的な不正グループ全体を素早く特定して無効化できる仕組みです。
従来のMapReduce方式の課題
検出は基盤の成長に合わせて拡張できる必要がありましたが、オフラインのMapReduceのバッチ処理に基づく従来の仕組みは処理が詰まりました。複数ホップの探索で分散した段階をまたぐ高コストな結合を繰り返し、中間データの膨張や重いシャッフル、ネットワークの詰まりが数時間の遅れと組み合わせ的な展開を招いたためです。
稼働中のマルウェア攻撃を止める場面では、数時間の遅れが大きな被害の余地を残します。Googleは、広告を配信する時点で、悪意あるコンテンツが利用者に届く前に複数ホップの関係のリスクを評価する必要がありました。
推論時の処理の限界を超えるため、開発チームは、pub/subストリームで多数のソースからライブのシグナルを取り込めるデータベースを求めました。あわせて水平方向の伸縮性やグローバルなトランザクション整合性、1秒未満の複数ホップ探索も必要で、解決策は基盤をSpanner Graphへ刷新することでした。
Spanner Graphの導入効果
Google広告の基盤では、Apache Flume MapReduceのジョブで1時間かかった複数ホップ探索が、本番データ上で1秒未満から1桁ミリ秒になりました。Spanner Graphは、グラフ探索の計算を分散データの分割単位と同じ場所で行い、結合の負荷を抑えています。
移すデータがなかったため、グラフを使う不正検出の用途の多くは数週間でSpanner Graphへ移行しました。既存のSpannerテーブルに直接グラフを重ねたことにより、壊れやすい同期パイプラインと重複するストレージの費用もなくなりました。
Google広告の基盤のエンジニアは、複雑な独自の探索コードを保守する代わりに、同じテーブルを標準のISO GQLで照会しています。ISO GQLの表現力の高いパターン照合によって、機能開発の速度も大きく上がった点が特徴です。
グラフベース基盤の防御効果
Google広告のグラフベースの不正検出基盤が担う主な効果は、以下の通りです。
発表時点で、基盤は5,000億超のノードと1兆規模のエッジを持つ稼働中のグラフ上で、Google全体で統合された防御基盤として動いています。Googleの広告商品全体では広告ポリシー執行の主要な検出シグナル源となり、不正者を阻止して広告主が無効な操作に予算を使わずに済むようにしています。
Spanner Graphの使い方
Spanner Graphでは、グラフの探索に全文検索とベクトル検索を組み合わせて照会できます。Google広告の不正検出を説明する例示用のクエリでは、既知の不審な活動につながる対象のエンティティを、複数ホップの探索で特定する構成になっています。[1][2]
次のコードは、複数ホップの探索に全文検索とベクトル検索を組み合わせた、例示用のクエリです。クエリ中のフィールド名は、匿名化したものです。
GRAPH CentralGraph (Illustrative Query)
-- 1. Multi-hop Graph Traversal: Trace relationship paths between entities
MATCH (n1:Entity_1 {id: $seed_entity_id})-[r1:Relationship_1]->(n2:Entity_2)<-[r2:Relationship_2]-(n3:Entity_3)
MATCH (n3)-[r3:Relationship_3]->(n4:Entity_4)<-[r4:Relationship_3]-(n5:Entity_1)-[r5:Relationship_4]->(n6:Entity_5)
WHERE n5.status = 'FLAGGED'
-- 2. Full-Text Search: Filter entities by text description keywords
AND SEARCH(n3.description_text, 'suspicious activity')
-- 3. Vector Search: Match similar entity embeddings for behavioral anomaly detection
AND VECTOR_SEARCH(n6.embedding, $target_embedding, top_k => 5) > 0.85
RETURN n1.id AS TargetEntity, n3.id AS LinkedEntity, n5.id AS FlaggedEntity, n6.id AS SimilarEntity
公式資料からの抜粋:How Spanner Graph detects ads fraud and abuse at Google at multi-billion node scale(How a graph-based abuse detection platform detects fraud)。対象版・範囲:Google Cloudブログ記事。
上記のコードでは、MATCHで$seed_entity_idのエンティティから経路をたどり、状態が'FLAGGED'のエンティティへのつながりを探します。SEARCHで説明文のキーワードを、VECTOR_SEARCHで埋め込みの類似性を条件に加え、RETURNで各エンティティのidを返します。
Spanner Graphを使い始める場合は、「Spanner Graph を設定してクエリを実行する」の手順が入口です。Google Cloudは、ハンズオン形式のSpanner GraphのCodelabも用意しています。
Spanner Graphの利用条件
Spanner Graphは、SpannerのEnterpriseエディションとEnterprise Plusエディションで利用できます。一方で、Spanner GraphはPostgreSQL Interfaceをサポートしていません。[2]
Google広告では、中核の取引データとエンティティデータがすでにSpannerにあったため、Spanner Graphの導入にデータ移行は不要でした。チームは別の専用グラフデータベースを立てず、既存のリレーショナルテーブル上にプロパティグラフを定義しました。[1]
Spanner Graphを検討する観点
Googleは、広告向けの不正検出基盤が、極めて厳しい規模と応答速度の要件の下でSpanner Graphにできることを示しているとしています。統合されたリレーショナルとグラフの構成がSpannerに組み込まれているため、さまざまな業界の企業も同じ基盤で複雑なパターン照合や不正の課題に取り組めるという見解です。[1]
業界ごとの不正・脅威対策例
業界ごとに、結び付けるデータと目的は異なります。サイバーセキュリティでは、Spannerでグラフクエリとリレーショナルなテレメトリを統合すると、横方向の移動の前にプロキシ網や自動化されたなりすましを見つけやすくなります。
広告・デジタルメディアの一例は、Spanner Graphを使い、5,000億ノード規模のグラフ全体で関係のリスクを分析するGoogle広告です。この分野の広告基盤は、クッキーや端末指紋、クリック行動を結び付け、組織的な不正グループをリアルタイムに遮断します。
自社で確かめる検討時の確認点
自社で検討する場合は、不正の手口が支払い手段やドメイン、アカウントを共有する集団として動いているかを最初に確かめます。広告の不正では、単独では無害に見える属性の裏で、不正者がこれらを共有しているためです。
業務データがすでにSpannerのテーブルにある場合は、まず利用中のエディションと、PostgreSQL Interfaceを使っていないかを確かめます。EnterpriseかEnterprise Plusエディションで、PostgreSQL Interfaceを使っていない場合が対象です。[2]
この3つの条件がそろう場合は、既存テーブルにプロパティグラフを定義する形を先に検討します。Spanner Graphでは、宣言型スキーマでテーブルをプロパティグラフに対応付けられます。
複数ホップ探索の1秒未満の応答や5,000億超のノードという数値は、Google広告の不正検出基盤での結果です。自社のシステムと比較する場合は、自社のデータと照会で応答時間を確かめる手順を挟むのが妥当でしょう。
出典
- ^ Google Cloud. 「How Spanner Graph detects ads fraud and abuse at Google at multi-billion node scale」. https://cloud.google.com/blog/products/databases/how-spanner-graph-detects-google-ads-fraud-and-abuse, (参照 26-11-20).
- ^ Google Cloud. 「Spanner Graph の概要」. https://docs.cloud.google.com/spanner/docs/graph/overview?hl=ja, (参照 26-11-22).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら


















