Google CloudがEnvoyのAI向け機能を紹介、トークン数の制限やMCPルーティングが可能
公開:
Envoyは、クラウドネイティブなアプリケーション向けに設計された、オープンソースのエッジとサービスのプロキシです。Google Cloudは、EnvoyがAIトラフィックやMCPツール、エージェント間通信のオープン標準になる位置にあるとしています。[1]
自律エージェントのワークロードは通信相手を自ら選び、ルーティングに使う属性はリクエスト本文の奥にあるのが特徴です。この記事では、Envoyのエージェント向けスタックの4つの柱と、使い始める際に確認する実装やサンプル構成を解説します。
目次
Envoyのエージェント向けスタックの4つの柱
Envoyは、ヘッダーだけではなくリクエスト本文を読み、リクエスト数だけではなくトークン数も数えてAIの通信を扱います。機能は4つの柱で構成され、ネットワークを能動的な統制の層に変える設計です。[1]
Google Cloudはエージェントの時代に向けてEnvoyを開発しており、Envoyは自律エージェントをより良く支えるよう進化したとしています。オープンソースのエコシステムの性能と移植性を、エンタープライズ向けのセキュリティとスケーラビリティに支えられた形で開発者に届ける考えです。
Layer 8は、自律エージェントが加える上位層のうち、LLM APIやMCP、A2Aといった対話プロトコルの層です。いずれもJSON-RPC 2.0かgRPCの上で動きます。
Layer 9は、UCPやAP2、Google CloudのAgent Development Kitのような協調フレームワークのインターフェース層です。複数ターンのワークフローが、動的なトークン消費と非線形の実行グラフを生みます。
従来のL7プロキシの4つの課題
Envoyの4つの柱は、エージェントのワークロードを従来のL7プロキシで扱う際の4つの課題にそれぞれ対応しています。4つの課題は以下の通りです。
自律エージェントの流量は、リクエスト数だけではなくトークン予算にも左右されます。文脈の巨大な毎分1件のリクエストが、数十件の短い問い合わせよりアクセラレータの計算資源とメモリ帯域を多く使う場合もあります。
複数ターンの推論ループには、状態を保つセッションアフィニティと厳格なツール実行の境界が必要です。MCPツール呼び出しをインラインで検査しないと、プロンプトインジェクションやデータの持ち出し、課金の暴走ループのおそれがあります。
本文の解析による形式変換
Envoyのエコシステムには、モデルの系統ごとに異なるリクエストをそろえるネイティブのボディパーサーがあります。上流のアプリケーションは標準化した形式で送り、Envoyが本文から対象モデルを取り出して提供元の形式へ変換する仕組みです。
ボディパーサーは、OpenAIやAnthropic、Geminiのスキーマ間で、本文の形式をラインレートで正規化し、SSEのストリームも扱います。Envoyは応答のSSEストリームをリアルタイムに解析し、使用量のチャンクからトークン数を取り出しつつ、最初のトークンまでの遅れをごく小さく保ちます。
トークン数による流量制限
Envoyは、リクエスト数だけではなくトークン数も数えて流量を管理します。1分あたり(TPM)と1日あたり(TPD)のトークン数の上限を、テナントやプロジェクト、モデルごとにかけられるのが特徴です。
推論前の制限では、本文のバイト数で入力トークンを見積もり、応答の実際の使用量をクォータのデータベースに記録します。上限を超えた後続のリクエストを、推論クラスターに届く前にHTTP 429で拒否する仕組みです。
暴走ループ対策では、セッションやエージェントのIDごとに、累計のトークン消費とメッセージ数を追跡します。エージェントが割り当てられた予算を超えると、Envoyは複数ターンのセッションを抑えます。
モデルとMCPのルーティング
Model & MCP routingの柱は、ステートレスな負荷分散の課題に対応し、エージェントのセッションを適切なサーバーに保ちます。Envoyは下流のモデルのバックエンドと外向きのツール呼び出しの通信を管理し、柱にはMCP Stateless supportも含まれます。
KVキャッシュの親和性は、Kubernetes Gateway API Inference ExtensionsとEndpoint Picker(EPP)を使う機能です。同じシステム指示を持つプロンプトを、そのキャッシュをメモリに持つGPUワーカーへ送り、応答の遅れを減らします。
再試行と切り替えでは、主モデルが429のステータスコードを返すか失敗した場合に、Envoyが自動で再試行するか副モデルのプールへ振り向けます。クライアントの処理は中断されません。
MCPツールのルーティング
MCPを使うエージェントでは、EnvoyがJSON-RPC 2.0の本文とHTTPヘッダーでリクエストを振り分けます。Mcp-MethodとMcp-Nameヘッダーによる振り分けは、2026-07-28版のMCP仕様に沿った、本文を解析しない方式です。
2026-07-28版MCP仕様に沿うルーティングで、Mcp-MethodとMcp-Nameヘッダーと本文が食い違えば、バックエンドが拒否します。エラーはHTTP 400 / -32020(HeaderMismatch)で、改ざん防止が目的です。
ext_procによる安全対策
Envoyのセキュリティのコールアウトは、ネットワークのスループットを犠牲にしないことを目的とした仕組みです。Envoyはext_procでModel ArmorやShieldGemma、ローカルの分類器などに接続し、プロンプトインジェクションや機密データの漏えいを検出します。
AI security guardrailsは、統制のないツール実行に対し、インラインのポリシーとext_procの判定ポイントでツール呼び出しにポリシーをかけます。ガードレールの例は、Model ArmorやShieldGemma、データ損失防止です。
Agent Substrateと連携するEnvoy
Envoyは、Agent Substrateのような高密度の実行環境と直接組み合わせる設計です。数十万単位の待機中のエージェントを専用のコンテナや仮想マシンで動かすと、インフラ費用が過大になる場合があります。[1]
Agent Substrateは、Cloud HypervisorやmicroVMs、gVisorのアプリケーションサンドボックスといった軽量な分離ランタイムを使うのが特徴です。停止中のエージェントに通信が届くと、Envoyは最初のパケットを保持したままランタイムに再開を合図し、ミリ秒単位で再開を終えます。
Envoyはエージェント環境の入口と出口を兼ねるゲートウェイとして働き、外向きの通信を確認済みのドメインに限ります。信頼できない自律的なコードが、許可されていない宛先に届くのを防ぐ設計です。
Envoyのエージェント向けスタックの始め方
Envoyのエージェント向けスタックを使い始める場所は、Github上のEnvoy proxyとAgent Routerの実装です。オープンソースのサンプル構成も、設定を確かめる材料として使えます。[1]
ネイティブのボディパーサーで形式を変換する構成では、外部の商用モデルから自己ホストのオープンソースモデルへ移る際もEnvoyの設定更新だけで済みます。移行先の例はvLLM上のGemmaやLlamaで、アプリケーションのコードは変わりません。
Envoyのエージェント向けスタックを導入する場合は、使いたい柱の設定がGithub上の実装やサンプル構成に含まれるかを確かめる方法が考えられます。外部の商用モデルから自己ホストのオープンソースモデルへ移す場合は、Envoyの設定だけで切り替え先を指定できるかもサンプル構成で確かめます。
Envoyの一部機能が前提とする構成
Envoyの一部の機能は、ほかの構成要素や実行環境との組み合わせが前提です。各機能を使えるEnvoyの版や提供地域、課金の条件は今回の発表に含まれていません。[1]
エージェント処理の課題に対応するEnvoyの柱
課題の種類によって、確かめるEnvoyの柱が分かれます。課題に合わせて柱を選ぶ場合は、該当する柱から順に必要な構成を確かめる方法が考えられます。[1]
モデルごとの形式の違いをEnvoyで吸収したい場合は、OpenAIやAnthropic、Geminiのスキーマに利用中の形式が含まれるかを確かめることが前提です。トークン消費を抑えたい場合は、TPMとTPDの上限をテナントやプロジェクト、モデルのどの単位にかけるかを先に決めておく必要があります。
セッションを適切なサーバーに保ちたい場合は、Kubernetes Gateway API Inference ExtensionsとEPPを使えるかを確かめます。ext_procによるガードレールを使う場合は、Model ArmorやShieldGemmaなどの接続先を検討することが前提です。
出典
- ^ Google Cloud. 「Building an agentic stack in Envoy: routing models, tokens, and MCP」. https://cloud.google.com/blog/products/networking/the-envoy-agentic-stack-routing-models-tokens-and-mcp, (参照 26-11-18).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら















