Google CloudがEnvoyのAI向け機能を紹介

Google CloudがEnvoyのAI向け機能を紹介、トークン数の制限やMCPルーティングが可能

公開:
CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Envoyは、クラウドネイティブなアプリケーション向けに設計された、オープンソースのエッジとサービスのプロキシです。Google Cloudは、EnvoyがAIトラフィックやMCPツール、エージェント間通信のオープン標準になる位置にあるとしています。[1]

自律エージェントのワークロードは通信相手を自ら選び、ルーティングに使う属性はリクエスト本文の奥にあるのが特徴です。この記事では、Envoyのエージェント向けスタックの4つの柱と、使い始める際に確認する実装やサンプル構成を解説します。

目次
  1. Envoyのエージェント向けスタックの4つの柱
  2. Agent Substrateと連携するEnvoy
  3. Envoyのエージェント向けスタックの始め方
  4. Envoyの一部機能が前提とする構成
  5. エージェント処理の課題に対応するEnvoyの柱

Envoyのエージェント向けスタックの4つの柱

Envoyは、ヘッダーだけではなくリクエスト本文を読み、リクエスト数だけではなくトークン数も数えてAIの通信を扱います。機能は4つの柱で構成され、ネットワークを能動的な統制の層に変える設計です。[1]

Google Cloudはエージェントの時代に向けてEnvoyを開発しており、Envoyは自律エージェントをより良く支えるよう進化したとしています。オープンソースのエコシステムの性能と移植性を、エンタープライズ向けのセキュリティとスケーラビリティに支えられた形で開発者に届ける考えです。

Envoyのエージェント向けスタックの4つの柱

図1 Envoyのエージェント向けスタックの4つの柱

Layer 8は、自律エージェントが加える上位層のうち、LLM APIやMCP、A2Aといった対話プロトコルの層です。いずれもJSON-RPC 2.0かgRPCの上で動きます。

Layer 9は、UCPやAP2、Google CloudのAgent Development Kitのような協調フレームワークのインターフェース層です。複数ターンのワークフローが、動的なトークン消費と非線形の実行グラフを生みます。

従来のL7プロキシの4つの課題

Envoyの4つの柱は、エージェントのワークロードを従来のL7プロキシで扱う際の4つの課題にそれぞれ対応しています。4つの課題は以下の通りです。

本文の見落とし:ヘッダーでは安い問い合わせと50万トークンのプロンプトを区別できない/リクエスト数の誤り:エージェントのループが気付かれずに予算を使い切る場合がある/状態のない分散:毎ターン次のサーバーへ送られ、モデルがやり直して時間とGPUを浪費/統制のない実行:データベース照会やサンドボックスでのコード実行、外部APIの呼び出し

自律エージェントの流量は、リクエスト数だけではなくトークン予算にも左右されます。文脈の巨大な毎分1件のリクエストが、数十件の短い問い合わせよりアクセラレータの計算資源とメモリ帯域を多く使う場合もあります。

複数ターンの推論ループには、状態を保つセッションアフィニティと厳格なツール実行の境界が必要です。MCPツール呼び出しをインラインで検査しないと、プロンプトインジェクションやデータの持ち出し、課金の暴走ループのおそれがあります。

本文の解析による形式変換

Envoyのエコシステムには、モデルの系統ごとに異なるリクエストをそろえるネイティブのボディパーサーがあります。上流のアプリケーションは標準化した形式で送り、Envoyが本文から対象モデルを取り出して提供元の形式へ変換する仕組みです。

ボディパーサーによる変換の流れ

図2 ボディパーサーによる変換の流れ

ボディパーサーは、OpenAIやAnthropic、Geminiのスキーマ間で、本文の形式をラインレートで正規化し、SSEのストリームも扱います。Envoyは応答のSSEストリームをリアルタイムに解析し、使用量のチャンクからトークン数を取り出しつつ、最初のトークンまでの遅れをごく小さく保ちます。


Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

トークン数による流量制限

Envoyは、リクエスト数だけではなくトークン数も数えて流量を管理します。1分あたり(TPM)と1日あたり(TPD)のトークン数の上限を、テナントやプロジェクト、モデルごとにかけられるのが特徴です。

トークン数を使う3つの制御

図3 トークン数を使う3つの制御

推論前の制限では、本文のバイト数で入力トークンを見積もり、応答の実際の使用量をクォータのデータベースに記録します。上限を超えた後続のリクエストを、推論クラスターに届く前にHTTP 429で拒否する仕組みです。

暴走ループ対策では、セッションやエージェントのIDごとに、累計のトークン消費とメッセージ数を追跡します。エージェントが割り当てられた予算を超えると、Envoyは複数ターンのセッションを抑えます。

モデルとMCPのルーティング

Model & MCP routingの柱は、ステートレスな負荷分散の課題に対応し、エージェントのセッションを適切なサーバーに保ちます。Envoyは下流のモデルのバックエンドと外向きのツール呼び出しの通信を管理し、柱にはMCP Stateless supportも含まれます。

モデル側の2つのルーティング機能

図4 モデル側の2つのルーティング機能

KVキャッシュの親和性は、Kubernetes Gateway API Inference ExtensionsとEndpoint Picker(EPP)を使う機能です。同じシステム指示を持つプロンプトを、そのキャッシュをメモリに持つGPUワーカーへ送り、応答の遅れを減らします。

再試行と切り替えでは、主モデルが429のステータスコードを返すか失敗した場合に、Envoyが自動で再試行するか副モデルのプールへ振り向けます。クライアントの処理は中断されません。

MCPツールのルーティング

MCPを使うエージェントでは、EnvoyがJSON-RPC 2.0の本文とHTTPヘッダーでリクエストを振り分けます。Mcp-MethodとMcp-Nameヘッダーによる振り分けは、2026-07-28版のMCP仕様に沿った、本文を解析しない方式です。

EnvoyによるMCPツールのルーティング

図5 EnvoyによるMCPツールのルーティング

2026-07-28版MCP仕様に沿うルーティングで、Mcp-MethodとMcp-Nameヘッダーと本文が食い違えば、バックエンドが拒否します。エラーはHTTP 400 / -32020(HeaderMismatch)で、改ざん防止が目的です。

ext_procによる安全対策

Envoyのセキュリティのコールアウトは、ネットワークのスループットを犠牲にしないことを目的とした仕組みです。Envoyはext_procでModel ArmorやShieldGemma、ローカルの分類器などに接続し、プロンプトインジェクションや機密データの漏えいを検出します。

ext_procの呼び出し先の例

図6 ext_procの呼び出し先の例

AI security guardrailsは、統制のないツール実行に対し、インラインのポリシーとext_procの判定ポイントでツール呼び出しにポリシーをかけます。ガードレールの例は、Model ArmorやShieldGemma、データ損失防止です。


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

Agent Substrateと連携するEnvoy

Envoyは、Agent Substrateのような高密度の実行環境と直接組み合わせる設計です。数十万単位の待機中のエージェントを専用のコンテナや仮想マシンで動かすと、インフラ費用が過大になる場合があります。[1]

Agent Substrateと組み合わせたEnvoyの接続

図7 Agent Substrateと組み合わせたEnvoyの接続

Agent Substrateは、Cloud HypervisorやmicroVMs、gVisorのアプリケーションサンドボックスといった軽量な分離ランタイムを使うのが特徴です。停止中のエージェントに通信が届くと、Envoyは最初のパケットを保持したままランタイムに再開を合図し、ミリ秒単位で再開を終えます。

Envoyはエージェント環境の入口と出口を兼ねるゲートウェイとして働き、外向きの通信を確認済みのドメインに限ります。信頼できない自律的なコードが、許可されていない宛先に届くのを防ぐ設計です。

Envoyのエージェント向けスタックの始め方

Envoyのエージェント向けスタックを使い始める場所は、Github上のEnvoy proxyとAgent Routerの実装です。オープンソースのサンプル構成も、設定を確かめる材料として使えます。[1]

使い始めるときに見る場所

図8 使い始めるときに見る場所

ネイティブのボディパーサーで形式を変換する構成では、外部の商用モデルから自己ホストのオープンソースモデルへ移る際もEnvoyの設定更新だけで済みます。移行先の例はvLLM上のGemmaやLlamaで、アプリケーションのコードは変わりません。

Envoyのエージェント向けスタックを導入する場合は、使いたい柱の設定がGithub上の実装やサンプル構成に含まれるかを確かめる方法が考えられます。外部の商用モデルから自己ホストのオープンソースモデルへ移す場合は、Envoyの設定だけで切り替え先を指定できるかもサンプル構成で確かめます。

Envoyの一部機能が前提とする構成

Envoyの一部の機能は、ほかの構成要素や実行環境との組み合わせが前提です。各機能を使えるEnvoyの版や提供地域、課金の条件は今回の発表に含まれていません。[1]

一部機能の前提構成と今回の発表の範囲

図9 一部機能の前提構成と今回の発表の範囲

エージェント処理の課題に対応するEnvoyの柱

課題の種類によって、確かめるEnvoyの柱が分かれます。課題に合わせて柱を選ぶ場合は、該当する柱から順に必要な構成を確かめる方法が考えられます。[1]

課題に応じて確かめる柱(編集部の整理)

図10 課題に応じて確かめる柱(編集部の整理)

モデルごとの形式の違いをEnvoyで吸収したい場合は、OpenAIやAnthropic、Geminiのスキーマに利用中の形式が含まれるかを確かめることが前提です。トークン消費を抑えたい場合は、TPMとTPDの上限をテナントやプロジェクト、モデルのどの単位にかけるかを先に決めておく必要があります。

セッションを適切なサーバーに保ちたい場合は、Kubernetes Gateway API Inference ExtensionsとEPPを使えるかを確かめます。ext_procによるガードレールを使う場合は、Model ArmorやShieldGemmaなどの接続先を検討することが前提です。

出典

  1. ^ Google Cloud. 「Building an agentic stack in Envoy: routing models, tokens, and MCP」. https://cloud.google.com/blog/products/networking/the-envoy-agentic-stack-routing-models-tokens-and-mcp, (参照 26-11-18).

※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。

修正・削除・掲載などの依頼はこちら
ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

企業・法人向けのIT・プログラミング・生成AI研修を探す、比較する - IT・プログラミングを知って学べるコネクトメディア CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプが提供する無料で学べるプログラミングスクール講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア 3.5日の研修で、年間1,600時間の削減効果が見込まれる。東京きらぼしフィナンシャルグループのDX人材育成事例 - IT・プログラミングを知って学べるコネクトメディア 配属3ヶ月で30%の生産性向上を実現するいよぎんコンピュータサービスの新人研修に迫る - IT・プログラミングを知って学べるコネクトメディア 金融業界の業務効率化を加速するニッセイアセットマネジメントの生成AI×GAS活用研修事例 - IT・プログラミングを知って学べるコネクトメディア 【製造業のDX人材育成事例】デジタル人材の即戦力化を実現する、日本ガイシ株式会社の異動者向オンボーディング研修 - ITやプログラミングを知って学べるコネクトメディア フューチャーアーキテクト株式会社が実現した新入社員向けIT研修プログラムでタスクフォース制度が主体的な学びと成長を生み出す - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【IT新入社員研修】オンラインとオフラインの最適バランスを実現したFutureOneの導入事例 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【新入社員研修】柔軟なハイブリッド型Java研修で実現した新卒20名の成長と成果|サークレイス株式会社 - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア

What's New

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する