Aurora Mobile の GPTBots.ai、Jev を統合し、単一の企業向けプラットフォームで二層型 AI アー キテクチャを実現

推論は LLM、判断は Jev へ。GPTBots.ai が二層型 AI で、企業エージェントの速度・コスト・信頼性を最適化。

顧客エンゲージメントおよびマーケティングテクノロジーをグローバルに提供する Aurora Mobile Limited（NASDAQ：JG、以下「Aurora Mobile」）は、同社のエンタープライズ向け AI エージェントプラットフォーム「GPTBots.ai」に、TypeSafe AI が開発した「システム 1」型の意思決定モデル「Jev」を統合したことを発表しました。これにより、推論を担う層と判断を担う層を組み合わせ、それぞれの処理に最適化した「二層型 AI アーキテクチャ」を構築します。

今回の統合により、GPTBots.ai は、推論を担う層と意思決定を担う層をプラットフォーム上で組み合わせ、それぞれの特性に応じて処理を最適化します。TypeSafe AI は 9 月 15 日、意思決定に特化したモデルとして Jev を公開しました。その後わずか 1 週間で、Vercel、Cloudflare、LangChain など主要な開発者向けプラットフォームへの統合が進んでいます。

課題：判断だけでよい処理にも、企業は推論コストを支払っている

AI エージェントのワークフローには、文章生成を必要としない判断が数多く含まれています。

問い合わせは請求に関するものか、技術的なものか。検索で取得した文書は、ユーザーの質問に実際に答えているか。このタスクには、どのモデルが適しているか。これらは「Yes／No」「A／B」「関連あり／関連なし」といった二値またはカテゴリーの判断です。それにもかかわらず、多くのプラットフォームでは、一つの分類結果を得るために、大規模な LLM で文章を生成しています。

その結果、企業は必要のない文章生成にコストを支払い、本来ならミリ秒単位で完了できる判断のためにトークン生成を待つことになります。また、モデルがその判断にどの程度の確信を持っているかを、信頼できる数値として把握することも困難でした。

解決策：意思決定に特化した専用レイヤー

Jev は、こうした課題に対応するために開発されました。文章は生成せず、非構造化データを入力として受け取り、「Choice」「Score」「Yes／No」の形式で、構造化された確率的な判断結果を返します。処理は単一の並列パスで行われ、すべての回答に校正された信頼度スコアが付与されます。

TypeSafe AI が公表したベンチマークによると、Jev の主な性能は以下のとおりです。

- 速度： エンドツーエンドで 70～500 ミリ秒。最先端 LLM の 3～329 秒に対して高速に処理

- コスト： 入力 100 万トークン当たり 0.042 米ドル、出力は無料。同等の LLM による意思決定処理と比べて最大 445 分の 1

- 信頼性： 構造化出力のエラー率は 0％。一部の最先端モデルでは最大 45.5％

- 導入実績： 公開後数日以内に Vercel、Cloudflare、LangChain、Langfuse が統合

GPTBots.ai が構築する二層型 AI アーキテクチャ

GPTBots.ai は、Jev を単独の追加機能として組み込むのではありません。同プラットフォームでは、すでに複数の意思決定機能を提供しており、今回の統合によって、それらを意思決定に特化した一つのモデルのもとで強化・統合します。

このアーキテクチャでは、タスクの性質に応じて処理を分担します。Jev を活用する「意思決定レイヤー」は、ルーティング、フィルタリング、分類、関連度スコアリングなど、大量かつ迅速な判断を 500 ミリ秒未満、LLM 呼び出しより低いコストで処理します。一方、「推論レイヤー」は、GPT や Claude などの汎用 LLM を用いて、複雑な推論、文章生成、自由形式の対話を担います。それぞれのタスクを、最も適したエンジンで処理する設計です。

Jev は、GPTBots.ai が提供する以下の 3 つの既存機能を強化します。

1. Model Auto-Router：タスク開始前に最適なモデルを選択

GPTBots.ai はタスクの実行前に入力されたクエリを評価し、最も適したモデルへ振り分けます。Jev の統合により、このルーティングを高速化するとともに、信頼度に基づく判断が可能になります。Jev は、クエリの複雑さ、分野、緊急度を評価し、確率に基づく推奨結果を返します。ルーターはその結果をミリ秒単位で処理するため、高コストな LLM 呼び出しを、500 ミリ秒未満かつ 1 セントを大幅に下回る判断処理に置き換えられます。

2. Dynamic Top-K：ナレッジ検索時のノイズを除外

RAG が多数の文書チャンクを取得しても、そのすべてが質問に関連しているとは限りません。GPTBots.ai の「Dynamic Top-K」は、関連性の低いチャンクを LLM に送信する前に除外します。Jev は、各チャンクの意味的な関連度を校正された確率で評価し、信頼度の高いナレッジだけをモデルに渡します。これにより、ハルシネーションのリスクと不要なトークン消費を抑えます。

3. FlowAgent／Workflow の意図分類：適切な業務フローへ振り分け

GPTBots.ai の「FlowAgent」と「Workflow」には、ユーザーの意図を識別し、会話を適切な業務フローへ振り分ける分類機能が搭載されています。Jev の統合後は、各ルーティング結果に信頼度スコアが付きます。信頼度の高いケースは自動的に次の処理へ進み、判断が不確かなケースは、より高性能なモデルまたはオペレーターへエスカレーションできます。

GPTBots.ai の創業者兼 CEO である Chris Lo（クリス・ロー）は、次のように述べています。

「GPTBots.ai には、モデルルーティング、動的な情報検索、意図分類といった基盤機能がすでに備わっていました。Jev によって、これらの判断を専用の意思決定エンジンで処理できるようになります。その速度とコストは、AI パイプライン全体の経済性を大きく変えるものです。ルーティングのたびに汎用 LLM を呼び出すのではなく、1 回当たり 1 セントを大幅に下回るコストで判断を行い、同時に校正された信頼度スコアも取得できます」

信頼度に基づく実行：自動処理、確認、エスカレーション

二層型 AI アーキテクチャには、信頼度のしきい値を設定できる仕組みが導入されます。Jev によるすべての判断には確率スコアが付与され、企業はワークフローごとに独自のしきい値を設定できます。これにより、自動実行する判断、人による確認を必要とする判断、オペレーターへエスカレーションする判断を分けられます。

例えば、請求に関する問い合わせ分類は高い信頼度で自動実行する一方、コンプライアンスに関わる判断には、より高い確実性を求めることができます。単に処理速度を追求するのではなく、誤った判断がもたらすリスクに応じて実行方法を調整できます。

企業ユーザーにもたらす価値

- コスト削減： 従来は汎用 LLM のトークンを消費していた意思決定処理を、1 回当たり 1 セントを大幅に下回るコストで実行できます。1 日に数百万件の判断を処理するプラットフォームでは、利用規模に応じて削減効果が拡大します。

- レイテンシーの低減： 500 ミリ秒未満の応答により、LLM の往復処理を待つことなく、リアルタイムの対話や自動化ワークフローを進行できます。

- 校正された信頼度： すべての判断に確率スコアが付与されます。「モデルが確信しているように見える」という感覚的な判断を、オートメーションルールに利用できる数値へ置き換えます。

- 型エラーゼロ： Jev の出力はスキーマに準拠することが保証されています。JSON の解析エラー、不正な形式の応答、想定外の出力によるパイプライン停止を防ぎます。

GPTBots.ai について

GPTBots.ai は、Aurora Mobile（NASDAQ: JG）傘下のエンタープライズ向け AI エージェントプラットフォームです。ノーコード・ローコードでの AI エージェント開発・導入・運用を提供し、企業のカスタマーサービス強化、ナレッジマネジメントの最適化、業務プロセスの自動化を支援します。

グローバル顧客には Axios Management、GP Batteries、Echosens China などが含まれます。

お問い合わせ：marketing@gptbots.ai

Aurora Mobileについて

Aurora Mobile Limitedは2011年設立。NASDAQ上場企業として、グローバル企業向けにオムニチャネルエンゲージメント、AIマーケティング、AIカスタマーサポート、アイデンティティセキュリティを統合したデジタルインフラを提供しています。主力ブランド「EngageLab」およびAI基盤「GPTBots.ai」を通じて、企業のデジタルトランスフォーメーションを支援しています。

詳細については、https://ir.aurora-mobile.com/ をご覧いただくか、marketing@aurora-mobile.com までお問い合わせください。