ダイニーが AI エージェントを社内向けと社外向けで設計し分ける理由、誤答の影響で「LLM に任せる範囲」を決める
公開:
同じデータを見る AI エージェントでも、使う人が社内のメンバーか、飲食店の経営者かで、設計はまったく変わる。ダイニーが分けたのは「LLM に SQL を書かせるかどうか」だった。
Google Cloud の「Data & AI Summit '26 Fall」で、株式会社ダイニーの木村純也氏が登壇し、BigQuery の同じデータマートの上で動く社内向けと社外向けの2種類の AI エージェントを紹介した。誤答の影響の大きさに応じて LLM に任せる範囲を変える設計の考え方から、社外向けで必要になった tool 選択の工夫、ナレッジグラフ、品質保証と運用まで、プロダクトとして AI エージェントを安定させるための具体策が語られた。
この記事の要点
- ダイニーの AI エージェントはすべて、BigQuery の同じデータマートを使う。社内向けの「分析エージェント」と、加盟店向けの「ダイニー AI」で分かれるのは、誤答の影響・レイテンシ・認証認可といった求められる条件だ
- 誤答の影響が大きいほど LLM に任せる範囲を狭くする。社内向けは SQL を書かせてガードレールで守り、社外向けは SQL を書かせず、バックエンドが公開する型付きの tool だけを呼ばせる
- 社外向けでは、似た tool を1本にまとめるファサード、ハルシネーションのコードによる検出、指標の関係を表すナレッジグラフ、コンテキストキャッシングで品質・コスト・速度を守る。品質保証はリリース前とリリース後で仕組みを分ける
目次
Google Cloud は2026年11月18日、データと AI をテーマにしたイベント「Data & AI Summit '26 Fall」を Google 渋谷オフィスとオンラインで開いた。Track 3 のブレイクアウトセッション「外食産業の事業成長を Data × AI で加速:Dinii の BigQuery と AI エージェント開発の試行錯誤とアーキテクチャ戦略」には、株式会社ダイニー プロダクト本部 マネージャーの木村純也氏が登壇した。木村氏は冒頭、「新しい技術の紹介というより、プロダクトとしてどう作っているか、どう安定させるかという具体的なプラクティスの話をしたい」と述べた。
株式会社ダイニー プロダクト本部 マネージャーの木村純也氏
分析から行動までを1つのエージェントで
木村氏は大学院在学中に、シード期のダイニーに参加した。プロダクトエンジニアから SRE、データエンジニアへと役割を変え、データチームを立ち上げて、現在は全社のデータ活用をリードしている。AI の登場で、データ分析やデータ基盤に求められる性質は大きく変わった。ダイニーでもプロダクトに AI を組み込み、社内でも活用を進めてきたという。
ダイニーは「外食産業のあらゆる課題をテクノロジーで解決する」をテーマに、「All in One Restaurant Cloud.」として飲食店向けのプロダクト群を提供している。POS やモバイルオーダー、CRM、予約台帳などの「Restaurant Experience」、勤怠・給与・経営管理の「P&L」、決済端末やオンライン決済の「Payment」があり、それらを束ねるインターフェースを社内では「Integrated Interface」という別の領域として切り出している。セッションのテーマは、この Integrated Interface での取り組みだ。
ダイニーのプロダクト群。右端の Integrated Interface(AI Chat / Workspace / MEO)が今回のテーマ
当初は、AI でデータを分析するという基本的なところから始めた。しかし、飲食店に向けて出していくには、売上や勤怠、P&L のデータを「見る」だけでは足りない。メニューを変える、クーポンを作るといった「動かす」までが求められる。たとえば「先週の客単価が落ちた」と分かり、「常連が減っているので手を打ちたい」と決めたら、「常連にクーポンを配信する」。配信しよう、で止まらず、チャットの上でそのままクーポンを作れるのが、店にとって一番使いやすいインターフェースだと考えた。ダイニーはこれを、記録のシステム(SoR)から行動のシステム(SoA)までを1つのエージェントで表す「Unified Agent」と呼び、挑戦を続けている。
「見る→決める→動かす」を1つのエージェントで表現する「Unified Agent」
同じデータマート、違う条件の2つのエージェント
ダイニーの AI エージェントは、用途にかかわらずすべて同じデータマートを使い、構成要素はすべて Google Cloud 上で完結している。店舗アプリなどのデータはまず AlloyDB(PostgreSQL)に入り、Datastream で BigQuery に生データとして流れ、Dataform で変換されてデータマートになる。途中で見せてはいけないデータを外すなどのガードレールもある。こうしてできたデータマートを、Cloud Run 上で動く社内向けの「分析エージェント」と、社外向けの「ダイニー AI」の両方が参照する。
データ基盤の全体像。社内向けと社外向けのエージェントが同じデータマートを参照する
ところが、社内用とプロダクト用のエージェントを作るうちに、アーキテクチャに大きな違いが出てくることが分かった。木村氏が整理した違いは次のとおりだ。
| 観点 | 社内の分析(分析エージェント) | 加盟店向けのプロダクト(ダイニー AI) |
|---|---|---|
| 利用者 | 社内メンバー | 飲食店の経営者・店長 |
| 誤答の影響 | 小さい:検証できる人が使う | 大きい:経営判断を誤らせる |
| レイテンシ | 数分でも許容 | 初回応答の秒数を KPI に |
| 認証・認可 | IAP + Google アカウント | SSO + テナント権限を tool 単位で |
※スライド「ユースケースによって、求められる条件が違う」をもとに編集部が整理
中でも一番大きいのが誤答の影響だという。社内のメンバーなら、明らかにおかしな結果が出れば気づけるし、その場で検証する仕組みも簡単に作れる。一方、飲食店の経営者や店長が「客単価が下がったのはなぜ」と聞いたとき、AI がデータを見ずに「天気が悪かったから」といった答えをでっち上げれば、影響は大きい。
そこでダイニーがとった戦略は、「誤答の影響が大きいほど、LLM に任せる範囲を狭くする」ことだ。実装の上では、SQL を書かせるか、書かせないかの違いに集約される。誤りの影響が小さい社内向けでは SQL を書かせ、間違えたときのリスクが高い社外向けでは書かせない。これがアーキテクチャ設計の分岐点になっている。
社内向けは「SQL を書かせる」、社外向けは「SQL を書かせない(LLM が触れるのは型付き tool だけ)」
社内向け:SQL を書かせ、ガードレールで守る
社内向けの分析エージェントは、質問を受けると SQL を書いて BigQuery で実行し、結果と SQL を返す。スライドでは、画面の動きを再現したアニメーションで流れが紹介された。「都道府県別の加盟店数の割合を教えて」と入力すると、エージェントは「都道府県別の加盟店数を取得します」と答えて SQL を作り、画面の右側に「実行した SQL」を表示する。BigQuery での実行が終わると、都道府県別の棒グラフが現れ、「結果をグラフにしました。実行した SQL も一緒に載せています」と返す。
社内向け分析エージェントの画面の流れ(スライドより)。答えと一緒に、実行した SQL を必ず見せる
木村氏は「クエリを書いたことがある方ならお分かりだと思うが、SQL は1つ間違えただけでデタラメな数字が出てくる」と話す。AI エージェントの性能が上がっても、このリスクは付きまとう。それでも社内向けなら許容できる、という判断だ。仕組みとしては、Cloud Run 上のエージェントサーバーが Gemini に SQL を作らせ、簡単なハーネスを通して実行する。社内 KPI ダッシュボードは IAP で保護し、BigQuery に送る SQL は SELECT と WITH で始まるものに限っている。
社内向けのアーキテクチャ。エージェントサーバーは Cloud Run、記憶には AlloyDB を使う
誤答のリスクが小さいとはいえ、ガードレールは設けている。スライドでは「書き込み・使いすぎ・推測の3つを防ぐ」として、次の3点が挙げられた。
① 読み取り専用
SELECT/WITH で始まる SQL だけを通す。テーブルを変更するようなクエリは、機械的にエラーにする。
② 課金上限
1クエリの課金上限を固定する。木村氏によると、先にドライランを流し、課金額が閾値を超えたらエラーを返してクエリを作り直させている。
③ 推測の禁止と SQL の開示
SQL を実行せずに数値を出すことを禁じ、機械的に弾く。実行した SQL はすべて表示し、後から簡単に直せるようにする。
※スライド「SQL を書かせるためのガードレール」をもとに編集部が整理
ガードレールの実装の抜粋。禁止する SQL の正規表現、1クエリの課金上限、「推測の禁止」の指示が並ぶ
社外向け:SQL を書かせず、型付きの tool だけを渡す
社外向けのダイニー AI は、LLM に SQL を書かせない。スライドでは、こちらも画面の動きを再現したアニメーションで紹介された。経営者が「先週の客単価が落ちた理由は?」と聞くと、画面に「売上データを取得中…」と表示される。取得が終わると、AI は先々週と先週の指標を並べ、「先週は常連のお客様の来店が減り、客単価が下がっています。常連向けのクーポンを作成しますか?」と提案する。右側には「常連様限定クーポン」の下書き(対象は常連のお客様、特典はドリンク1杯サービス、有効期限は2週間)と、「作成する」「キャンセル」のボタンが出る。「作成する」を押すと、クーポンが作成済みになる。分析から行動までが1つのチャットで完結する、冒頭の Unified Agent の姿だ。
ダイニー AI の画面の流れ(スライドより)。分析の結果とあわせて、クーポンの下書きを提案する
「作成する」を押すと、チャットの上でクーポンの作成まで終わる
木村氏によると、この流れの中に、生の SQL を発行して実行する場面はない。「売上データを取得」は、SQL を書いた結果ではなく、売上データを取得する tool を呼び出した結果だ。LLM はデータに直接触れず、バックエンドのサーバーが公開する tool(売上を取得する tool、勤怠のサマリーを取得する tool など)を通してデータを得る。
プロダクトなので認証と認可も欠かせない。スライドによると、ログインは LLM を呼ぶ前に検証し、トークンはバックエンドで検証・認可する。また、書き込みの操作は承認カードで一度止め、「取得中…」といった処理の状態を画面にストリームで流す。
社外向けのアーキテクチャ。エージェントサーバーはバックエンドの tool を通してのみデータに触れる
tool はバックエンドのコードから自動で生成している。バックエンドのリゾルバー(いわゆるコントローラー)に、どの形式でどの関数を呼べるかというメタデータを付け、それを「ツールマニフェスト」という JSON にまとめる。エージェントのサーバーはビルド時にこの JSON を読み込み、どの tool をどう呼べるかを知る。生成物は CI で検証され、手で編集しない。実際に実行される SQL はバックエンドに固定されていて、LLM からは見えない。バックエンドは構造化されたクエリを発行するだけなので、デタラメな SQL が実行されるリスクをなくせるという。
tool はバックエンドから自動生成。LLM には型付きの tool の情報だけを渡し、SQL は見せない
社内向けと社外向けの違いは、モデルの性能ではなく「誤ったときに誰が気づけるか」で決まる。気づける人が使うなら SQL を書かせて開示し、気づけない人が使うなら、LLM が触れられるのを検証済みの tool に限る。
tool だけでは足りない:品質・コスト・速度を守る工夫
後半は、社外向けのプロダクトを成立させるための方法論だ。tool の仕組みを入れても、それだけでは品質・コスト・速度は守れない。木村氏は課題を3つ挙げた。1つ目は tool 選択の品質。似た tool がたくさんあると、どれを呼ぶべきか一度で決まらず、微妙に違うデータを取ってしまう。2つ目は入力トークンの肥大。tool を選ぶのは Gemini の仕事なので、tool の情報を毎回送ることになり、費用が増え、レイテンシも上がる。3つ目はレイテンシ。LLM の呼び出しが最低2回あり、バックエンドとの通信も挟まる。
tool 選択の失敗は4つの形で起きる
スライドでは、tool の選択の失敗を4つの形に分けていた。
- 似た tool の取り違え:「今日の売上は?」に、集計済みの売上を返す tool を選ぶ(今日の分はまだ集計されていない)
- 引数の誤り:「先月の渋谷店の売上は?」に、今月・全店舗を指定して tool を呼ぶ
- tool を呼ばずに回答:「先月の売上は?」に、tool を呼ばずに数値を答える
- 分析の手順が LLM 任せ:「客単価が落ちた理由は?」に、どの指標をどの順に見るかを LLM が決め、原因分析や改善相談に答えきれない
※スライド「tool の選択は、4 つの形で失敗する」をもとに編集部が整理
似た tool の取り違えには、「ファサード」で対処している。似た tool をいくつも定義するのではなく、同じ意図の tool を、enum の引数を持つ1本にまとめる。tool のメタデータが圧縮され、Gemini が選び間違えにくくなる。ただし、速報値と集計値はデータの鮮度が違うので分けておく。
似た tool を enum 引数の facade にまとめ、候補の数を減らす
ハルシネーションはコードで検出する
ハルシネーションは、コードで機械的に検出する。tool を呼ばずに数値を答えた、tool の結果に無い数値を出した、tool を呼んだふりをした、という3つのパターンを検証してエラーにし、検出はすべてログのイベントとして残している。
木村氏が「結構重要」と強調したのが、モデルごとの癖だ。同じ Gemini でも、2系から3系に上げたとき、回答の質は全体として上がったのに、特定の質問にだけ大きく失敗するケースがかなりあったという。スライドでは、空の応答が返ったら thinking を最小にして再試行する、予告だけで止まったら tool の呼び出しを強制して再実行する、といった対処が示された。モデルの癖を事前に洗い出し、それに合わせた仕組みを機械的に足していく。
ナレッジグラフで「分析の手順」をコードで決める
tool を正しく選べても、その後の回答がトンチンカンになることがある。たとえば、アンケートの結果が下がったことを、売上が下がったことに直接結び付けてしまう。本来は間にいろいろな要素があり、簡単にはつなげられない。どの指標をどの順に見るかを LLM 任せにすると、こうした飛躍が起きる。
そこでダイニーは、外食産業の KPI どうしの関係を「ナレッジグラフ」として持っている。売上は客数と客単価に分解でき、客単価は1人あたりの点数と1品単価に分解できる、提供時間は客数と相関する、といった関係をグラフで表し、それぞれの指標の粒度(日・時間帯・月・店舗・商品・客層)や、どのデータマート・tool から取るかも持たせる。コードがこのグラフをたどって必要な指標を取り、指標どうしの関係を明示的にプロンプトとして AI に渡す。知識がコードになるので、テストやレビューにもかけられる。
ナレッジグラフの中身。指標・関係・粒度・所在を持たせ、コードがたどる
回答の質を本質的に上げていくには、ナレッジグラフを導入しないことには絶対に上がらないと考えています。
コンテキストキャッシングと「待ち時間の見せ方」
入力トークンの肥大には、Gemini のコンテキストキャッシングを使う。tool の説明文やメタデータなど、毎回送っているデータをあらかじめキャッシュしておき、キャッシュから読まれる入力の割合を増やす。キャッシュされたトークンは通常の入力より安く課金される[1]。木村氏は、コストにも回答の品質にも効く「かなりおすすめの施策」だと述べた。
レイテンシについては、まずコンテキストキャッシングで入力を軽くし、全体の時間を縮める。もう1つ重要なのが待ち時間の見せ方だ。入力してから回答が出るまで画面に何も出ないと、本当に動いているのかと不安になる。裏側で何をしているかをストリームで画面に流すだけで、待ち時間の感じ方はだいぶ変わるという。デモ画面の「売上データを取得中…」がその例だ。なお、この部分以降は撮影していないため、画像は掲載していない。
品質保証はリリース前とリリース後で分ける
最後のテーマは、品質保証と運用だ。木村氏は、リリース前とリリース後でアプローチが異なると話した。リリース前はベンチマークを作り、変更の影響やリスクを測る。リリース後は、実際のチャットを採点していく。
リリース前のベンチマークには、2つの取り組みがある。1つは「ユースケース DB」。こういう入力にはこういう出力が出てほしい、というユースケースをまとめたデータベースで、エンジニアだけでなく、プロダクトマネージャーやセールスのメンバーも追加できる。質問と期待する回答を突き合わせ、システムの出力が期待どおりかを評価する。もう1つは、LLM に採点させるときに temperature をゼロにして、同じ入力なら同じ出力に近づけることだ。
リリース後は、質問を事前に決められないため、実際に発生したチャットを採点する必要がある。ここで LLM に採点させる「LLM-as-a-judge」は難しいと木村氏は言う。LLM の出力を LLM に評価させると評価が甘くなり、癖のある採点にもなる。しかもコストが大きい。回答を作るより採点するほうがコストがかかり、全チャットを採点すると、チャットそのものにかかった料金の2倍以上になってしまうという。
そこでダイニーは、LLM が採点した結果に人の評価を後から当て、どこがずれていたかを採点の仕組みに戻して改善している。採点には「ルーブリック評価」を採用し、採点の軸ごとに点数を付けて、それぞれに改善のアクションを1つずつ対応させる。たとえば tool 選択の点数が低ければ、tool のメタデータを直す、ファサードにまとめる、といった具合だ。良い Gemini のモデルで採点すれば質は上がるがコストがかさむため、採点をローカルの LLM に任せてコストを下げる取り組みも進めようとしている。
評価の仕組みを作る際の指針として、木村氏は Google Cloud がウェブで公開している AI エージェントの構築と運用に関する資料を薦めた。tool 選択の評価、最終応答の評価、評価手法の使い分け、人の採点を組み込む Human in the Loop がまとまっており、ダイニーも最初はそこから始めたという。
運用では、オブザーバビリティも欠かせない。AI エージェントのオブザーバビリティは新しい分野で、何を KPI にすべきか迷いやすい。木村氏は、キャッシュのヒット率、LLM 呼び出しのレイテンシ、入力トークン数、出力に占める thinking の割合などは「今日からでもダッシュボードを作れる」と話し、変更の前後を同じ期間で比べてモニタリングすることを勧めた。
木村氏は最後に、要点をまとめた。誤答の影響の大きさに応じて LLM に任せる範囲を調整すること。回答の質を上げるためにナレッジグラフを導入すること。そして、リリース前とリリース後で品質保証の仕組みをそれぞれ作ることだ。
プロダクトとして AI エージェントを安定させるための実践を語った木村純也氏
登壇者
プロダクト本部 マネージャー
開催概要
| イベント | Data & AI Summit '26 Fall(主催:Google Cloud) |
|---|---|
| 開催日 | 2026年11月18日(水) |
| 会場 | Google 渋谷オフィス+オンライン配信 |
| セッション | 【Track 3】外食産業の事業成長を Data × AI で加速:Dinii の BigQuery と AI エージェント開発の試行錯誤とアーキテクチャ戦略 |
| 登壇 | 木村純也氏(株式会社ダイニー プロダクト本部 マネージャー) |
出典:Data & AI Summit '26 Fall 公式ページ
References
- Google Cloud「Context caching overview」(Vertex AI ドキュメント). https://docs.cloud.google.com/vertex-ai/generative-ai/docs/context-cache/context-cache-overview(参照 2026-11-19)
Data & AI Summit '26 Fall のほかのレポート
- 【総括】AI エージェントに任せる前に、データに「意味」を Google Cloud と登壇10社が示したデータ基盤の条件
- 【基調講演】AIエージェントは「信頼」と「コスト」で選ばれる、Google Cloud・KDDI・MBKデジタルが示すデータ基盤の条件
- 【Track 1】AIエージェントは「初日の新入社員」 Google Cloud 山田氏が説く、データを動かさない「SOAP」アーキテクチャとコンテキスト運用
- 【Track 1】キリンビール営業部門、商談の質問に AI でその場で回答 BigQuery と Looker で約12週間で本番へ
- 【Track 1】三菱ケミカルが M365・AWS・ServiceNow を Google Cloud でつなぎ、ヘルプデスクを自律化
- 【Track 1】Google Cloud が示すエージェントのデータ基盤、BigQuery と Knowledge Catalog の役割
- 【Track 2】メルカリが dbt platform へ移行、AI エージェントでデータ基盤の運用を自律化
- 【Track 2】G-gen が検証、BigQuery に表と列の説明と業務用語を書くと AI の正答率は17%から100%に
- 【Track 2】LegalOn Technologies、Agent Skill で現場にデータ基盤を渡し「構造」で守る運用
- 【Track 3】Google Cloud が解説、BigQuery と Iceberg の使い分け 4つのテーブル形式と3つの連携パターン
- 【Track 3】Google Cloud が語る「見る BI」の先 Looker で AI と会話し、作らせ、エージェントから使う
- 【Track 3】Google Cloud が提言、AI エージェントから本番 DB を守る「サービング DB」と3つの設計要件
- 【Track 3】MIXI が Looker の会話分析をサブエージェントに、アナリストが自ら育てる「モンスト」の社内分析 AI
本イベントのほかのレポートも公開しています
この記事では Track 3 のダイニーのセッションを取り上げました。ほかの12本のレポートは、上の一覧からご覧いただけます。(trends. 編集部)









