Googleが社内のデータシミュレーターの仕組みを紹介、短い説明から架空企業のデータと検証済みの正解の生成が可能
公開:
Googleは、企業向けデータエージェントを試す「風洞」として、社内でデータシミュレーターを構築しました。データシミュレーターは、短い説明から架空企業のデータや文書を作り、難しい質問と検証済みの正解も生成するツールです。[1]
この記事では、データシミュレーターが正確で再現できる正解を作る仕組みと、合成データでの評価に残るリスクを整理します。データシミュレーターはGoogleの社内ツールで、Google Cloudのデータエージェントを利用企業のデータに触れずに試験し、強化するために使われています。
データシミュレーターでできること
企業のデータウェアハウスに関する質問に答えるデータエージェントを作る場合、本番データでの開発や試験はアクセス制限や機密性のため難しくなります。本番のウェアハウスは、アクセスできても試験の場として弱点を抱える環境です。[1]
企業のデータウェアハウス向けのデータエージェントでは、エンジニアがデータを持つチームの外にいると、本番データでの開発や試験が特に難しくなります。アクセス制限や機密性、本番ウェアハウスの弱点から、チームはトイデータでエージェントを試し、本番でも持ちこたえることを期待しがちです。
Googleの見方では、多くのデータエージェントの評価に使われるのは、表の名前が整い、指標が明確で、矛盾する文書のない小さなテスト用データベースです。テスト用データベースは便利なものの、企業データが求める判断を試せることはまれだとGoogleはみています。
合成データ環境の生成
データシミュレーターでは、組織や分野のパターンを数文の平易な英語で書いた短い説明が、風洞の元になります。説明から構造の似た架空企業が作られ、スキーマや行、イベント履歴、文書、チャットに加え、難しい質問と検証済みの正解も生成されます。
合成データ環境は、データベースや文書、チャット履歴を実在の組織と同じ構造と因果の振る舞いで持ち、名前や数値、文書はすべて合成したものです。テーブルの関係や記録を生む業務イベント、社内知識の所在、定義の乱れを保つように設計されています。
たとえば、2工場を持つブレーキメーカーを指定して作られる架空企業が「Calder Brakes」です。エンジニアは本番の独自スキーマを複製する代わりに、短い説明を書くところから始めます。
Calder Brakesの質問例
生成した環境は、SQLの実行やスキーマの閲覧、文書検索を行う読み取り専用のインターフェースで提供され、どのエージェントも設計図や正解を見ずに呼び出せます。Calder Brakesの第2工場の例は、新人に停止時間の扱いを伝える定性的な質問と、第3四半期の停止時間の時間数を問う定量的な質問です。
素朴なエージェントは、最も権威がありそうな文書として、第2シフトの監督者が書いた方針メモを見つけます。メモは計画的な段取り替えを停止時間に含めないとしており、エージェントはその定義でSQLも書いてしまいます。
実際には、工場の公式指標は段取り替えを計画停止に含めており、2つの回答はどちらも誤りです。正しく答えるには、文書の口調にとらわれず、SQLを書く前に指標の担当者を確かめ、後の訂正をたどる必要があります。
Google社内のデータシミュレーターの4段階
評価に使う合成データ環境は、正解が正確で再現できる場合にだけ役立ちます。Google社内のデータシミュレーターは、架空企業の設計とデータ生成を4つの段階に分けています。[1]
評価前に環境を作る3段階
Google社内のデータシミュレーターで、環境構築に言語モデルを使う段階は、Compile blueprintとRender documentsです。Compile blueprintはプロンプトを固定の設計図に変え、Render documentsは設計図の事実を各人物の文体のメモやチャットにします。
Googleのデータシミュレーターで、Compile blueprintの設計図は、システムや人、指標、個人の思い込みを定めるものです。思い込みは意図的に誤らせられ、Bobの誤った定義も公式の指標と並べて記録され、罠と解決策が一緒に仕込まれます。
Googleのデータシミュレーターで、Simulate & build tablesは、設計図の固定後にモデルなしで決定的に動く段階です。従業員は役割と予定に沿った決定的な規則で行動し、すべての記録を元の出来事までたどれます。
古い手順や食い違う定義などの組織の乱雑さが、従業員の行動の時系列から自然に生じます。同じ設計図と乱数シードから作るテーブルとSQLの正解は毎回同一で、1つのシードで再現する組織の履歴も毎回同じです。
ビルド時に行う確認項目
テーブルに注入された、再試行による重複行や統合されていないキー、四半期途中の単位変更などの欠陥は、機械可読な乱雑さログに記録され、正解SQLの調整に使われます。ベンチマークの信頼性を保つビルド時の確認は、次の3種類です。
重複が記録された不良件数の質問には、重複を除くCOUNT(DISTINCT)のSQLが自動で組み合わされ、結果は240になります。罠のSQLの例は、重複を除かないCOUNT(*)やBobの段取り替えフィルターです。
検証に必要なデータが環境にない質問は、未検証のまま出さずに生成器が取り除きます。架空の指標「Basalt Velocity Ratio」を尋ねられた場合、信頼できるエージェントは回答を控え、指標が存在しないと伝えます。
現実性と評価結果の持ち越しを確かめる3段階
Googleは、社内のデータシミュレーターで作る風洞について、本番と同じ点数を出す必要はなく、同じ行動の傾向を再現する必要があるとしています。傾向とは、本番で精度を下げる条件が風洞でも精度を下げる方向と、矛盾が増えたときの精度の落ち方の速さです。[1]
Googleは、社内のデータシミュレーターで傾向が成り立てば、エージェントの版を比べ、複雑さを段階的に上げて推論が崩れる点を探せるとみています。同シミュレーターで現実性と評価結果の持ち越しを確かめる段階は3つです。
Google社内のデータシミュレーターで、ビルドごとの現実性レポートは結合による行の増加やキーの偏り、欠損と重複の率など、SQLの生成と結合に影響する性質を測ります。現実性レポートは、先頭桁の出現頻度などの数値分布も検査します。
初期の取り組みで、Googleはパートナー企業の分野を模した合成データ環境を作りました。パートナー企業の分析担当者は合成データを照会し、自社システムのように振る舞うかを判断しました。
独立した較正と持ち越しの確認の段階では、データシミュレーターの出力を、統計的な現実性と正解SQLについて100を超える項目で検証します。Googleの社内評価では、推論を深めるなどの改良で、合成データ環境と人が作ったベンチマークの精度が同じ方向に動き、構成の順位も一致しました。
社内ツールのデータシミュレーター
データシミュレーターは、Googleが社内で構築し、社内で使っているツールです。利用者向けの提供形態や提供地域、料金は今回の発表に含まれていません。[1]
Googleはデータシミュレーターを使い、Google Cloudのデータエージェントを現実的な企業データの乱雑さに対して試験し強化しています。利用企業の実際の環境と合成した環境を組にした、より広い複数エージェントの研究は、発表時点で進行中です。
Googleは、テスト環境を必要なときに生成することによって、機密データを持つ企業とデータエージェントの開発チームの間のボトルネックがなくなるとしています。従来は本番テーブルと人手でラベル付けした質問セットが必要で、どちらも組織やコンプライアンスの境界を越えて共有しにくい資産でした。
設計図を先に作る方式は、自社のエージェントの評価環境を作る開発チームなら適用できるとGoogleはみています。一方で、合成データでの評価には、データシミュレーターの乱雑さの型への過剰適合と、事業の変化による設計図とのずれという2つのリスクが残ります。
設計図先行の評価環境で確かめる点
設計図先行の方式を自社のエージェント評価に取り入れ、定量的な質問の正解を作る場合は、ビルド時に罠のSQLが正解と異なる値になるかを確かめるのが一案です。編集部は、環境を作る場面と使う場面の確認点を整理しました。
罠のSQLとは、よくある誤りを表すSQLです。テーブルに欠陥を注入する場合は、欠陥を機械可読な形で記録し、正解SQLの調整に使えるかが確認点です。[1]
Googleは合成データでの評価に、実世界での実行結果に対する定期的な較正を勧めます。難易度を本番の失敗の型に合わせ、シミュレーションを生きたモデルとして扱うことも求めています。
編集部の一案は、合成データ環境で版を比べる場合に、矛盾増加時の精度低下が本番と同方向で同程度の速さかを確かめることです。Googleは社内の風洞に本番と同じ点数は不要としています。
出典
- ^ Google Cloud. 「Frontier and Center: Why your data agents need a “wind tunnel”」. https://cloud.google.com/blog/products/data-analytics/a-data-simulator-to-test-agents, (参照 26-11-20).
※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。
修正・削除・掲載などの依頼はこちら






















