Googleが社内のデータシミュレーターの仕組みを紹介

Googleが社内のデータシミュレーターの仕組みを紹介、短い説明から架空企業のデータと検証済みの正解の生成が可能

公開:
CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Googleは、企業向けデータエージェントを試す「風洞」として、社内でデータシミュレーターを構築しました。データシミュレーターは、短い説明から架空企業のデータや文書を作り、難しい質問と検証済みの正解も生成するツールです。[1]

この記事では、データシミュレーターが正確で再現できる正解を作る仕組みと、合成データでの評価に残るリスクを整理します。データシミュレーターはGoogleの社内ツールで、Google Cloudのデータエージェントを利用企業のデータに触れずに試験し、強化するために使われています。

目次
  1. データシミュレーターでできること
  2. Google社内のデータシミュレーターの4段階
  3. 現実性と評価結果の持ち越しを確かめる3段階
  4. 社内ツールのデータシミュレーター
  5. 設計図先行の評価環境で確かめる点

データシミュレーターでできること

企業のデータウェアハウスに関する質問に答えるデータエージェントを作る場合、本番データでの開発や試験はアクセス制限や機密性のため難しくなります。本番のウェアハウスは、アクセスできても試験の場として弱点を抱える環境です。[1]

本番のウェアハウスが試験に向かない点

図1 本番のウェアハウスが試験に向かない点

企業のデータウェアハウス向けのデータエージェントでは、エンジニアがデータを持つチームの外にいると、本番データでの開発や試験が特に難しくなります。アクセス制限や機密性、本番ウェアハウスの弱点から、チームはトイデータでエージェントを試し、本番でも持ちこたえることを期待しがちです。

Googleの見方では、多くのデータエージェントの評価に使われるのは、表の名前が整い、指標が明確で、矛盾する文書のない小さなテスト用データベースです。テスト用データベースは便利なものの、企業データが求める判断を試せることはまれだとGoogleはみています。

合成データ環境の生成

データシミュレーターでは、組織や分野のパターンを数文の平易な英語で書いた短い説明が、風洞の元になります。説明から構造の似た架空企業が作られ、スキーマや行、イベント履歴、文書、チャットに加え、難しい質問と検証済みの正解も生成されます。

データシミュレーターが生成するもの

図2 データシミュレーターが生成するもの

合成データ環境は、データベースや文書、チャット履歴を実在の組織と同じ構造と因果の振る舞いで持ち、名前や数値、文書はすべて合成したものです。テーブルの関係や記録を生む業務イベント、社内知識の所在、定義の乱れを保つように設計されています。

たとえば、2工場を持つブレーキメーカーを指定して作られる架空企業が「Calder Brakes」です。エンジニアは本番の独自スキーマを複製する代わりに、短い説明を書くところから始めます。

Calder Brakesの質問例

生成した環境は、SQLの実行やスキーマの閲覧、文書検索を行う読み取り専用のインターフェースで提供され、どのエージェントも設計図や正解を見ずに呼び出せます。Calder Brakesの第2工場の例は、新人に停止時間の扱いを伝える定性的な質問と、第3四半期の停止時間の時間数を問う定量的な質問です。

第2工場の停止時間をめぐる2つの質問

図3 第2工場の停止時間をめぐる2つの質問

素朴なエージェントは、最も権威がありそうな文書として、第2シフトの監督者が書いた方針メモを見つけます。メモは計画的な段取り替えを停止時間に含めないとしており、エージェントはその定義でSQLも書いてしまいます。

実際には、工場の公式指標は段取り替えを計画停止に含めており、2つの回答はどちらも誤りです。正しく答えるには、文書の口調にとらわれず、SQLを書く前に指標の担当者を確かめ、後の訂正をたどる必要があります。


Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

Google社内のデータシミュレーターの4段階

評価に使う合成データ環境は、正解が正確で再現できる場合にだけ役立ちます。Google社内のデータシミュレーターは、架空企業の設計とデータ生成を4つの段階に分けています。[1]

Google社内のデータシミュレーターの4段階

図4 Google社内のデータシミュレーターの4段階

評価前に環境を作る3段階

Google社内のデータシミュレーターで、環境構築に言語モデルを使う段階は、Compile blueprintとRender documentsです。Compile blueprintはプロンプトを固定の設計図に変え、Render documentsは設計図の事実を各人物の文体のメモやチャットにします。

Google社内のデータシミュレーターで環境を構築する3段階

図5 Google社内のデータシミュレーターで環境を構築する3段階

Googleのデータシミュレーターで、Compile blueprintの設計図は、システムや人、指標、個人の思い込みを定めるものです。思い込みは意図的に誤らせられ、Bobの誤った定義も公式の指標と並べて記録され、罠と解決策が一緒に仕込まれます。

Googleのデータシミュレーターで、Simulate & build tablesは、設計図の固定後にモデルなしで決定的に動く段階です。従業員は役割と予定に沿った決定的な規則で行動し、すべての記録を元の出来事までたどれます。

Googleのデータシミュレーターの表の構築

図6 Googleのデータシミュレーターの表の構築

古い手順や食い違う定義などの組織の乱雑さが、従業員の行動の時系列から自然に生じます。同じ設計図と乱数シードから作るテーブルとSQLの正解は毎回同一で、1つのシードで再現する組織の履歴も毎回同じです。

ビルド時に行う確認項目

テーブルに注入された、再試行による重複行や統合されていないキー、四半期途中の単位変更などの欠陥は、機械可読な乱雑さログに記録され、正解SQLの調整に使われます。ベンチマークの信頼性を保つビルド時の確認は、次の3種類です。

正解の算出:乱雑なテーブルで定量的な質問の正解を計算/正解の算出:罠のSQLで別の値になるかを確かめる/正解の算出:定性的な質問は担当者や定義、訂正の経緯で採点/文書の検証:割り当てた事実を記載し未記録の数値や日付、名前がないか照合/幻覚の検出:架空の指標で回答を控え存在しないと伝えるか試す

重複が記録された不良件数の質問には、重複を除くCOUNT(DISTINCT)のSQLが自動で組み合わされ、結果は240になります。罠のSQLの例は、重複を除かないCOUNT(*)やBobの段取り替えフィルターです。

検証に必要なデータが環境にない質問は、未検証のまま出さずに生成器が取り除きます。架空の指標「Basalt Velocity Ratio」を尋ねられた場合、信頼できるエージェントは回答を控え、指標が存在しないと伝えます。


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

現実性と評価結果の持ち越しを確かめる3段階

Googleは、社内のデータシミュレーターで作る風洞について、本番と同じ点数を出す必要はなく、同じ行動の傾向を再現する必要があるとしています。傾向とは、本番で精度を下げる条件が風洞でも精度を下げる方向と、矛盾が増えたときの精度の落ち方の速さです。[1]

Googleが社内の風洞に求める傾向

図7 Googleが社内の風洞に求める傾向

Googleは、社内のデータシミュレーターで傾向が成り立てば、エージェントの版を比べ、複雑さを段階的に上げて推論が崩れる点を探せるとみています。同シミュレーターで現実性と評価結果の持ち越しを確かめる段階は3つです。

現実性と持ち越しを確かめる3つの段階

図8 現実性と持ち越しを確かめる3つの段階

Google社内のデータシミュレーターで、ビルドごとの現実性レポートは結合による行の増加やキーの偏り、欠損と重複の率など、SQLの生成と結合に影響する性質を測ります。現実性レポートは、先頭桁の出現頻度などの数値分布も検査します。

Google社内の現実性レポートが測る項目

図9 Google社内の現実性レポートが測る項目

初期の取り組みで、Googleはパートナー企業の分野を模した合成データ環境を作りました。パートナー企業の分析担当者は合成データを照会し、自社システムのように振る舞うかを判断しました。

独立した較正と持ち越しの確認の段階では、データシミュレーターの出力を、統計的な現実性と正解SQLについて100を超える項目で検証します。Googleの社内評価では、推論を深めるなどの改良で、合成データ環境と人が作ったベンチマークの精度が同じ方向に動き、構成の順位も一致しました。

社内ツールのデータシミュレーター

データシミュレーターは、Googleが社内で構築し、社内で使っているツールです。利用者向けの提供形態や提供地域、料金は今回の発表に含まれていません。[1]

社内ツールの位置付けと設計図先行方式の見解

図10 社内ツールの位置付けと設計図先行方式の見解

Googleはデータシミュレーターを使い、Google Cloudのデータエージェントを現実的な企業データの乱雑さに対して試験し強化しています。利用企業の実際の環境と合成した環境を組にした、より広い複数エージェントの研究は、発表時点で進行中です。

Googleは、テスト環境を必要なときに生成することによって、機密データを持つ企業とデータエージェントの開発チームの間のボトルネックがなくなるとしています。従来は本番テーブルと人手でラベル付けした質問セットが必要で、どちらも組織やコンプライアンスの境界を越えて共有しにくい資産でした。

Googleが示す従来の評価との違い

図11 Googleが示す従来の評価との違い

設計図を先に作る方式は、自社のエージェントの評価環境を作る開発チームなら適用できるとGoogleはみています。一方で、合成データでの評価には、データシミュレーターの乱雑さの型への過剰適合と、事業の変化による設計図とのずれという2つのリスクが残ります。

設計図先行の評価環境で確かめる点

設計図先行の方式を自社のエージェント評価に取り入れ、定量的な質問の正解を作る場合は、ビルド時に罠のSQLが正解と異なる値になるかを確かめるのが一案です。編集部は、環境を作る場面と使う場面の確認点を整理しました。

設計図先行の評価で確かめる点

図12 設計図先行の評価で確かめる点

罠のSQLとは、よくある誤りを表すSQLです。テーブルに欠陥を注入する場合は、欠陥を機械可読な形で記録し、正解SQLの調整に使えるかが確認点です。[1]

Googleは合成データでの評価に、実世界での実行結果に対する定期的な較正を勧めます。難易度を本番の失敗の型に合わせ、シミュレーションを生きたモデルとして扱うことも求めています。

編集部の一案は、合成データ環境で版を比べる場合に、矛盾増加時の精度低下が本番と同方向で同程度の速さかを確かめることです。Googleは社内の風洞に本番と同じ点数は不要としています。

出典

  1. ^ Google Cloud. 「Frontier and Center: Why your data agents need a “wind tunnel”」. https://cloud.google.com/blog/products/data-analytics/a-data-simulator-to-test-agents, (参照 26-11-20).

※本記事は公式の一次情報を基に編集しています。内容はAIで確認していますが、誤りや最新情報との差異がある場合は、以下フォームよりご報告ください。

修正・削除・掲載などの依頼はこちら
ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

企業・法人向けのIT・プログラミング・生成AI研修を探す、比較する - IT・プログラミングを知って学べるコネクトメディア CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプが提供する無料で学べるプログラミングスクール講座 - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア 3.5日の研修で、年間1,600時間の削減効果が見込まれる。東京きらぼしフィナンシャルグループのDX人材育成事例 - IT・プログラミングを知って学べるコネクトメディア 配属3ヶ月で30%の生産性向上を実現するいよぎんコンピュータサービスの新人研修に迫る - IT・プログラミングを知って学べるコネクトメディア 金融業界の業務効率化を加速するニッセイアセットマネジメントの生成AI×GAS活用研修事例 - IT・プログラミングを知って学べるコネクトメディア 【製造業のDX人材育成事例】デジタル人材の即戦力化を実現する、日本ガイシ株式会社の異動者向オンボーディング研修 - ITやプログラミングを知って学べるコネクトメディア フューチャーアーキテクト株式会社が実現した新入社員向けIT研修プログラムでタスクフォース制度が主体的な学びと成長を生み出す - IT・プログラミングを知って学べるコネクトメディア コードキャンプDX人材育成研修 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【IT新入社員研修】オンラインとオフラインの最適バランスを実現したFutureOneの導入事例 - IT・プログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/【新入社員研修】柔軟なハイブリッド型Java研修で実現した新卒20名の成長と成果|サークレイス株式会社 - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア

What's New

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する