Priv Tech「AI Risk Checker」、AI Hackのハルシネーション検知機能との組み合わせで外部生成AIの回答に潜むリスクにも対応

AI Risk Checkerで生成した企業・製品に固有の検証用プロンプトをAI Hackに登録し、ChatGPTやGeminiなど外部の生成AIの回答を照合

Priv Tech株式会社（本社：東京都港区、代表取締役：中道 大輔、以下Priv Tech）のAIリスク評価ツール「AI Risk Checker」は、グループ会社の株式会社AI Hack（本社：東京都港区、代表取締役：中道 大輔、以下AI Hack）が本日発表したハルシネーション検知機能との組み合わせにより、自社で提供する生成AIに加え、ChatGPTやGeminiなど一般ユーザーが利用する外部の生成AIの回答検証にも活用できるようになりました。

本組み合わせでは、AI Risk Checkerが企業・製品に固有の検証用プロンプトを生成し、AI Hackが外部の生成AIの回答を取得して正解データベースと照合します。

■背景

企業のAI活用に伴うリスクは多岐にわたりますが、そのうち顧客や一般ユーザーに届くAIの回答に関わるものとして、次のようなリスクがあります。

1. 自社が提供する生成AIツール／サービスの回答に潜むリスク

顧客対応チャットボットなどが、誤った案内や不適切な応答をしてしまうリスクです。AI Risk Checkerは、これまでこの領域のリスク評価を中心に支援してまいりました。

2. 外部の生成AIの回答に潜むリスク

ユーザーがWebサイトを訪問せず、生成AIの回答を通じて企業や製品について情報を得る『ゼロクリック』の行動様式が広がる中、回答の正確さが企業への理解や評価につながります。ChatGPTやGeminiなど一般ユーザーが利用する生成AIが、自社や自社製品について事実と異なる内容（ハルシネーション）や古い情報を回答すると、企業が直接管理できない場所で誤認やブランド毀損が生じるおそれがあります。

■AI Hackのハルシネーション検知機能について

AI Hackは本日、AIO分析ツール「AI Hack」のハルシネーション検知機能を発表しました。本機能は、ChatGPTやGeminiなど一般ユーザーが利用する生成AIが企業や製品について回答する内容を、正しい企業・製品情報を登録した「正解データベース」と照合し、誤り・古い情報・情報の欠落を検知して通知します。現在、一部パートナー企業に先行提供しており、今後順次、提供範囲を拡大する予定です。

※詳細はAI Hackのプレスリリースをご覧ください。

https://prtimes.jp/main/html/rd/p/000000050.000149337.html

■両ツールを組み合わせた回答検証の流れ

AI Hackには、現時点ではプロンプトを生成する機能がないため、ハルシネーション検知機能の利用には、検証用プロンプトを別途用意する必要があります。企業・製品に固有の誤情報を検証するには、仕様や価格、利用条件などを踏まえ、生成AIが誤解・混同しやすい点を確認するための質問設計が重要です。

しかし、こうした検証用プロンプトを人手で作成するには、資料の確認や質問の設計に手間がかかります。AI Risk Checkerのテスト問題生成機能を用いることで、企業の資料を解析し、企業・製品ごとの検証用プロンプトを自動生成できます。これにより、AI Hackでの回答検証に用いる質問の作成負担を軽減します。

活用の流れは以下です。

1. 企業・製品情報の読み込み（AI Risk Checker）

Webサイト、カタログ、マニュアルなどを読み込み、企業特有の専門知識やLLMが誤解・混同しやすいポイントを解析します。

2. 検証用プロンプトの生成（AI Risk Checker）

解析結果に基づき、その企業・製品に固有の検証用プロンプトを自動生成します。

（例：実際と異なる価格や条件を前提にした質問、存在しない機能についての質問、他社製品と混同させる質問など）

3. 外部の生成AIの回答検証（AI Hack）

AI Risk Checkerで生成した検証用プロンプトをAI Hackに登録します。AI Hackは、そのプロンプトに対するChatGPTやGeminiなど外部の生成AIの回答を取得し、正解データベースと照合することで、誤り・古い情報・情報の欠落を検知します。

Priv Techは、自社で提供する生成AIの回答評価と、AI Hackとの組み合わせによる外部の生成AIの回答検証を通じて、AIの回答に潜むリスクへの対応を支援してまいります。

■AIリスク評価ツール「AI Risk Checker」について

企業のWebサイトや社内規定、FAQなどを解析し、企業特有のリスクを踏まえた「専用の高難度テスト問題」を自動生成・評価するLLM評価システムです。通常のテストでは見つけにくいハルシネーション、バイアス、不適切表現などを多角的に検証します。

• ドキュメント解析：Webサイトや社内マニュアル等を読み込み、ベクトルデータベースに蓄積。企業特有の専門知識やLLMが誤解・混同しやすいポイントを構造化して解析
• データセット生成：解析結果に基づき、ハルシネーションや不適切な応答を誘発する難易度の高いテスト問題を自動生成
• 自動スコアリング：大規模テストを短時間で実行し、信頼性・安全性・品質の観点から多角的な指標で採点

■本件に関するお問い合わせ

【サービスに関する詳細・お問い合わせ】

https://service.privtech.co.jp/ai-risk-management/ai-risk-checker

【Priv Tech株式会社 会社概要】

会社名：Priv Tech株式会社

住所：東京都港区愛宕2-5-1 愛宕グリーンヒルズMORIタワー34階

設立：2020年3月2日

代表取締役：中道 大輔

事業内容：プライバシー・セキュリティ・AIリスクマネジメント事業

URL：https://privtech.co.jp

【株式会社AI Hack 会社概要】

会社名：株式会社AI Hack

住所：東京都港区愛宕2-5-1 愛宕グリーンヒルズMORIタワー34階

代表取締役：中道 大輔

事業内容：生成AI分野におけるサービスの提供

URL：https://ai-hack.co.jp/