株式会社Citadel AIは、生成AIアプリケーションの入力・出力を評価し、リスクの検知や制御、モニタリングを行うファイアウォール・モニタリング製品「Citadel Radar(シタデル・レーダー)」の提供を開始しました。
Citadel Radarが生成AIアプリケーション特有のモニタリング課題に対応
従来のITシステム監視では、エラー率や可用性といった技術的な健全性の確認が中心でした。生成AIアプリケーションの運用では、それだけでは不十分です。アプリケーションとユーザーのやり取りそのものが、業務上適切かどうか、リスクを含んでいないか、期待される価値を発揮しているかを継続的に確認する必要があります。
Citadel Radarは、こうした課題に対応するため、複数の関係者が共通の評価メトリクスと運用ログを蓄積できる仕組みを提供します。部門や役割ごとにばらつきがちなリスク判断を標準化することによって、組織内の共通言語づくりと知見の継続的な活用を支援しました。
Citadel Radarのビルトインメトリクスとカスタム評価
Citadel Radarには、AIセーフティガイドラインや各種フレームワークを参照して設計されたビルトインメトリクスが搭載されています。企業が独自に評価基準を一から整備しなくても、一般的なAIリスク観点に基づいたモニタリングを開始できます。
対応するリスク観点は、機密情報や個人情報の開示、不適切・危険な指示、偏見や差別につながる表現など多岐にわたりました。入力と出力の双方から評価できる設計です。また、自社固有の業務ルールや社内規程、コンプライアンス要件に合わせたカスタムメトリクスを自然文で作成することも可能で、業務やリスク管理に関わる非技術者の知見を評価設計に反映できます。
Citadel Radarの入出力制御と継続的改善サイクル
Citadel Radarは、生成AIアプリケーションから送信される入力ログ・出力ログをAPI経由で受け取り、評価メトリクスに基づいてリアルタイムに判定する仕組みです。日本語の業務文脈にも対応しており、実際の業務利用の中で発生するリスクを即座に検知・制御できます。
判定結果に応じて、問題のある入出力をブロックする「Block」と、ユーザーに影響を与えずに事後確認対象として記録する「Flag」を選択できます。厳格に止めるべきリスクと、まずは監視・分析すべきリスクを、アプリケーションの用途や組織の運用ポリシーに応じて使い分けることが可能です。
トラフィックページでは、入力ログ・出力ログ、評価結果、検知された評価カテゴリ、Block / Flagの状態を一覧で確認できます。個別ログの詳細では、AIによる解説機能によって、どの部分が問題と判定されたかを把握できます。閾値に応じたアラートメール通知により、検知件数の増加や重要なリスクの発生時に関係者へ迅速に通知することも可能です。
さらに、蓄積された検知結果やリスク傾向は、既存の生成AIアプリケーション評価・テストツールである「Citadel Lens」と連携できます。本番運用前の事前評価と本番運用後のモニタリングをつなぐ継続的な改善サイクルに活用できます。
Citadel Radarの主な機能は以下の通りです。
- API経由での入力ログ・出力ログ評価
- ビルトインメトリクスおよびカスタムメトリクスによるリスク検知
- 日本語の業務文脈に対応したリアルタイム評価
- Block / Flagによる柔軟な入出力制御
- アナリティクスによる検知傾向・リスク分布の可視化
- Citadel Lensとの連携による継続的改善サイクル
- 閾値に応じたアラートメール通知
- ロール権限・リソース権限による組織的な運用管理
複数のメトリクスと運用パラメータをまとめる評価パッケージ、メトリクスの評価精度を確認できるプレイグラウンド、アプリケーション単位のAPIキー管理にも対応しています。
Citadel Radarの概要
| 項目 | 詳細 |
|---|---|
| 提供企業 | 株式会社Citadel AI |
| 製品名 | Citadel Radar(シタデル・レーダー) |
| カテゴリ | ファイアウォール・モニタリング製品 |
| 主な機能 | 生成AIアプリケーションの入出力評価・リスク検知・制御・モニタリング |
| 評価対象 | プロンプト(入力)およびレスポンス(出力) |
| 連携製品 | Citadel Lens |
| 代表取締役 | 小林裕宜氏 |
| 所在地 | 東京都文京区向丘 2-3-10 東大前HiRAKU GATE 3-1 |
| 設立 | 2020年12月10日 |
| 企業URL | https://citadel-ai.com/ja/ |
trends編集部の一言
生成AIアプリケーションのモニタリングが「技術者だけの仕事」ではなくなりつつある点が、この発表で最も注目される変化です。業界全体としては、AIツールの導入が加速する一方で、誰がどのように運用責任を担うかという問いへの答えが追いついていない状況が続いています。
マーケティング業界の文脈に置き換えると、AIを使ったコンテンツ生成や顧客対応の自動化が広がる中で、どのプロンプトが不適切な出力につながったかを事後に確認できる仕組みを整えている組織は、まだ少ないのではないでしょうか。「Block」と「Flag」を使い分けながら段階的にリスクを管理するアプローチは、AIガバナンスの実務的な実装モデルとして業界横断で参照される動きになりそうです。
Google米国本社出身のエンジニアを擁するチームが開発をリードし、BSIをはじめとする国際標準業界にも採用されている点からも、製品の信頼性への本気度がうかがえます。Citadel Lensとの連携で事前評価と運用モニタリングをつなぐ設計は、今後の生成AIガバナンス領域で注目される動きの一つと言えそうです。
References
- ^ PR TIMES. 「生成AIアプリケーションの業務利用を、組織として安全に見守る。ファイアウォール・モニタリング製品「Citadel Radar」提供開始 | 株式会社Citadel AIのプレスリリース」. https://prtimes.jp/main/html/rd/p/000000050.000075720.html, (参照 26-06-25).
ITやプログラミングに関するコラム
【Python】FastAPIで料金プラン見積もりシミュレーターを作ってみた
【Python】pandasとmatplotlibで在庫データのABC分析と構成比を可視化してみた
【Python】Flaskで社内FAQをカテゴリ検索できるWebアプリを作ってみた
【Python】argparseでJSON整形・構文検証・キー検索CLIを試してみた
【Python】NumPyとmatplotlibでモンテカルロ法による円周率推定と収束過程の可視化を試してみた
【Python】Playwrightでスクレイピングを試してみた
【CSS】notで複数の件を除外する方法
【Git】remote設定を変更する方法
【VBA】コメントアウトを設定する方法
x86とx64の違いを分かりやすく解説
ITやプログラミングに関するニュース
VercelがAI GatewayにSeedream 5.0 Proを追加、AI SDKのモデル指定で画像生成と編集が可能に
AWSがAmazon LocationのPlaces APIを強化、住所表記の指定と移動手段別の検索が可能に
VercelがトレースにTree・Waterfallビューを追加、ログ画面で処理の階層と所要時間を確認可能に
Googleがエージェント評価の再考を提唱、難易度を情報量で測るDiscovery Benchを解説
Google CloudがCloud Runサンドボックスを公開プレビューで提供、サービスヘルスは一般提供に
Google Cloud EMEAが英国金融の重要第三者に指定、イングランド銀行・PRA・FCAの直接監督下に
AWS DMS Schema ConversionがSQL Serverのオフライン変換に対応、ソースDBへ接続せずスキーマを変換可能に
EC2 G7インスタンスが米国東部(バージニア北部)で利用可能に、G6比でAI推論性能が最大4.6倍
SageMaker HyperPodが継続プロビジョニングでのAMIベース構成に対応、S3のスクリプト管理なしでSlurmクラスターを作成可能に
AWSがEMR on EKSでSparkトラブルシューティングエージェントに対応、失敗ジョブの原因分析を自然言語で依頼可能に
