Appier、AIが自らの限界を認識し最適な推論方法を選択する新研究を発表

情報の不足を見極め、タスクに応じて思考言語を切り替えることでより信頼性の高いエンタープライズ向けエージェント型AIの実現へ

Appier Group株式会社 (エイピア、本社: 東京都港区、代表取締役CEO: チハン・ユー、東証プライム: 4180、以下Appier) は、AI技術革新と先端研究への取り組みを一貫して深化させ、マーケティングおよび広告テクノロジーへの応用領域を広げています。

エージェント型AIの企業における中核業務への導入が加速するなか、Appier AI研究チームは、新たに2本の研究論文を発表しました。両論文はそれぞれ、大規模言語モデル（LLM）が提示された選択肢に正解がない場合に、自らの限界をどのように認識できるか、また、推論に用いる言語が多言語環境における性能や安全性、文化理解にどのような影響を及ぼすかを検証したものです。これらの研究は、ビジネスにおけるAIの信頼性とグローバル展開を評価するための新たな視点を提示しています。

これら2つの能力は、企業がAIを業務に活用するうえで、ますます重要になっています。例えば、ECサイトのカスタマーサポートAIエージェントが、問い合わせ対象の商品に適用できる返品・交換ルールを確認できないまま、類似商品のルールを当てはめて回答すると、誤った情報を提供し、トラブルにつながる可能性があります。

また、ゲームの海外展開では、各市場のゲームプレイヤーの関心を引く広告クリエイティブを制作するうえで、言葉の細かなニュアンスが重要になります。AIが市場や文化的背景を踏まえずに推論した場合、現地特有の嗜好や潜在的なリスクを見落とす可能性があります。

エージェント型AIを企業の意思決定に本格的に組み込むには、不確実性に適切に対処するとともに、タスクに応じて適切な推論方法や言語を選択する能力が不可欠です。

情報の不足を認識する――正解が存在しない場合に、AIが適切に回答を控えられるようにする 

エージェント型AIが自律的にタスクを遂行するには、多くの場合、企業のナレッジベースや文書、外部データから必要な情報を取得したうえで、推論や回答を行う必要があります。検索拡張生成（Retrieval-Augmented Generation：RAG）は、その代表的なアーキテクチャの一つです。検索によって回答を裏付ける十分な情報を取得できなかった場合、モデルがその不足を認識できるかどうかは、その後の意思決定の信頼性を大きく左右します。

Appier AI研究チームは、論文「None of the Above, Less of the Right: Parallel Patterns between Humans and LLMs on Multi-Choice Questions Answering」（邦題：「『どれでもない』が正解になると正答率が低下――選択式問題における人間とLLMの類似傾向」）において、「どれでもない」（None of the Above：NA）が正解となる選択式問題を用い、規模の異なる主要なLLM 28種を検証しました。

その結果、「どれでもない」が正解となる場合、モデルの正答率は全体として30～50％低下することが明らかになりました。これは、モデルが関連知識を有していても、次善あるいは誤った選択肢を前にすると、情報不足を主体的に示すのではなく、無理に答えを出そうとする傾向があることを示しています。 

こうした「分からないことを自覚し、それを言葉にできる」能力は、数学の問題のように直接計算・検証できるタスクに比べ、ビジネス倫理のように選択肢の妥当性を総合的に判断する必要のあるタスクにおいて、とりわけ重要となります。

Appier AI研究チームは、教師ありファインチューニング（Supervised Fine-Tuning：SFT）と直接選好最適化（Direct Preference Optimization：DPO）を用いて、モデルが「どれでもない」という状況を認識する能力を訓練しました。SFTでは正しい回答例を学習させる一方、DPOでは正しい回答と誤った回答をそれぞれ好ましい例、好ましくない例として学習させます。 実験の結果、DPOはモデルが「正解なし」の問題を識別する精度を約30ポイント引き上げることが確認され、この能力が訓練によって最適化できることが実証されました。 

ただし、「どれでもない」という選択肢はあらゆる設問に適用できるわけではなく、答えが明確で、かつ選択肢同士が互いに独立している問題にのみ有効です。これは、AIの「回答を保留する能力」がタスクごとに個別に訓練される必要があり、そうして初めて最大限の効果を発揮できることを示しています。企業のナレッジ活用シーンに応用する際は、検索精度の向上に加え、「行動に移す前に情報が十分かどうかを確認する」というチェック機構を設けることも有効となります。AIが手元の情報の不足を検知した場合には、自律的に再検索を行うか、あるいは人による対応へ引き継ぐことができるようになります。 

推論に用いる言語を選ぶ――タスクに応じて、より適切な推論経路を選択できるAIへ 

不確実性への適切な対処に加え、エージェント型AIにはタスクの特性に応じて適切な推論言語を選択する能力も求められます。Appierの研究「Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models?」(邦題:「言語が思考を決める ── 多言語入力と推論経路は大規模推論モデルにどう影響するか」)では、大規模推論モデル(Large Reasoning Models、LRMs)がどの言語で思考するかが、論理的推論、安全性判断、文化理解の精度に直接影響を及ぼすことが明らかとなりました。異なる言語で質問を投げかけた場合でも、モデルは英語をはじめとする高リソース言語に依存して内部推論を行う傾向があり、一部のモデルでは内部推論の言語と最終的な回答言語が一致しない割合が9割を超えることも判明しました。 

Appier AI研究チームは「テキストプレフィル法(Text Prefilling)」という手法を用い、プロンプトの冒頭に特定の語句を設定してモデルの思考言語を強制的に指定し、タスクのパフォーマンスへの影響を観察しました。その結果、英語をはじめとする高リソース言語は数学や知識系タスクの推論において概して有利に働く一方、「文化理解」タスクにおいては「現地言語」の方がその土地の文化的文脈により即した結果を示すことが分かりました。また安全性テストにおいても、AIに現地の言語で推論させることで、有害または違法な質問をより的確に検知・遮断できることが確認されました。

これは、推論に用いる言語の選択をタスクの性質に応じて柔軟に調整すべきであることを示しています。この研究は「推論言語ルーティング(Reasoning-Language Routing)」という新たな応用の可能性を切り開くものです。今後、エージェント型AIは適切なモデル・ツール・データを選ぶだけでなく、タスクの種類や市場、文化的背景に応じて最も適した推論言語を動的に選択し、最終的にはユーザーが使用する対話言語で応答できるようになります。 

AI評価の範囲を広げる ── 「正解を出す」から「限界を認識し、最適な方法を選ぶ」へ 

Appier共同創業者 兼 代表取締役CEOのチハン・ユーは、次のように述べています。「この2本の論文は、AI評価の新たな基準を打ち立てるものです。AIが単に質問に答える存在から自律的に意思決定を行う存在へと進化するなか、モデルが正解を出せるかどうかを測るだけでなく、情報の不足を認識してタイミングよく行動を調整できるか、そして状況に応じてタスクごとにより適切な推論方法を選べるかどうかも評価する必要があります。これらの能力は、エージェント型AIが指示を実行するだけの存在から、現実世界の複雑な状況に対応できる信頼性の高い意思決定システムへと成長する一助となるでしょう。Appierは、継続的な基礎研究を通じてこうした重要な課題を定量化・改善可能なAI能力へと転換し、あらゆる市場・言語背景の企業がエージェント型AIをより確かな形で活用できるようにすることを目指しています」

今後、Appier AI研究チームは大規模言語モデルおよびエージェント型AIに関する先端研究をさらに深化させるとともに、その成果を広告クラウド、パーソナライゼーションクラウド、データクラウドの三大製品ラインへの応用を進めていきます。AIに自律的な行動能力を持たせるだけでなく、情報・タスク・市場の状況に応じたより信頼性の高い判断を可能にすることで、企業がエージェント型AIをスケーラブルな実質的ビジネス価値へと転換できるよう支援していきます。 

Appierについて

Appier（東証プライム：4180）は、『AIをもっとシンプルに』というビジョンのもと、2012年にAIネイティブ企業として設立されました。Appierの「広告クラウド」「パーソナライゼーションクラウド」「データクラウド」は、リアルタイムに思考し、自ら最適解を導く高度な自律型AIが搭載された「自律型AIサービス（AaaS: Agentic AI as a Service）」を通して、最先端の広告・マーケティング技術を提供しています。AIをビジネス成果（ROI）に直結させることで、顧客企業の成長を支援しており、現在、アジア太平洋地域、米国、欧州に17の拠点を構えグローバルで事業を展開しています。東京証券取引所プライム上場（IR情報）