VARYTEX(ヴァリテックス)株式会社は、漢方特化AI「KAMPO LLM」の開発と性能評価の実施を発表しました。
KAMPO LLMと主要AIモデルとの性能比較(漢方専門医研修テキスト471問)
評価には、一般社団法人日本東洋医学会発行の漢方専門医研修コアカリキュラム『問題と解説』(全471問)が用いられました。高精度モデル「KAMPO LLM Pro」と主要な汎用AIモデルの比較結果は以下の通りです。
| モデル | 正答率 | 正答数 |
|---|---|---|
| KAMPO LLM Pro | 97.4% | 459/471問 |
| Gemini 2.5 Pro(Google) | 91.7% | 432/471 |
| GPT-5.4 Pro(OpenAI) | 91.3% | 430/471 |
| o3(OpenAI) | 77.1% | 363/471 |
| GPT-4o(OpenAI) | 58.8% | 277/471 |
| GPT-4.1(OpenAI) | 56.8% | 266/471 |
高速・低コストモデル「KAMPO LLM Flash」について、同様の評価が実施されました。Pro版の約3倍の応答速度と約60%のコスト削減を実現しながら、正答率92.1%(434/471)を記録しています。汎用AIの最上位モデルをも上回る精度であることが確認されています。
| モデル | 正答率 | 正答数 |
|---|---|---|
| KAMPO LLM Flash | 92.1% | 434/471 |
| Gemini 2.5 Flash(Google) | 80.3% | 378/471 |
| GPT-5.4(OpenAI) | 79.2% | 373/471 |
| o4-mini(OpenAI) | 61.8% | 291/471 |
| GPT-4o(OpenAI) | 58.8% | 277/471 |
この結果は、汎用AIモデル単体では到達が難しい精度であり、漢方医学の専門領域においてKAMPO LLMが高い性能を持つことを示すものです。
KAMPO LLMが備える3つのコア・バリュー
「KAMPO LLM」の性能の根幹には、自社DXサービスの運用で蓄積した実臨床データと、VARYTEX(ヴァリテックス)株式会社が独自に構築した漢方医学データベースがあります。グローバル企業がアクセスできない「日本独自の医学体系」を深く理解している点が特徴です。
主なコア・バリューは以下の3点です。
- 実臨床に根ざした独自データの優位性
- 証の判定や方剤選択など専門領域における回答精度の向上
- 漢方業務支援ソフト「KAMPO 365」への搭載および法人向けAPIとしての提供
証の判定や方剤選択といった漢方独自の概念については、汎用AIが陥りやすい概念として知られています。独自データと最適化によって、より正確な回答が可能であることが今回の評価で確認されました。また本AIは、漢方業務支援ソフト「KAMPO 365」への搭載と、法人向けAPIとしての提供が予定されています。
KAMPO LLMの開発概要
| 項目 | 詳細 |
|---|---|
| 開発元 | VARYTEX(ヴァリテックス)株式会社 |
| サービス名 | KAMPO LLM |
| カテゴリ | 漢方特化AI |
| 評価データ | 漢方専門医研修コアカリキュラム『問題と解説』全471問 |
| 共同研究先 | 一般社団法人日本東洋医学会(日本東洋医学会渉外委員会) |
| 高精度モデル | KAMPO LLM Pro:正答率97.4%(459/471問) |
| 高速モデル | KAMPO LLM Flash:正答率92.1%(434/471) |
| 今後の展開 | KAMPO 365搭載・法人向けAPI提供予定 |
| 所在地 | 東京都港区六本木3丁目4−24 六本木足立ビル1階 |
| 設立 | 2021年3月31日 |
| 資本金 | 54,984,800 円 |
| 代表 | 平野 喜一郎氏 |
trends編集部の一言
漢方専門医研修テキスト471問でKAMPO LLM Proが97.4%の正答率を記録し、Gemini 2.5 ProやGPT-5.4 Proを上回ったという数値は、特化型AIの実力を示す具体的な事例です。業界全体としては「特化型AIが汎用AIを超える領域は存在する」という議論が続いてきましたが、今回の評価はその議論に実証的な根拠を加えるものと捉えられます。
1500年続く伝統医学を独自データと専門医との連携で学習させるというアプローチは、医療・ヘルスケア領域だけではなく専門特化AI市場全体においても注目される動向です。漢方医療領域に限らず、専門領域特化型AIの開発競争は今後さらに広がるとみられており、業界全体の動向としても今後の展開が注目されます。
References
- ^ PR TIMES. 「漢方をDXするVARYTEXが漢方特化AI「KAMPO LLM」を開発 - 漢方専門医研修テキスト471問で正答率97.4%、主要LLMを上回る性能を確認 – | VARYTEX株式会社のプレスリリース」. https://prtimes.jp/main/html/rd/p/000000022.000077291.html, (参照 26-06-09).
