MakeSomethingNew株式会社は、大企業における生成AI・AI Agent活用を支援するため、「社内LLM基盤構築サービス」の提供を開始しました。
社内LLM基盤構築サービスの提供背景
多くの企業でChatGPTをはじめとする生成AIの活用が進んでいます。しかし、部門ごとに個別のAIツールやAPI連携を導入すると、利用者の把握や認証・ログの分散、LLM APIのレート制限や障害時の業務影響といった問題が生じます。コスト、トークン量、レイテンシ、エラーを横断的に管理できない点や、AI Agentから社内APIや社内データへ安全に接続する設計の難しさも課題です。
企業における生成AI活用は、個人利用や部門単位の試験導入から、業務システムや社内ナレッジ、ワークフローと接続した本格運用の段階へ移行しつつあります。全社展開を見据えると、利用者ごとの権限管理やモデルごとのコスト・レイテンシ管理、監査ログの取得、障害時の代替ルート確保など、対応すべき領域は広がります。本サービスは、アプリケーションごとの個別実装ではなく、企業全体で共通利用できるLLM基盤の構築を支援します。
社内LLM基盤構築サービスを構成する4つの機能
本サービスの主な特徴は次の4点です。
- 社内IDと連携した認証認可でモデル・用途を制御
- 複数LLMプロバイダーへのルーティングと障害時の切り替え支援
- ユーザー・部門・アプリ・モデル単位の利用ログ・監査ログ可視化
- AI Agentが参照する社内データや業務APIへの管理可能な接続基盤
認証認可の機能では、Entra IDなどの社内ID基盤と連携し、ユーザー、部門、アプリケーションロールに応じて利用可能なモデルや用途を制御します。個人利用の拡散を防ぎながら、企業の統制に沿った生成AI活用を実現する設計です。ルーティング機能では、Azure OpenAI、OpenAI API、Groqなど複数のLLMプロバイダーを束ねます。モデル特性やレート制限、応答速度、コスト、障害状況に応じてリクエストを振り分け、特定モデルやリージョンに障害が発生した場合も代替先への切り替えを支援します。
利用ログや監査ログの可視化では、ユーザー、部門、アプリ、モデル単位でトークン使用量、レイテンシ、エラー、コストを追跡できる状態を目指しています。運用チーム、セキュリティ部門、事業部門が同じログを参照しながら、利用状況の把握や改善、監査対応を行える体制です。AI Agent向けの社内接続基盤としては、LLM APIを単に中継するにとどまらず、AI Agentが参照する社内データや実行するツール、呼び出す業務APIを管理可能な形で接続します。開発チームは、認証やログ、ルーティングなどの共通機能ではなく、各業務に特化したAgent設計に集中できます。
社内LLM基盤構築サービスの概要
| 項目 | 詳細 |
|---|---|
| 提供企業 | MakeSomethingNew株式会社 |
| サービス名 | 社内LLM基盤構築サービス |
| 対応LLMプロバイダー | Azure OpenAI、OpenAI API、Groq、OSS LLM |
| 主な機能 | 認証認可・モデルルーティング・利用ログ参照・監査対応 |
| 想定導入対象 | セキュリティや監査面に課題がある企業、複数LLMを用途別に使い分けたい企業、社内チャットや業務システム、ナレッジベースにLLMを組み込みたい企業 |
| 事業内容 | NPO向けシステム開発、生成AI活用支援、Web開発 |
| Webサイト | https://makesomethingnew.jp/ |
trends編集部の一言
認証認可やモデルルーティング、利用ログという3つの要素を共通基盤として整備するという設計方針は、部門ごとの個別導入が進んだ結果として管理が分散するという問題を根本から解消しようとするアプローチです。マーケティング業界の文脈に置き換えると、部門ごとにAIツールやAPI連携を個別導入した結果、誰がどのツールをどう使っているか把握できなくなる状況は業界横断で観察されてきた課題です。
「個人利用や部門導入から全社本格運用へ」という移行フェーズは、今まさに多くの企業が直面している段階です。生成AI基盤整備の流れとしては、AI Agentが社内データや業務APIへ接続するシーンが増えるにつれ、共通基盤の設計を後回しにするコストが大きくなる傾向が業界全体で指摘されており、基盤整備への関心は今後さらに高まると捉えられます。
References
- ^ PR TIMES. 「MakeSomethingNew、「社内LLM基盤構築サービス」を提供開始。認証認可・負荷分散・利用ログを標準化し、安全なAI Agent活用を支援 | MakeSomethingNew株式会社のプレスリリース」. https://prtimes.jp/main/html/rd/p/000000004.000182041.html, (参照 26-05-23).
