Google CloudがOpenRLを含む構成の採用パターンを紹介、Gemma 4のLAB評価で再現可能なRLループにより複数ステップ推論ルーブリックの精度70%を実現

OpenRLを適用したベンチマーク結果

Google Cloudは、オープンソースのスタック全体を企業向けの厳しいワークロードで評価するため、Gemma 4をテストしました。テストには、Legal Agent Benchmark（LAB）を使っています。^[1]

LABは、Harvey.aiが開発したオープンソースのベンチマークです。M&Aのデューデリジェンスから契約紛争の分析まで、24の複雑な法務分野を扱います。

Google Cloudが示したベンチマーク結果では、標準的なSFTは複数ステップの推論ルーブリックで精度が約50%で頭打ちでした。OpenRLで再現可能なRLループを適用した場合、Google Cloudはモデルの精度を70%まで高めました。

図1　複数ステップの推論ルーブリックの精度

この評価の学習パイプライン全体は、GKE上で並行するLoRAや推論のジョブとGPUやTPUの容量を動的に共有する構成でした。共有にあたって、手動のパーティション管理は行っていません。

OpenRLを含むスタックの採用パターン

Google Cloudは、OpenRLやllm-d、KubeRay、Gemmaを組み合わせたスタックの採用パターンを、組織の種類ごとに挙げています。パターンごとに、組織が抱える中心的な課題と、対応する構成を対にしています。^[1]

組織の種類ごとの4つの構成

組織の種類ごとの課題と構成は、以下の通りです。

組織ごとの課題と構成

図2　組織の種類ごとの構成の形

RLaaSやVPC内で動かす構成

企業のプラットフォームチーム向けの構成は、既存のGKEクラスタを自前のRLaaSに変える形です。RLaaSはReinforcement Learning-as-a-Serviceの略で、DRAやKueue、アクセラレータのタイムスライスを使って実現します。

図3　基盤チームと規制業種の構成の形

規制業種向けの構成は、完全にプライベートなVPC内で、ドメイン固有の報酬関数を使い1B-30BのGemmaモデルをポストトレーニングし提供します。Google Cloudの狙いは、タスクの精度を高め、総保有コスト（TCO）を下げることです。

OpenRL適用時の評価値と利用主体別の4構成

70%は、Google Cloudがベンチマーク結果として示したモデルの精度です。指標は複数ステップの推論ルーブリックで、OpenRLで再現可能なRLループを適用した場合の値です。^[1]

図4　OpenRL適用時の評価値を読む前提

基盤チーム向けの構成は、既存のGKEクラスタを前提にしています。規制業種向けは完全にプライベートなVPC内、Model-as-a-Serviceやneocloudの事業者向けはGPUとTPUが混在するクラスタで動かす構成です。

AIネイティブの開発者やエージェント開発者向けの構成は、llm-dのprefix-cacheルーティングを使います。gVisorで分離したAgent Sandboxの実行先と組み合わせて配置する形です。

図5　利用主体別の4構成が使う環境と組み合わせ

評価結果を自社の業務に当てはめたい場合は、対象モデルやタスク、比較対象の条件を照らし合わせる必要があります。70%は、OpenRLの再現可能なRLループを適用した際の、複数ステップの推論ルーブリックに対する精度です。

組織の種類の照合で4つの構成を絞る手順

Google Cloudは、組織の種類ごとに、中心的な課題と構成の対を挙げています。各構成は、OpenRLやllm-d、KubeRay、Gemmaを組み合わせたスタックの採用パターンです。^[1]

組織の種類ごとの4つの構成から検討する場合、編集部では、自社の課題がどの組織の種類に近いかを先に確かめて構成を絞る方法を提案します。近い組織の種類を確かめ、その種類に対応する構成へ絞る流れです。

図6　4つの構成を絞る手順

複数のMLチームをSlurm/Rayクラスタの分断なしに管理したい場合は、既存のGKEクラスタでDRAとKueue、アクセラレータのタイムスライスを使えるかを確かめます。独自データを第三者の公開APIへ送れない場合は、完全にプライベートなVPC内でドメイン固有の報酬関数を用意できるかが確認点です。

長いコンテキストで複数ターンのエージェント対話の費用や応答の遅れが課題の場合は、次の組み合わせを確かめます。llm-dのprefix-cacheルーティングと、gVisorで分離したAgent Sandboxの実行先の組み合わせです。

複数テナントへポストトレーニングと推論を提供する事業者には、GPUとTPUが混在するクラスタで確かめる点があります。OpenRLの複数テナントAPIとllm-dの複数アクセラレータ制御プレーンを公開できるかが確認点です。