Google CloudがAlphaEvolveでのエージェントスキル最適化を紹介、Harborで実タスクの評価が可能

AlphaEvolveでのエージェントスキル最適化

AlphaEvolveは、コードを最適化するのと同じ方法で、エージェントスキルを最適化します。Geminiが新しい版を提案し、評価器が採点して、探索は点数の高い版を残す流れです。^[1]

図1　Harborを使う場合にエージェントスキルを改善する流れ

Harborを使う評価の要点

Harborを使うと、評価器そのものを、実際のタスクに取り組むコーディングエージェントにできます。Google Cloudの検証では、AlphaEvolveの数回の反復で5%の改善が見られました。

同じループを組むときの要点は、以下の通りです。

Harborの試行とフィードバック

Harborは、ベンチマークのタスクで、試行ごとに専用のコンテナを使ってエージェントを動かします。評価器は候補ごとに合否の点数と、失敗または時間切れになったタスクについての短いメモを返し、AlphaEvolveはそのメモを次の版のためにGeminiへ送ります。

図2　Harborの試行から次の版に向けてメモを送るまでの流れ

AlphaEvolveがスキルを提案すると、Harborがそのスキル付きのエージェントをベースラインスキルと並べて動かし、点数とメモがAlphaEvolveへ戻る流れです。フィードバックは評価器の点数とメモで、失敗や時間切れのメモはAlphaEvolveが次の版のためGeminiへ送ります。

AlphaEvolveの使い方

一般提供（GA）のAlphaEvolveの使い始め方では、利用者側が用意する中心の入力は、シードプログラムと評価器の2つです。評価器の形は例によって異なり、使い始め方の例では利用者側の決定的な評価スクリプト、Harborの例では実タスクに取り組むコーディングエージェントです。^[1][2]

図3　一般提供（GA）発表時のAlphaEvolveの使い始め方

評価器はどこで動かしてもよく、利用者側のrunnerが、AlphaEvolve APIから受け取った候補を評価器に通し、点数をAlphaEvolveへ送ります。一方、Harborを使う例では、評価器を実タスクに取り組むコーディングエージェントにでき、合否の点数と、失敗または時間切れになったタスクについての短いメモを返します。

シードプログラムの書き方

AlphaEvolveは、シードプログラムの中で2つのマーカーに挟まれたコードを改良する設計です。次の例では、SKILL.mdファイルであるスキルのdescriptionとbodyの文章をマーカーの間に置き、Geminiに書き換えさせます。

図4　シードプログラムに置く要素

descriptionとbodyをマーカーの間に置いた、シードプログラムの例は以下の通りです。

def build_skill() -> tuple[str, str]:
  """Return the evolvable (description, body) pair for the skill."""
  # EVOLVE-BLOCK-START
  description = (
      "Solve engineering tasks in a Linux terminal: building and compiling "
      "software, fixing broken repositories and configuration, ..."
  )
  body = r"""# Terminal task solver
You are working in a Linux container. The task has a specific, checkable end
state, and an automated test suite will decide whether you achieved it. ...
"""
  # EVOLVE-BLOCK-END
  return description, body

公式資料からの抜粋：Building an agent skill optimizer with AlphaEvolve, Harbor and Gemini 4 Argon（Treat the skill as the program）。対象版・範囲：原記事のコード例（版の指定なし）。

上記のコードでは、build_skill関数が、書き換えの対象となるdescriptionとbodyの組を返します。bodyの冒頭は、Linuxコンテナでの作業と、自動テストによる合否の判定を伝える指示です。

エージェントスキル最適化の構成では、AlphaEvolveはGoogle Cloudで動作し、利用者のコードを実行しません。AlphaEvolveは、何が「より良い」かを、評価器が送り返す点数とメモから受け取ります。

AlphaEvolve APIの始め方

Google Cloudは、まずドキュメントを読み、オンボーディングガイドでAlphaEvolve APIを設定する進め方を勧めています。そのあとは、リポジトリにあるcolabの基本例で、AlphaEvolveがどう働くかを理解する順です。

図5　AlphaEvolve APIを使い始める順序

エージェントを使う作業では、AntigravityやClaude Codeなど好みのIDEで、AlphaEvolve Skillを使って始められます。より複雑な実験向けには、ベストプラクティスガイドと応用例が用意されています。

始めるための入口の一つは、AlphaEvolve on Google CloudのGitHubリポジトリです。ベンチマークはTerminal-Bench 2.0、ハーネスはHarborで、スキルの形式はagentskills.ioとopencodeのskillsのドキュメントにあります。

AlphaEvolveを使う前の確認点

AlphaEvolveは、非公開プレビューを経て、Google Cloudで一般提供（GA）が始まりました。AlphaEvolveは、Geminiを基盤とするコード最適化・発見エージェントです。^[2]

図6　Google CloudでのAlphaEvolveの提供と検証状況

Google Cloudは発表時点で、システムプロンプトやポリシーの指示、ツールを含む企業向けのエージェントハーネスでAlphaEvolveを検証しています。検証の対象は、探索で加えられる業務ルールがエージェントに欠けている場面です。^[1]

架空の銀行の顧客対応テストを使った1件の小規模な検証では、AlphaEvolveが仕込まれた誤ったポリシーのルールを見つけて直しました。AlphaEvolveは、その修正を未知のケースにも引き継いでいます。

ほかの小規模な検証の結果は、まちまちでした。Google Cloudは、全体の検証を終えた時点で最終結果を共有するとしています。

ベースラインスキルとの比較方法

エージェントの点数はばらつくことがあります。Google Cloudの初期の検証では、モデルの応答の遅れが、候補の点数のばらつきの多くを説明していました。

図7　候補の点数を比べる条件

Harborで評価器を組む場合は、候補とベースラインスキルを同じタスクで同時に動かす形を、探索の前に決めておくとよいでしょう。最終確認用のタスクも探索に渡さずに分けておけば、選ばれた版を未知のタスクで確かめられます。

長時間の探索で起きた問題

Google Cloudの検証では、約10時間後に、探索が新しい候補を採点しなくなりました。モデルの応答が遅い間は遅延チェックがすべての評価を保留し、エージェントの全ログがコントローラーのディスクを埋めていました。

図8　Google Cloudの長時間の探索の検証で起きた問題

Google Cloudは、ループを作るより、探索を実行するほうが難しいと評価しています。長い探索の前には、モデルの応答が遅い時間帯と、ログの保存先を計画しておく必要があるという立場です。

Google CloudはGoogle Kubernetes Engine（GKE）でHarborを1試行につき1Podで動かし、1回の探索で数千回の試行を実行しました。数千回規模の試行を行う探索を計画する場合は、エージェントの全ログの保存先と容量を先に見積もるとよいでしょう。

エージェントスキルの検証で分かったこと

AlphaEvolveが見つけた最良のスキルは、ベースラインスキルとは書き方が違います。ベースラインは慎重なチェックリストですが、AlphaEvolveの版は制限時間を軸にした手順です。^[1]

図9　ベースラインとAlphaEvolveの版の違い

AlphaEvolveの版のスキル

AlphaEvolveは、最も多い失敗である時間切れに焦点を当てました。評価器のメモによると、探索の試行の約3分の1が制限時間に達していました。

図10　AlphaEvolveの版が含む指示

AlphaEvolveの版は、動く成果物を早めに目的のパスへ置き、改良中も最後に合格した版を目的のパスに残すよう指示します。eval.pyやテストスイート、受け入れチェックが合格し、必要なファイルが正確な書式でそろった時点で、すぐに止める指示も含みます。

ベースラインスキルの検証結果

Gemini 3.8 Flashを使うOpenCodeでは、ベースラインスキルでの合格がTerminal-Bench 2.0の試行の約3分の2でした。結果は決定的ではなく、スキルなしでもほぼ同じでした。

図11　スキルの検証で得られた数値

スキルが効果を上げたのは、Agent Skillsのベストプラクティスのとおり、エージェントに足りないものを加えたときです。ベースラインスキルには測定できる差がなく、答えを含むスキルは開発用タスクの点数を33ポイント押し上げました。

Google Cloudは、発表時点のモデルとコーディングエージェントはすでにコーディング向けに調整され、一般的な助言で加える余地は少ないという仮説を立てています。仮説が正しければ余地は探索で見つかる具体的な点にあり、AlphaEvolveの最良のスキルは最も多い失敗である時間切れを軸にしています。