GoogleがPhysical-Engineering's Last Examを発表、工学4分野のタスクで最前線モデルの完遂能力を評価

Physical-Engineering's Last Examで評価できること

PLEは、物理世界を築くための作業をモデルが完遂できるかを測ります。Humanity's Last Examはモデルの一般知識を、Agents' Last Examはデジタルの専門業務を完遂する能力を測る試験です。^[1]

図1　3つのLast Examが測るモデルの能力

Google AI & Infrastructure teamは、多くの学術的なベンチマークが主に教科書型の問いや単発のツール呼び出し、小さく完結した設計問題を試すと見ています。物理工学向けのエージェントでは、有資格の技術者の審査と管理の下で安全かつ基準に適合し、費用効率のよい設計を出せるかが分からないという立場です。

分野別の85タスクの内訳

PLEは、長期にわたる85のタスクを4つの中核分野に分けて収録しています。内訳は、機械工学が30件、電気工学が27件、土木工学が18件、構造工学が10件です。

図2　PLEの分野別タスク数

エージェントは1つのプロンプトに答えるのではなく、プロジェクトのフォルダの中で作業します。フォルダは、現役の技術者が実務で受け取るものを模した構成です。

プロジェクトフォルダでの作業

作業用のフォルダはコンテナ化されており、MercorのArchipelago環境の上に構築されています。ファイル数は1タスクあたり平均61個で、ベンチマーク全体では5,170個です。

図3　PLEのタスクのファイルと全体の規模、成果物

エージェントは、PDFsや表計算、メール、2D CADの図面、3D BIMのモデル、文書の改訂版を読み解く必要があります。さらに適用される建築基準や物理的な限界を調べて計算し、有資格の審査者が審査して承認する、実務で使える成果物を作ることが求められます。

タスクの2つの作成方法

Google AI & Infrastructure teamは、Mercorの専門家や業界の有資格の現役技術者と協力し、2つの方法でPLEを構築しました。Expert-authored tasksの44件は、現役技術者が実務の課題をもとにフォルダや指示文、採点基準を作成しています。

図4　PLEのタスクを作る2つの方法

Co-authored tasksの41件では、現役技術者が最初のタスクを設計し、エージェントのパイプラインがライセンス可能な工学規格から環境と採点器を組み立てます。その後、エージェントが組み立てた全タスクを技術者が検証し、難度を引き上げました。

PLEを使い始める際の参照先の整理

この記事では、PLEを使い始める際の参照先を、arXivの論文とGitHubリポジトリ、ple-bench.comの3つに整理します。29の公開タスクと採点ツールはGitHubリポジトリから入手でき、競技会のリーダーボードはple-bench.comで公開されました。^[1]

図5　この記事で整理するPLEの参照先

GitHubリポジトリからは、29の公開タスクと採点スクリプト、評価用のコンテナをダウンロードできます。技術的な詳細の全体は、arXivで公開されたPLEの論文にまとめられています。

ple-bench.comは、利用者が自分のエージェント構成を持ち込み、非公開のテストセットでの評価に提出する場所です。Googleがスポンサーとなる13のモデルは、Googleのサーバー上で無料で動きます。

Physical-Engineering's Last Examの採点条件と提出方法

PLEの採点では、設計がまず厳格な安全チェックにすべて合格しないと得点が入りません。PLEが、基準への適合と費用効率の両方を評価する仕組みだからです。^[1]

図6　PLEの公開範囲と提出の条件

PLEのタスクや採点ツールは、エージェントによる物理工学の作業を測って改善したい研究コミュニティに向けて公開されました。賞品の詳細は発表時点で今後案内される予定とされています。

編集部の整理としては、手元での試行と非公開テストセットでの評価を分けて進めたい場合、GitHubの公開タスクで試してからple-bench.comに提出する順序が考えられます。非公開テストセットでの評価は、ple-bench.comへの提出によって受ける形だからです。

Physical-Engineering's Last Examのベースライン結果

Google AI & Infrastructure teamは、14の最前線のモデルを、公開されている7つのエージェントハーネスでPLEにかけました。使ったハーネスは、AntigravityやClaude Code、Codex、Hermes、OpenCode、OpenHands、Piです。^[1]

図7　PLEのベースライン評価の条件

Google AI & Infrastructure teamは、ベースライン結果が現行のモデルと実世界の工学要件の大きな隔たりを示したとしています。非公開テストセットでは、すべての最前線のモデルのスコアが50%を下回り、最も成績のよいモデルでも本来のハーネスでの平均スコアは48.3%です。

安全性・実現可能性チェックの全項目合格率

最高スコアのエージェント構成は、Co-authored tasksで個別の制約の91%を満たしました。一方で、必要な厳格な安全と実現可能性のチェックにすべて合格した成果物は41.3%でした。

図8　Co-authored tasksでの最高スコア構成の結果

PLEの結果でエージェント構成を比べる場合は、平均スコアと並べて、全チェックに合格した成果物の割合が示されているかも確かめるのが編集部の整理です。最高スコアの構成でも、Co-authored tasksでは、個別の制約の充足率と、必要な厳格な安全性・実現可能性チェックすべてに合格した成果物の割合に差がありました。

モデルによる性能の差

性能を大きく左右したのは、ハーネスよりもモデルの選択でした。モデル間では最大50ポイントの差が出た一方、同じモデルでのハーネス間の差は中央値で3ポイントにとどまりました。

図9　PLEの結果に表れたモデルとハーネスの差

PLEでエージェント構成を比べる場合は、まずモデルの違いを比べ、ハーネスは実行コストの違いとして確かめる順序が編集部の整理です。発表時点のベースラインでは、ハーネスが実行コストに大きく影響したためです。