AWSがEMR on EKSでSparkトラブルシューティングエージェントに対応、失敗ジョブの原因分析を自然言語で依頼可能に

公開：2026年7月13日更新：2026年7月13日

CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

AWSは2026年7月10日、Amazon EMR on EKSでApache Sparkのトラブルシューティングエージェントに対応したと発表しました。失敗したジョブについて自然言語で診断を依頼でき、コードに起因する問題が検出された場合はPySparkのコード推奨も提示されます。

Sparkトラブルシューティングエージェント対応のポイント
何が発表されたのか（EMR on EKSへの対応追加）
何を解析して原因候補を分析するのか
対象範囲と境界（失敗ジョブ・言語・リージョン）
利用方法（コンソールとMCP）と権限・監査
提供リージョンと料金
今回の発表の概要
trends編集部の一言
References

Sparkトラブルシューティングエージェント対応のポイント

まず、今回の発表の要点を、次のとおり整理しました。

EMR on EKSがSparkトラブルシューティングエージェントに対応
失敗ジョブを自然言語で診断、条件付きでコード推奨も提示
EMR on EC2・EMR Serverless・EMR on EKSが対象
コンソールの「Troubleshoot with AI」とMCPから利用
操作は読み取り専用でCloudTrailに記録
SageMaker Unified Studio提供リージョンで利用可能

本記事は公表時点の情報にもとづきます。仕様や提供状況、料金は変わる可能性があります。

導入や利用の判断は各自の責任で公式情報の最新の内容をご確認ください。設定変更やアップデートを行う場合は、必ず事前にバックアップを取得し、検証環境で確認したうえで実施してください。

何が発表されたのか（EMR on EKSへの対応追加）

AWSは、Amazon EMR on EKSでApache Sparkのトラブルシューティングエージェントを利用できるようにしました。データエンジニアは、EMR on EKSのジョブ失敗を自然言語で診断でき、根本原因の分析を受けられます。

コードに起因する問題を検出した場合は、PySparkのコード推奨もあわせて提示されます。ただし、この機能は分析と推奨を行うものであり、原因の特定や自動修正、自動再実行を保証するものではありません。

従来、失敗の切り分けには分散したログとSpark History Serverのデータを手作業でたどる必要がありました。AWSは、その手作業なしで原因分析やコード推奨を得やすくなる点を今回の要点として示しています。

今回の対応により、エージェントがカバーするEMRのデプロイ形態は次の3つになりました。

EMR on EC2
EMR Serverless
EMR on EKS（今回追加）

AWSはこれを「すべてのEMRデプロイ形態をカバーする」と表現しています。つまり今回の発表は、新しいエージェントの登場ではなく、EMR on EKSという最後のデプロイ形態への対応追加です。

Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

何を解析して原因候補を分析するのか

エージェントは、Spark History Serverのデータ、分散したエグゼキューターのログ、クラスター構成を解析します。これらを突き合わせて、失敗や性能問題の原因を推定する仕組みです。

分析対象としてAWSが挙げる問題の例は、次のとおりです。

メモリエラー
データスキュー（処理の偏り）
リソース競合
接続の失敗

公式のFeatures and Capabilitiesによると、EMR on EKSのワークロードを分析する際、エージェントはEMR Persistent UIへ接続してSparkの主要な情報を取得しようとします。取得した情報にエラーのスタックトレースや設定内容を加えたうえで、原因の説明と対処手順を提示する流れです。

コードに起因する問題を検出した場合は、変更箇所を示すコード推奨もあわせて返ります。完全な分析を実行せずに、コードレベルの提案だけを求めることも可能です。

なお、ここで挙げた4つはAWSが示した例であり、分析対象の完全な一覧ではありません。解析の流れと構成要素は、公式ドキュメントのArchitecture Overviewの節で確認できます。

このセクションの用語

Spark History Server: Sparkアプリケーションが永続ストレージへ出力したイベントログを読み込み、ジョブ、ステージ、タスクなどの実行履歴をWeb UIで確認できるようにするコンポーネント。
データスキュー: 分散処理で特定のパーティションにデータが偏り、一部のタスクだけ処理時間が延びたり失敗したりする状態。
EMR Persistent UI: クラスターやジョブの終了後もSparkの実行履歴を参照できる、Amazon EMRのオフクラスターの画面。参照できる範囲や期間には制限があり、公式ドキュメントに考慮事項が示されている。

対象範囲と境界（失敗ジョブ・言語・リージョン）

エージェントを使ううえでの前提は、公式ドキュメントに整理されています。押さえておきたい制約は次の4点です。

応答の対象は失敗したワークロードのみ
解析対象の言語はPythonとScala
コード推奨はPySparkのワークロード限定
リージョン単位で動作しクロスリージョン非対応

公式ドキュメントによると、解析対象の言語はPythonとScalaのSparkアプリケーションで、コード推奨の対象はPySparkのワークロードに限られます。今回のEMR on EKS向け発表でコード推奨として明記されているのもPySparkです。

エージェントはリージョン単位で動作し、同じリージョンのEMRリソースを使って診断します。クロスリージョンのトラブルシューティングには対応していません。

ただし、ここでいうクロスリージョン非対応は、別リージョンのEMRリソースを対象に診断できないという意味です。自然言語リクエストの処理と応答の生成にはAmazon Bedrockのクロスリージョン推論が使われ、入力プロンプトと出力結果が暗号化されたうえで別のAWSリージョンへ送信される場合があります。

公式ドキュメントは、クロスリージョン推論を使ってもSparkアプリケーションやトラブルシューティング機能のホスト先、保存データの場所は変わらないと明記しています。多くのリージョンでは同じ地理区分内のリージョンで推論が処理されますが、シンガポール、シドニー、カナダ中部、サンパウロではグローバルクロスリージョン推論が使われ、他の商用AWSリージョンへ送信される場合があります。

データ所在地の要件がある場合は、公式ドキュメントのCross-Region Processingの項目で推論先リージョンの一覧を確認してください。

また、応答が返るのは失敗したワークロードだけです。対象言語や失敗ワークロード限定などの条件は、公式ドキュメントのScope of Spark Troubleshootingの項目で確認できます。

Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

利用方法（コンソールとMCP）と権限・監査

利用の入口は、次の2つです。

EMR on EKSコンソールの「Troubleshoot with AI」
MCP経由の対応AIコーディングエージェント

コンソールでは、失敗したジョブに表示される「Troubleshoot with AI」から直接呼び出せます。MCPを使う場合は、手元のAIコーディングエージェントにMCPサーバーを設定して利用を開始します。

AWSが挙げる対応クライアントの例は、Kiro、Claude Code、Cursorです。公式ドキュメントによると、この仕組みはAIアシスタント、MCP Proxy for AWS、Amazon SageMaker Unified StudioのリモートMCPサーバーという3要素で構成されます。

権限まわりでは、操作がすべて読み取り専用で、IAMロールによる認証を伴い、AWS CloudTrailに記録されます。診断のためにジョブや設定が書き換えられることはありません。

このセクションの用語

MCP（Model Context Protocol）: AIコーディングエージェントなどのクライアントが、外部のツールやデータ源へ標準化された手順で接続するためのプロトコル。
MCP Proxy for AWS: クライアントとAWSサービスの間で、安全な通信と認証を仲介するコンポーネント。AWSがGitHubで公開するクライアント側のパッケージ。
AWS CloudTrail: ユーザー、ロール、AWSサービスによるアカウント内のアクティビティをイベントとして記録し、誰がいつ何を操作したかを後から追跡できるようにするサービス。

提供リージョンと料金

EMR on EKS向けのSparkトラブルシューティングエージェントは、Amazon SageMaker Unified Studioが提供されているすべてのAWSリージョンで利用できます。公式ドキュメントは、対象リージョンを地域別に列挙しています。

対象は、アジアパシフィック（東京・ソウルなど）、カナダ、欧州、南米、米国の各地域にあるリージョンです。地域別の完全な一覧は、公式ドキュメントのAvailable Regionsの一覧で確認できます。

料金について、公式ドキュメントはエージェントをAmazon EMRの一部として追加料金なしで提供すると記載しています。課金対象は、推奨された修正を検証するために実行したEMRリソースの利用分です。

今回の発表の概要

今回の発表の要点を、次の表にまとめました。

項目	詳細
提供元	AWS
発表日	2026年7月10日
対象サービス	Amazon EMR on EKS
対象デプロイ形態	EMR on EC2・EMR Serverless・EMR on EKS
解析対象	Spark History Server・エグゼキューターログ・クラスター構成
検出できる問題の例	メモリエラー・データスキュー・リソース競合・接続失敗
利用方法	コンソールの「Troubleshoot with AI」とMCP
対応クライアント例	Kiro・Claude Code・Cursor
セキュリティ	読み取り専用・IAMロール認証・CloudTrail記録
提供リージョン	SageMaker Unified Studio提供の全AWSリージョン
料金	Amazon EMRの一部として追加料金なし
提供状態	利用可能（GA・プレビューの明記なし）