【Python】selenium以外でブラウザ操作を行う2つの方法

公開：2025年5月26日更新：2026年4月6日

CodeCampが提供するDX人材育成が可能なプログラミングやITが学べる公開講座

Pythonのselenium以外でブラウザ操作を行う方法
PythonのPlaywrightでブラウザを操作する方法
PythonのrequestsとBeautifulSoupでブラウザを操作する方法

Pythonのselenium以外でブラウザ操作を行う方法

PythonでWebブラウザの自動操作を行う場合、Seleniumよりも高速で信頼性が高いPlaywrightや、JavaScriptの実行が可能なPyppeteer、静的サイトのデータ取得に適したrequestsとBeautifulSoupの組み合わせなどが主要な選択肢として挙げられます。Playwrightはマイクロソフトが提供するオープンソースのエンドツーエンドテスト自動化フレームワークで、Chromium、Firefox、WebKitといった複数のブラウザエンジンに対応し、自動待機機能も備わっているため、複雑なブラウザ操作でも確実な実行が可能です。

【サンプルコード】
# Playwrightの基本的なブラウザ操作
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')
    print(page.title())
    browser.close()

Seleniumが依存ライブラリが多く設定が複雑で実行速度が遅いという課題を抱えているのに対し、Playwrightは自動テストコード機能が実装されているため、スキルが高くない方にもテストコードのひな型作成が容易になっています。requestsとBeautifulSoupを使用した方法は静的なWebサイトからのデータ抽出に優れ、HTMLの解析が容易で軽量なアプローチですが、JavaScriptで動的に生成されるコンテンツには対応できません。

PuppeteerのPython移植版であるPyppeteerは、JavaScriptを使用して生成されるSPA（シングルページアプリケーション）などからのデータ取得が可能ですが、Pyppeteerプロジェクトは現在メンテナンス段階で積極的に維持されておらず、最新版の動作に問題があるため、現在は代替手段としてPlaywrightが推奨されています。

Python研修一覧はこちら

目的に合うPython研修を一覧形式から探したい方は、ぜひご利用ください。

Python研修を比較する

Java研修一覧はこちら

目的に合うJava研修を一覧形式から探したい方は、ぜひご利用ください。

Java研修を比較する

PHP研修一覧はこちら

目的に合うPHP研修を一覧形式から探したい方は、ぜひご利用ください。

PHP研修を比較する

新入社員研修

目的に合う新入社員研修を一覧形式から探したい方は、ぜひご利用ください。

新入社員研修を比較する

全ての研修からも探したい方はこちら

PythonのPlaywrightでブラウザを操作する方法

PlaywrightはMicrosoftが2020年に発表したテストツールで、Seleniumなどの従来ツールが抱える制約を克服する目的で開発され、より高速かつ信頼性の高いテスト実行をサポートしています。Playwrightにはブラウザ操作でのコード生成機能が搭載されており、実際のブラウザ操作を記録してコードを自動生成できるため、プログラミング初心者でも容易にブラウザ自動化のコードを作成できます。

【サンプルコード】
# Playwrightのコード自動生成コマンド
playwright codegen https://example.com -o test.py

# 生成されたコードの例
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto("https://example.com")

Playwrightでは要素が存在しないときに自動的に待ってくれる「Auto-waiting機能」があるため、明示的な待機処理を省略してシンプルな記述で高度なブラウザ操作が可能になります。PlaywrightはChromium、Firefox、WebKitの各ブラウザに対応し、ヘッドレスモードや複数のブラウザコンテキストの同時操作もサポートしているため、クロスブラウザテストや並列処理による効率的なテスト実行が行えます。

Playwrightの準備段階では認証が必要なサイトで情報を保存し、次回実行時に読み込んで復元することで再度ログインしなくても認証済の状態にする機能も利用できます。PlayWright Browser ToolkitをLangChainのAgentと組み合わせることで、静的なサイトだけではなく動的にレンダリングされるサイトも操作することが可能になり、より高度な自動化処理を実現できます。

PythonのrequestsとBeautifulSoupでブラウザを操作する方法

requestsはHTTPリクエストを簡単に送信できるライブラリで、BeautifulSoupはHTMLを解析してデータを取得するパーサーライブラリとして連携して使用されます。requestsでHTMLを取得し、Beautiful SoupでHTMLのパース処理を行うのが基本的な使い方で、ブラウザを起動することなく軽量かつ高速にWebページからのデータ取得が可能です。

【サンプルコード】
import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('h2')
for title in titles:
    print(title.get_text())

requestsはurllib2よりも人が使いやすいように作られたエレガントでシンプルなPythonのHTTPライブラリとして評価されており、Beautiful SoupではCSSセレクターを使えばだいたいの要素の取得には対応でき、findやfind_allメソッドでHTMLタグの検索も可能です。この方法はHTTPリクエストを送信してHTMLデータを取得する静的なサイトのスクレイピングに適しているが、JavaScriptで動的に生成されるコンテンツには対応できないという制限があります。

urllib.request.urlopen関数でファイルを取得してBeautifulSoupオブジェクトを作成することで、Webページの内容を読み込んでデコードする処理を自動的に実行できます。requests.get()でWebページのHTMLを取得し、BeautifulSoupのselect()メソッドやfind_all()メソッドでDOM要素から必要な情報を抽出することによって、ブラウザを起動しない軽量なスクレイピング処理が実現できます。

※上記コンテンツの内容やソースコードはAIで確認・デバッグしておりますが、間違いやエラー、脆弱性などがある場合は、コメントよりご報告いただけますと幸いです。