【Python】BeautifulSoup版スクレイピングツール開発講座 第3章3.2節「選択機能の作成」

if-elif-else文による処理分岐機能の実装

前節(第3章 3.1節)で作成したコードを基盤として、if-elif-else文による処理選択機能を追加します。現在の無限ループ無限ループはプログラムが終了条件を満たさずに永続的に繰り返される状態で、意図的に作成される場合とプログラミングエラーの場合があります。では、プログラムプログラムはコンピュータに対して何をすべきかを指示する一連の命令です。を終了する手段が提供されていないため、ユーザーが処理を制御できる選択肢を実装する必要があります。

if-elif-else文を使用することによって、ユーザーの入力に応じて異なる処理の実行が可能です。この条件分岐条件分岐はプログラム内で指定した条件によって処理の分岐を行う制御構造です。により、継続・一時停止・終了の3つの選択肢を提供し、ユーザーがプログラムの動作を柔軟に制御できるようになります。各分岐では適切なメッセージを表示して、ユーザーに現在の状態を明確に伝えます。

また、lower()メソッドメソッドは特定の処理をまとめたプログラムの塊です。を使用することで、ユーザー入力の大文字小文字を統一して判定できます。この処理により、'Y'、'y'、'Yes'などの様々な入力形式に対応し、ユーザビリティを向上させます。

# コード
import requests
from bs4 import BeautifulSoup
import csv

# 継続実行機能
while True:
    # URL取得機能
    user_url = input("スクレイピングするURLを入力してください: ")
    print(f"入力されたURL: {user_url}")

    # HTMLデータを取得
    response = requests.get(user_url)
    print("HTMLデータ取得完了")
    print(f"データサイズ: {len(response.text)}文字")

    # HTML解析機能
    soup = BeautifulSoup(response.text, 'html.parser')
    print("HTML解析完了")
    print(f"解析結果タイプ: {type(soup)}")

    # 特定タグ抽出機能
    title_element = soup.find('title')
    print("タイトルタグ抽出完了")
    print(f"抽出要素: {title_element}")

    # 文字データ取得機能
    if title_element:
        title_text = title_element.text
        print("文字データ取得完了")
        print(f"タイトル: {title_text}")
    else:
        print("タイトルタグが見つかりません")
        title_text = "タイトル不明"

    # 複数要素抽出機能
    h2_elements = soup.find_all('h2')
    print(f"h2タグ抽出完了: {len(h2_elements)}個")

    # 繰り返し処理機能
    file = open("scraped_data.csv", 'a', newline='', encoding='utf-8')
    writer = csv.writer(file)
    
    for element in h2_elements:
        h2_text = element.text.strip()
        writer.writerow([h2_text, user_url])
        
    file.close()
    print("複数データ保存完了")
    
    # 処理分岐機能を追加
    choice = input("続けますか？ (y/n/q): ")
    
    if choice.lower() == 'y':
        print("次のURLを入力してください")
    elif choice.lower() == 'n':
        print("一時停止します")
    else:
        print("プログラムを終了します")

# 実行結果
入力されたURL: https://trends.codecamp.jp/
HTMLデータ取得完了
データサイズ: 358677文字
HTML解析完了
解析結果タイプ: <class 'bs4.BeautifulSoup'>
タイトルタグ抽出完了
抽出要素: <title>

        IT・プログラミング情報のコネクトメディア「trends.」(トレンズ)

</title>
文字データ取得完了
タイトル:

        IT・プログラミング情報のコネクトメディア「trends.」(トレンズ)


h2タグ抽出完了: 19個
複数データ保存完了
続けますか？ (y/n/q): y
次のURLを入力してください
スクレイピングするURLを入力してください: https://codecamp.jp/
入力されたURL: https://codecamp.jp/
HTMLデータ取得完了
データサイズ: 62329文字
HTML解析完了
解析結果タイプ: <class 'bs4.BeautifulSoup'>
タイトルタグ抽出完了
抽出要素: <title>DX人材育成ならCodeCamp（コードキャンプ）</title>
文字データ取得完了
タイトル: DX人材育成ならCodeCamp（コードキャンプ）
h2タグ抽出完了: 6個
複数データ保存完了
続けますか？ (y/n/q): q
プログラムを終了します
スクレイピングするURLを入力してください: