Beautiful Soupとは？Pythonスクレイピングの定番ライブラリを基礎から実践まで解説

pip install beautifulsoup4

pip install beautifulsoup4 lxml

conda install beautifulsoup4

from bs4 import BeautifulSoup
print(BeautifulSoup("<p>test</p>", "html.parser").p.string)
# 出力: test

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url)
response.encoding = response.apparent_encoding  # 文字化け防止

html = response.text

with open("sample.html", encoding="utf-8") as f:
    html = f.read()

soup = BeautifulSoup(html, "html.parser")

# タイトルを取得
title = soup.title.string
print(title)

# 最初のh1タグを取得
h1 = soup.h1
print(h1.text)

# タグ名で検索
first_p = soup.find("p")

# class属性で検索
header = soup.find("div", class_="header")

# id属性で検索
main = soup.find("div", id="main-content")

# 複数の属性で検索
item = soup.find("span", attrs={"data-type": "price", "class": "amount"})

element = soup.find("div", class_="target")
if element:
    print(element.text)

# すべてのaタグを取得
links = soup.find_all("a")
for link in links:
    print(link.get("href"))

# 複数のタグを一度に検索
headers = soup.find_all(["h2", "h3"])

# 件数を制限
first_three = soup.find_all("li", limit=3)

# 正規表現で検索
import re
tags_with_b = soup.find_all(re.compile("^b"))  # b, body, br など

# クラス名で指定
items = soup.select(".item-list li")

# IDで指定
content = soup.select_one("#main-content")

# 属性セレクタ
external_links = soup.select('a[href^="https://"]')

# 子孫セレクタ
nested = soup.select("div.container > ul > li")

# n番目の要素
third_item = soup.select_one("ul li:nth-of-type(3)")

element = soup.find("p")

# .string — 直接の子テキストが1つだけの場合
print(element.string)

# .text / get_text() — 子孫要素のテキストをすべて結合
print(element.text)
print(element.get_text())

# 区切り文字を指定して取得
print(element.get_text(separator="\n"))

# 前後の空白を除去
print(element.get_text(strip=True))

link = soup.find("a")

# 辞書形式でアクセス
href = link["href"]

# getメソッド（属性がなくてもエラーにならない）
href = link.get("href")
class_names = link.get("class", [])  # デフォルト値を指定可能

# すべての属性を辞書として取得
attrs = link.attrs
print(attrs)  # {'href': '...', 'class': ['...'], 'id': '...'}

element = soup.find("li")

# 親要素
parent = element.parent

# すべての先祖要素
for ancestor in element.parents:
    print(ancestor.name)

# 子要素のリスト
children = list(element.children)

# すべての子孫要素
for desc in element.descendants:
    print(desc)

# 次の兄弟要素
next_sib = element.next_sibling

# 前の兄弟要素
prev_sib = element.previous_sibling

# テキストノードをスキップしてHTMLタグの兄弟を取得
next_tag = element.find_next_sibling()

table = soup.find("table")
rows = table.find_all("tr")

data = []
for row in rows:
    cells = row.find_all(["th", "td"])
    row_data = [cell.get_text(strip=True) for cell in cells]
    data.append(row_data)

# ヘッダー行とデータ行を分離
headers = data[0]
body = data[1:]

import csv

with open("output.csv", "w", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow(headers)
    writer.writerows(body)

import pandas as pd

tables = pd.read_html(str(soup))  # ページ内の全テーブルをDataFrameのリストで取得
df = tables[0]                     # 最初のテーブルを使用
print(df.head())

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get("https://example.com/dynamic-page")

# JavaScriptの実行完了を待機
import time
time.sleep(3)

# レンダリング後のHTMLを取得
html = driver.page_source
driver.quit()

# Beautiful Soupで解析
soup = BeautifulSoup(html, "html.parser")
items = soup.find_all("div", class_="item")

response = requests.get(url)

# 方法1: apparent_encodingを使用（自動判定）
response.encoding = response.apparent_encoding

# 方法2: 明示的に指定
response.encoding = "utf-8"
# または
response.encoding = "shift_jis"

# エンコーディングを直接指定して解析
soup = BeautifulSoup(response.content, "html.parser", from_encoding="shift_jis")

import time

urls = ["https://example.com/page1", "https://example.com/page2"]
for url in urls:
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")
    # データ処理...
    time.sleep(1)  # 1秒以上の間隔を空ける

import requests
from bs4 import BeautifulSoup
import csv
import time

def scrape_headlines(url):
    """指定URLからニュースの見出しとリンクを取得する"""
    headers = {"User-Agent": "Mozilla/5.0 (compatible; MyBot/1.0)"}
    response = requests.get(url, headers=headers)
    response.encoding = response.apparent_encoding

    soup = BeautifulSoup(response.text, "html.parser")

    headlines = []
    for article in soup.find_all("article"):
        title_tag = article.find(["h2", "h3"])
        link_tag = article.find("a")

        if title_tag and link_tag:
            headlines.append({
                "title": title_tag.get_text(strip=True),
                "url": link_tag.get("href", "")
            })

    return headlines

def save_to_csv(data, filename="headlines.csv"):
    """取得したデータをCSVファイルに保存する"""
    with open(filename, "w", encoding="utf-8", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=["title", "url"])
        writer.writeheader()
        writer.writerows(data)

# 実行
results = scrape_headlines("https://example.com/news")
save_to_csv(results)
print(f"{len(results)}件の見出しを取得しました")

from lxml import etree

# Beautiful Soupの結果をlxmlに変換
dom = etree.HTML(str(soup))
elements = dom.xpath('//div[@class="target"]/p')