CANVAS LAB デキるシゴトを増やすメディア
Python WEBスクレイピング入門|注意点と手順をコード付き解説
2022.06.08
Pythonを覚えたら最初に挑戦したいことの一つがWEBスクレイピングです。WEBサイトから必要な情報を指定して自動取得する技術で、Pythonなら情報の収集から整理までを比較的簡単に構築できます。
この記事の要点
- WEBスクレイピングとは、WEBサイト上の情報をプログラムで自動的に取得する技術である。PythonではBeautiful Soupを使えば数行のコードで始められる。
- 実行前の確認は3点。公式APIの有無、利用規約とrobots.txt、アクセス間隔。この順に確認すれば法的・技術的な事故はほぼ防げる。
- 検証環境はPython 3.12/Beautiful Soup 4.12(2026年10月時点の推奨安定版)。インストールは
pip install beautifulsoup4の1行で完了する。 - データ取得は
select()とselect_one()の2メソッドが基本。CSSセレクタの書き方がわかれば大半の用途に対応できる。 - 株式会社キャンバスは2012年の創業以来、AI活用支援・システム開発を含め累計1500件超の制作・支援実績を重ねている。
Pythonはもともとデータ収集・分析に適した言語です。スクレイピングを習得すれば、手動業務の自動化やマーケティング業務の効率化、アイデア次第で新サービス開発にもつながります。近年は取得データを生成AIと組み合わせる活用も広がっており、中小企業のAI導入の第一歩としても有効です。この記事では、実行前の注意点から実装手順・サンプルコードまでを2026年10月時点の環境で解説します。
【編集・監修】キャンバスラボ編集チーム(運営:株式会社キャンバス/2012年創業・第15期)。AI活用支援・体験型デジタルコンテンツ開発・自社パッケージ(ぬりえスタジアム/バッティングヒーロー)を主力に、累計1500件超の制作・支援実績にもとづき編集しています。
目次
WEBスクレイピングとは?
WEBスクレイピングとは、WEBサイト上に公開されている情報を、人が手で開いてコピーする代わりにプログラムで自動的に取得する技術である。
対象ページのHTMLを取得し、必要な箇所だけを指定して抜き出す、という2段階で動きます。価格の定点観測、求人情報の集計、公開統計の取り込みなど、同じ作業をくり返す業務ほど効果が大きくなります。Pythonでできることの全体像はPythonでできること10選|活用事例と学習の始め方で整理しています。
スクレイピングを実行する前に確認すべきことは?
先に結論です。公式APIの有無 → 利用規約 → robots.txt → アクセス間隔の順に確認してください。この4点を押さえれば、実務で問題になるケースはほぼ避けられます。
Pythonによるスクレイピングは強力ですが、集めたデータの扱いには注意が必要です。使い方次第では、複製権(著作権法第21条)・公衆送信権(第23条)・翻訳権(第27条)などの著作権に抵触する恐れがあります。短時間の大量アクセスはサーバー負荷となり、相手の業務を妨げることにもなります。
| 確認順 | 確認すること | 確認方法 | NGだった場合 |
|---|---|---|---|
| 1 | 公式APIが用意されていないか | 対象サイトの開発者向けページを確認 | APIがあればスクレイピングより優先して使う |
| 2 | 利用規約で禁止されていないか | 利用規約の「禁止事項」を検索 | 禁止されていれば実行しない |
| 3 | robots.txtで拒否されていないか | https://対象ドメイン/robots.txtを開く |
Disallow該当パスは取得対象から除外 |
| 4 | アクセス間隔が十分か | 1リクエストごとに1秒以上の待機を入れる | 連続アクセスはサーバー負荷となるため必ず修正 |
| 5 | 取得データの二次利用範囲 | 社内分析のみか、外部公開を伴うかを整理 | 外部公開を伴う場合は権利処理を別途検討 |
データ活用時のセキュリティ設計はChatGPT API連携とは|セキュリティと導入手順、社内へ展開する際のつまずきどころはAI導入で失敗しない5つのチェックポイントもあわせてご確認ください。
Pythonを使ったWEBスクレイピングのやり方
ここでは、スクレイピングで定番のライブラリBeautiful Soupを使った手順を紹介します。Pythonでできることの全体像はPythonでできることとは?特徴や活用事例も参考になります。
動作環境
- Windows 11 / macOS
- Python 3.12(2026年10月時点の推奨安定版)
- Beautiful Soup 4.12
Beautiful Soupとは
Beautiful Soupは、HTMLやXMLからデータを取得するためのPythonライブラリです。少ない記述で目的の要素を抽出できます。
インストール
以下のコマンドを実行してインストールします。
pip install beautifulsoup4
使い方
まずBeautiful Soupをインポートします。
from bs4 import BeautifulSoup
次に、解析対象のHTMLを用意します(ここではサンプルとして簡易的なHTMLを使用します)。
html = '''
<div class="linkArea">
<div class="linkList"><a href="/news/" class="ro">NEWS</a></div>
<div class="linkList"><a href="/work/" class="ro">WORKS</a>
<div class="linkDetail">
<a href="/work/?type=app" class="ro">アプリ開発</a>
<a href="/work/?type=space-art" class="ro">空間演出型デジタルアート</a>
<a href="/work/?type=web" class="ro">WEB</a>
</div>
</div>
<div class="linkList"><a href="/journal/" class="ro">LAB</a></div>
<div class="linkList contact"><a href="/inquiry/" class="ro">CONTACT</a></div>
</div>
'''
HTMLからBeautiful Soupオブジェクトを作成します。
soup = BeautifulSoup(html, 'html.parser')
CSSセレクタでデータを取得する
select()メソッドは、セレクタにマッチする複数のタグを返します。
# .linkList > a にマッチするタグ
tags = soup.select('.linkList > a')
for t in tags:
print(t.get_text())
# NEWS
# WORKS
# LAB
# CONTACT
# .linkList .linkDetail a にマッチするタグ
tags = soup.select('.linkList .linkDetail a')
for t in tags:
print(t.get_text())
# アプリ開発
# 空間演出型デジタルアート
# WEB
select_one()メソッドは、マッチする最初のタグだけを返します。
tag = soup.select_one('.linkList > a')
print(tag.get_text())
# NEWS
取得したデータの活用例
取得したテキストやリンクはCSV・スプレッドシートへ書き出し、集計や可視化に使えます。近年は取得データを生成AIに要約・分類させる使い方も一般的です。AIの基礎技術に触れたい方は形態素解析とは|仕組みとPythonでの実装例、活用事例は中小企業のAI活用事例5選|業種別の導入効果をご覧ください。
取得したデータは業務でどう活かせる?
結論は、「集める」で終わらせず「判断に使う」までを設計することです。
取得したテキストやリンクはCSV・スプレッドシートへ書き出し、集計や可視化に使えます。ここまでは個人のスクリプトでも十分です。業務として定着させる段階では、実行の自動化(定期実行)、取得失敗時の通知、データの保管場所の3点を決めておく必要があります。
キャンバスがAI活用支援で関わる案件でも、最初の相談は「スクリプトは動いたが運用に乗らない」という内容が多くあります。収集したデータを生成AIで分類・要約し、担当者が毎朝確認できる形に整えるところまで設計すると、手作業が実際に減ります。導入の進め方は中小企業のAI導入ロードマップ|3ヶ月で成果を出す手順が参考になります。仕組みの設計・実装を外部に任せる場合はAI・システム開発、社内アプリとして使う形にするならアプリ開発をご覧ください。
PythonのWEBスクレイピングを情報解析に役立てよう
今回はPythonとBeautiful SoupによるWEBスクレイピングの手順を紹介しました。Beautiful Soupを使えば、少ない記述でWEBページからの情報収集・データ解析・抽出が可能です。習得すれば社内の手作業を自動化でき、アイデア次第で新しい商品・サービス開発にもつながります。著作権とサーバー負荷に十分注意しながら、まずは小さなスクリプトから練習してみてください。
収集・解析したデータを業務改善やDXにどう活かすかは、DXとは?中小企業が取り組むべき理由と進め方やBtoB中小企業向けSEO対策が参考になります。
よくある質問
Q. WEBスクレイピングは違法ですか?
A. 技術そのものは違法ではありません。ただし取得したデータの扱い方によって、複製権(著作権法第21条)・公衆送信権(第23条)・翻訳権(第27条)などに抵触する可能性があります。対象サイトの利用規約とrobots.txtを確認し、取得データを無断で再公開しないことが前提です。
Q. PythonでWEBスクレイピングを始めるには何が必要ですか?
A. Python本体とBeautiful Soupだけです。pip install beautifulsoup4を実行すればインストールが完了します。2026年10月時点ではPython 3.12とBeautiful Soup 4.12の組み合わせが安定しています。
Q. Beautiful SoupとSeleniumはどう使い分けますか?
A. HTMLがサーバー側で組み立てられている静的なページはBeautiful Soupで十分です。JavaScriptで描画されるページはHTMLに中身が入っていないため、ブラウザを操作するSeleniumやPlaywrightが必要になります。まずはBeautiful Soupで試し、取得できなければ描画方式を疑ってください。
Q. robots.txtはどこで確認できますか?
A. 対象サイトのドメイン直下です。たとえばhttps://example.com/robots.txtにアクセスすると、クロールを許可・禁止しているパスが記載されています。Disallowに該当するパスは取得を避けてください。
Q. アクセス間隔はどれくらい空けるべきですか?
A. 法律上の固定値はありませんが、1リクエストごとに1秒以上空けるのが実務上の一般的な配慮です。短時間の大量アクセスは相手のサーバー負荷となり、業務妨害と判断されるリスクもあります。
Q. 取得したデータは何に使えますか?
A. CSVやスプレッドシートに書き出して集計・可視化するのが基本です。近年は取得データを生成AIに要約・分類させ、調査レポートの下書きまで自動化する使い方も広がっています。
この記事を書いた会社について
スクリプトで終わらせず、業務が回る仕組みにします
株式会社キャンバス(キャンバスラボ)は2012年の創業以来、AI活用支援・システム開発を含め累計1500件超を手がけてきました。データ収集の自動化から、取得したデータを生成AIで分類・要約する社内業務の仕組み化まで、設計・実装・運用をまとめてご相談いただけます。
関連記事
- Pythonでできること10選|活用事例と学習の始め方
- 形態素解析とは|仕組みとPythonでの実装例を解説
- 中小企業がAIを導入すべき理由|業務効率化から営業強化まで
- 中小企業のAI活用事例5選|業種別の導入効果と失敗しないコツ
- ChatGPT API連携とは|セキュリティと導入手順を解説
- 中小企業のAI導入ロードマップ|3ヶ月で成果を出す手順
運営:株式会社キャンバス(canvas-works.jp)— AIを前提に価値をつくるデジタルクリエイティブ/システム開発企業。体験型コンテンツ開発・AI開発・自社パッケージ(ぬりえスタジアム/バッティングヒーロー/デジスポ/フライングペイント/フォトフォトAI/ディノコア創世記)を展開。
最終更新:2026年10月19日/キャンバスラボ(運営:株式会社キャンバス、2012年創業・第15期)。AI・体験型デジタルコンテンツ・自社パッケージ領域で累計1500件超の実績。データ活用のご相談はお問い合わせから。