CANVAS LAB

Python WEBスクレイピング入門|注意点と手順をコード付き解説

2022.06.08

Python WEBスクレイピング入門|注意点と手順をコード付き解説

Pythonを覚えたら最初に挑戦したいことの一つがWEBスクレイピングです。WEBサイトから必要な情報を指定して自動取得する技術で、Pythonなら情報の収集から整理までを比較的簡単に構築できます。

この記事の要点

  • WEBスクレイピングとは、WEBサイト上の情報をプログラムで自動的に取得する技術である。PythonではBeautiful Soupを使えば数行のコードで始められる。
  • 実行前の確認は3点。公式APIの有無、利用規約とrobots.txt、アクセス間隔。この順に確認すれば法的・技術的な事故はほぼ防げる。
  • 検証環境はPython 3.12/Beautiful Soup 4.12(2026年10月時点の推奨安定版)。インストールはpip install beautifulsoup4の1行で完了する。
  • データ取得はselect()とselect_one()の2メソッドが基本。CSSセレクタの書き方がわかれば大半の用途に対応できる。
  • 株式会社キャンバスは2012年の創業以来、AI活用支援・システム開発を含め累計1500件超の制作・支援実績を重ねている。

Pythonはもともとデータ収集・分析に適した言語です。スクレイピングを習得すれば、手動業務の自動化やマーケティング業務の効率化、アイデア次第で新サービス開発にもつながります。近年は取得データを生成AIと組み合わせる活用も広がっており、中小企業のAI導入の第一歩としても有効です。この記事では、実行前の注意点から実装手順・サンプルコードまでを2026年10月時点の環境で解説します。

【編集・監修】キャンバスラボ編集チーム(運営:株式会社キャンバス/2012年創業・第15期)。AI活用支援・体験型デジタルコンテンツ開発・自社パッケージ(ぬりえスタジアム/バッティングヒーロー)を主力に、累計1500件超の制作・支援実績にもとづき編集しています。

WEBスクレイピングとは?

WEBスクレイピングとは、WEBサイト上に公開されている情報を、人が手で開いてコピーする代わりにプログラムで自動的に取得する技術である。

対象ページのHTMLを取得し、必要な箇所だけを指定して抜き出す、という2段階で動きます。価格の定点観測、求人情報の集計、公開統計の取り込みなど、同じ作業をくり返す業務ほど効果が大きくなります。Pythonでできることの全体像はPythonでできること10選|活用事例と学習の始め方で整理しています。

スクレイピングを実行する前に確認すべきことは?

先に結論です。公式APIの有無 → 利用規約 → robots.txt → アクセス間隔の順に確認してください。この4点を押さえれば、実務で問題になるケースはほぼ避けられます。

Pythonによるスクレイピングは強力ですが、集めたデータの扱いには注意が必要です。使い方次第では、複製権(著作権法第21条)・公衆送信権(第23条)・翻訳権(第27条)などの著作権に抵触する恐れがあります。短時間の大量アクセスはサーバー負荷となり、相手の業務を妨げることにもなります。

確認順 確認すること 確認方法 NGだった場合
1 公式APIが用意されていないか 対象サイトの開発者向けページを確認 APIがあればスクレイピングより優先して使う
2 利用規約で禁止されていないか 利用規約の「禁止事項」を検索 禁止されていれば実行しない
3 robots.txtで拒否されていないか https://対象ドメイン/robots.txtを開く Disallow該当パスは取得対象から除外
4 アクセス間隔が十分か 1リクエストごとに1秒以上の待機を入れる 連続アクセスはサーバー負荷となるため必ず修正
5 取得データの二次利用範囲 社内分析のみか、外部公開を伴うかを整理 外部公開を伴う場合は権利処理を別途検討

データ活用時のセキュリティ設計はChatGPT API連携とは|セキュリティと導入手順、社内へ展開する際のつまずきどころはAI導入で失敗しない5つのチェックポイントもあわせてご確認ください。

Pythonを使ったWEBスクレイピングのやり方

ここでは、スクレイピングで定番のライブラリBeautiful Soupを使った手順を紹介します。Pythonでできることの全体像はPythonでできることとは?特徴や活用事例も参考になります。

動作環境

  • Windows 11 / macOS
  • Python 3.12(2026年10月時点の推奨安定版)
  • Beautiful Soup 4.12

Beautiful Soupとは

Beautiful Soupは、HTMLやXMLからデータを取得するためのPythonライブラリです。少ない記述で目的の要素を抽出できます。

インストール

以下のコマンドを実行してインストールします。

pip install beautifulsoup4

使い方

まずBeautiful Soupをインポートします。

from bs4 import BeautifulSoup

次に、解析対象のHTMLを用意します(ここではサンプルとして簡易的なHTMLを使用します)。

html = '''
<div class="linkArea">
  <div class="linkList"><a href="/news/" class="ro">NEWS</a></div>
  <div class="linkList"><a href="/work/" class="ro">WORKS</a>
    <div class="linkDetail">
      <a href="/work/?type=app" class="ro">アプリ開発</a>
      <a href="/work/?type=space-art" class="ro">空間演出型デジタルアート</a>
      <a href="/work/?type=web" class="ro">WEB</a>
    </div>
  </div>
  <div class="linkList"><a href="/journal/" class="ro">LAB</a></div>
  <div class="linkList contact"><a href="/inquiry/" class="ro">CONTACT</a></div>
</div>
'''

HTMLからBeautiful Soupオブジェクトを作成します。

soup = BeautifulSoup(html, 'html.parser')

CSSセレクタでデータを取得する

select()メソッドは、セレクタにマッチする複数のタグを返します。

# .linkList > a にマッチするタグ
tags = soup.select('.linkList > a')
for t in tags:
    print(t.get_text())
# NEWS
# WORKS
# LAB
# CONTACT
# .linkList .linkDetail a にマッチするタグ
tags = soup.select('.linkList .linkDetail a')
for t in tags:
    print(t.get_text())
# アプリ開発
# 空間演出型デジタルアート
# WEB

select_one()メソッドは、マッチする最初のタグだけを返します。

tag = soup.select_one('.linkList > a')
print(tag.get_text())
# NEWS

取得したデータの活用例

取得したテキストやリンクはCSV・スプレッドシートへ書き出し、集計や可視化に使えます。近年は取得データを生成AIに要約・分類させる使い方も一般的です。AIの基礎技術に触れたい方は形態素解析とは|仕組みとPythonでの実装例、活用事例は中小企業のAI活用事例5選|業種別の導入効果をご覧ください。

取得したデータは業務でどう活かせる?

結論は、「集める」で終わらせず「判断に使う」までを設計することです。

取得したテキストやリンクはCSV・スプレッドシートへ書き出し、集計や可視化に使えます。ここまでは個人のスクリプトでも十分です。業務として定着させる段階では、実行の自動化(定期実行)、取得失敗時の通知、データの保管場所の3点を決めておく必要があります。

キャンバスがAI活用支援で関わる案件でも、最初の相談は「スクリプトは動いたが運用に乗らない」という内容が多くあります。収集したデータを生成AIで分類・要約し、担当者が毎朝確認できる形に整えるところまで設計すると、手作業が実際に減ります。導入の進め方は中小企業のAI導入ロードマップ|3ヶ月で成果を出す手順が参考になります。仕組みの設計・実装を外部に任せる場合はAI・システム開発、社内アプリとして使う形にするならアプリ開発をご覧ください。

PythonのWEBスクレイピングを情報解析に役立てよう

今回はPythonとBeautiful SoupによるWEBスクレイピングの手順を紹介しました。Beautiful Soupを使えば、少ない記述でWEBページからの情報収集・データ解析・抽出が可能です。習得すれば社内の手作業を自動化でき、アイデア次第で新しい商品・サービス開発にもつながります。著作権とサーバー負荷に十分注意しながら、まずは小さなスクリプトから練習してみてください。

収集・解析したデータを業務改善やDXにどう活かすかは、DXとは?中小企業が取り組むべき理由と進め方やBtoB中小企業向けSEO対策が参考になります。

よくある質問

Q. WEBスクレイピングは違法ですか?

A. 技術そのものは違法ではありません。ただし取得したデータの扱い方によって、複製権(著作権法第21条)・公衆送信権(第23条)・翻訳権(第27条)などに抵触する可能性があります。対象サイトの利用規約とrobots.txtを確認し、取得データを無断で再公開しないことが前提です。

Q. PythonでWEBスクレイピングを始めるには何が必要ですか?

A. Python本体とBeautiful Soupだけです。pip install beautifulsoup4を実行すればインストールが完了します。2026年10月時点ではPython 3.12とBeautiful Soup 4.12の組み合わせが安定しています。

Q. Beautiful SoupとSeleniumはどう使い分けますか?

A. HTMLがサーバー側で組み立てられている静的なページはBeautiful Soupで十分です。JavaScriptで描画されるページはHTMLに中身が入っていないため、ブラウザを操作するSeleniumやPlaywrightが必要になります。まずはBeautiful Soupで試し、取得できなければ描画方式を疑ってください。

Q. robots.txtはどこで確認できますか?

A. 対象サイトのドメイン直下です。たとえばhttps://example.com/robots.txtにアクセスすると、クロールを許可・禁止しているパスが記載されています。Disallowに該当するパスは取得を避けてください。

Q. アクセス間隔はどれくらい空けるべきですか?

A. 法律上の固定値はありませんが、1リクエストごとに1秒以上空けるのが実務上の一般的な配慮です。短時間の大量アクセスは相手のサーバー負荷となり、業務妨害と判断されるリスクもあります。

Q. 取得したデータは何に使えますか?

A. CSVやスプレッドシートに書き出して集計・可視化するのが基本です。近年は取得データを生成AIに要約・分類させ、調査レポートの下書きまで自動化する使い方も広がっています。

この記事を書いた会社について

スクリプトで終わらせず、業務が回る仕組みにします

株式会社キャンバス(キャンバスラボ)は2012年の創業以来、AI活用支援・システム開発を含め累計1500件超を手がけてきました。データ収集の自動化から、取得したデータを生成AIで分類・要約する社内業務の仕組み化まで、設計・実装・運用をまとめてご相談いただけます。

サービスを見る →
無料相談する →

関連記事

運営:株式会社キャンバス(canvas-works.jp)— AIを前提に価値をつくるデジタルクリエイティブ/システム開発企業。体験型コンテンツ開発・AI開発・自社パッケージ(ぬりえスタジアム/バッティングヒーロー/デジスポ/フライングペイント/フォトフォトAI/ディノコア創世記)を展開。

最終更新:2026年10月19日/キャンバスラボ(運営:株式会社キャンバス、2012年創業・第15期)。AI・体験型デジタルコンテンツ・自社パッケージ領域で累計1500件超の実績。データ活用のご相談はお問い合わせから。

CONTACT US VIEW MORE

CONTACT

デジタルに関するご相談など、
お気軽にお問い合わせください。

無料相談する