TOP

【Python】Beautiful Soup を使ってスクレイピングする方法。

公開日： 2020/04/19 : 最終更新日：2020/04/19 Python Beautiful Soup, tree, wget, スクレイピング

Beautiful Soup は、シンプルでわかりやすい API でデータを抜き出せる Python のライブラリです。

Contents

Beautiful Soup のインストール

Beautiful Soup を pip でインストールします。

# pip install beautifulsoup4

1	# pip install beautifulsoup4

インストールは正常に完了したのですが、以下のようなメッセージが表示されたので、pip を upgrade しました。

You are using pip version 8.1.1, however version 18.1 is available.
You should consider upgrading via the ‘pip install –upgrade pip‘ command.

# pip install --upgrade pip

1	# pip install --upgrade pip

pip のバージョンが 18.1 になりました。

wget でファイルを取得

スクレイピングするためのファイルを wget コマンドで取得します。

# -r, --recursive：リンクをたどって再帰的にダウンロードする。

# --no-parent：親ディレクトリをクロールしない。

# -l, --level：リンクをたどる深さを制限する。

# --restrict-file-names=nocontrol：URLに日本語が含まれる場合に、日本語のファイル名で保存する。

# wget -r --no-parent -w 1 -l 1 --restrict-file-names=nocontrol https://gihyo.jp/

1

2

3

4

5

6

7

8

9

# -r, --recursive：リンクをたどって再帰的にダウンロードする。

# --no-parent：親ディレクトリをクロールしない。

# -l, --level：リンクをたどる深さを制限する。

# --restrict-file-names=nocontrol：URLに日本語が含まれる場合に、日本語のファイル名で保存する。

# wget -r --no-parent -w 1 -l 1 --restrict-file-names=nocontrol https://gihyo.jp/

取得したファイル一覧を tree コマンドで確認します。

$ tree gihyo.jp

1	$ tree gihyo.jp

Requests で HTMLを取得する

先ほどは、wget で HTML ファイルを取得しましたが、Python ライブラリの requests を用いてもデータを取得することができます。

以下のように URL を指定します。HTTP に関する情報も取得できるようなので、コードとコメントで出力結果を載せておきます。

url = 'https://en.wikipedia.org/wiki/index.php' + \
'?title=List_of_Game_of_Thrones_episodes&oldid=802553687'

r = requests.get(url)

# サーバーから返されたHTTP ステータスコード
print(r.status_code)
# 200

# テキストのステータスメッセージ
print(r.reason)
# OK

# HTTPレスポンスヘッダー
print(r.headers)

# HTTPリクエストヘッダー
print(r.request.headers)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

url = 'https://en.wikipedia.org/wiki/index.php' + \

'?title=List_of_Game_of_Thrones_episodes&oldid=802553687'

r = requests.get(url)

# サーバーから返されたHTTP ステータスコード

print(r.status_code)

# 200

# テキストのステータスメッセージ

print(r.reason)

# OK

# HTTPレスポンスヘッダー

print(r.headers)

# HTTPリクエストヘッダー

print(r.request.headers)

Beautiful Soup4 でスクレイピングする

先ほどダウンロードしたファイルの中から、index.html に含まれるリンクのURLとテキストを表示してみます。

以下のような python のコードを実行します。

# coding:utf-8

from bs4 import BeautifulSoup

with open('./gihyo.jp/index.html') as f:
soup = BeautifulSoup(f, 'html.parser')

for a in soup.find_all('a'):

# href 属性と、リンクのテキストを取得
print(a.get('href'), a.text)

1

2

3

4

5

6

7

8

9

10

11

# coding:utf-8

from bs4 import BeautifulSoup

with open('./gihyo.jp/index.html') as f:

soup = BeautifulSoup(f, 'html.parser')

for a in soup.find_all('a'):

# href 属性と、リンクのテキストを取得

print(a.get('href'), a.text)

WikiPedia のページをスクレイピング

実際に、上の requests で取得した wikipedia のページに対して、どのような情報が取れるか確認しました。コメントで説明と出力結果を載せておきます。

html_contents = r.text
html_soup = BeautifulSoup(html_contents, 'html.parser')

# 最初の<h1>タグを検索する
first_h1 = html_soup.find('h1')print(first_h1)
# <h1 class="firstHeading" id="firstHeading" lang="ja">globe</h1>

print(first_h1.name)
# h1

# contents -> タグの子要素をリストで取得
print(first_h1.contents)
# ['globe']

# text -> タグの子要素を単純なテキストとして取得
print(first_h1.text)
print(first_h1.get_text())
# globe

print(first_h1.attrs)
# {'id': 'firstHeading', 'class': ['firstHeading'], 'lang': 'ja'}

print(first_h1.attrs['id'])
print(first_h1['id'])
print(first_h1.get('id'))
# firstHeading

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

html_contents = r.text

html_soup = BeautifulSoup(html_contents, 'html.parser')

# 最初の<h1>タグを検索する

first_h1 = html_soup.find('h1')print(first_h1)

# <h1 class="firstHeading" id="firstHeading" lang="ja">globe</h1>

print(first_h1.name)

# h1

# contents -> タグの子要素をリストで取得

print(first_h1.contents)

# ['globe']

# text -> タグの子要素を単純なテキストとして取得

print(first_h1.text)

print(first_h1.get_text())

# globe

print(first_h1.attrs)

# {'id': 'firstHeading', 'class': ['firstHeading'], 'lang': 'ja'}

print(first_h1.attrs['id'])

print(first_h1['id'])

print(first_h1.get('id'))

# firstHeading

あと、find や find_all を入れ子で使う場合は、値が取れない箇所があるとエラーになってしまうので注意が必要かと思いました（実際にそこでハマってしまいました）。

Tweet

関連記事

【Python】プログレスバーを表示させる【tqdm】

Python でスクリプトの実行時間が長くなると、進捗状況が知りたくなったので、標準出力にどのくらい

記事を読む

【Pandas】 DataFrame のある列の最大値を含む行のインデックス値を取得する方法。

今回は、Pandas の DataFrame において、ある列で最大値を求めて、その最大値をもつ行に

記事を読む

【Python】Requests ライブラリを使って Web ページを取得してみた。

python の標準ライブラリ urllib を使っても Web ページの取得はできるのですが、Re

記事を読む

【Pandas】 DetaFrame の列ごとに演算する方法【Python】

今回は、DetaFrame の列ごとに平均や加算・減算なのど演算をし、結果を DetaFrame 型

記事を読む

【Python】Wikipedia のデータセットを取得し、文章を抽出する方法。

Wikipedia のデータセットを取得し、Python のライブラリを用いて文章を抽出する方法を紹

記事を読む

【matplotlib】 Python で折れ線グラフを描く方法。

今回は、Python の matplotlib というライブラリを使って簡単に折れ線グラフを描く方法

記事を読む

【Pandas】 loc・ilocで１行のみ Series ではなく DataFrame で抽出する方法。

Python の Pandas で DataFrame から loc や iloc を使って行を抽出

記事を読む

【Python】API を使って Amazon の商品情報を収集する方法。

AmazonAPI ライブラリをインストール以下のコマンドで python-amazon-sim

記事を読む

【Pandas】 DataFrame のインデックスを置き換える方法【Python】

今回は、Pandas の DataFrame型で、インデックス（index）を分かりやすいものに置き

記事を読む

【Python】pip3 で「cannot import name ‘main’」エラーが出たときの対処法。

Python でライブラリをインストールする際に、pipを使います。 Python2 と Py

記事を読む

PREV: 住信SBIネット銀行で外貨預金をしてみた【米ドル】
NEXT: 【自動注文】外貨預金を指値注文してみた【住信SBIネット】

NEW ENTRY

: 【Cubase】イヤホンから音がでないときの対処方法。
Cubase でイヤホンから音がでなくなったときの対処方法のメモです。

: 【Cubase】特定のトラックを無効にする方法。
今回は、Cubaseで特定のトラックのみを無効にする方法について紹介し

: 【転移学習】学習済みVGG16 による転移学習を行う方法【PyTorch】
今回は、PyTorch を使って、学習済みのモデル VGG16 を用い

: 【PyTorch】畳込みニューラルネットワークを構築する方法【CNN】
今回は、PyTorch を使って畳込みニューラルネットワーク（CNN）

: 【PyTorch】ニューラルネットワークを構築する方法【NN】
今回は、PyTorch を使って、ニューラルネットワーク（NN）を構築

→もっと見る

カテゴリー
- Webサイト運営 (8)
- お金 (49)
  - FX・外貨預金 (27)
    - MT4 (18)
  - 仮想通貨 (18)
  - 株・投資信託・ETF (3)
- カメラ (4)
- テキストマイニング (4)
- パソコン (29)
  - Mac (2)
- ファッション (2)
- プログラミング (77)
  - Excel（VBA） (1)
  - LaTeX (8)
  - Linux (13)
  - MySQL (7)
  - Perl (1)
  - Python (33)
  - R言語 (5)
  - Scilab (2)
  - SQLite (2)
- ボードゲーム (13)
  - 将棋 (3)
- 文字 (1)
- 機械学習 (23)
- 生活 (5)
- 税理士 (12)
- 競馬 (9)
- 配信者 (1)
- 音楽 (41)
  - DTM (7)
    - Cubase (6)
  - エイベックス (2)
  - ビーイング (24)
- 食事 (2)

Tweet