【Python】Requests ライブラリを使って Web ページを取得してみた。
公開日:
:
Python apt-get, has no attribute, pip, Requests
python の標準ライブラリ urllib を使っても Web ページの取得はできるのですが、Requests ライブラリを使うともっと簡単に Web ページを取得できるということで、試してみました。
ちなみに、今回は以前紹介した、Windows10 上に仮想的にインストールした Linux 環境で行いました。
Contents
pip のインストール
python のライブラリを簡単にインストールするために pip をインストールします。
root ユーザで以下を実行しました。
1 |
# apt install python-pip |
完了するまでに結構時間がかかりました(約15分くらい?)
apt-get を update
python-pip インストール中に固まってしまったので、apt-get を update しました。
1 |
# apt-get update |
Requests のインストール
1 |
# pip install requests |
Web ページの取得
以下のようなコードを実行すると、Web ページを取得して、表示することができます。
1 2 3 4 5 6 7 8 |
import requests url = "https://www.sejuku.net/blog/" response = requests.get(url) response.encoding = response.apparent_encoding print(response.text) |
ここで、注意しないといけないことがあります。
Python のモジュール名と同じファイル名にしてしまうと「has no attribute」とエラーになってしまいます。
私も実際にはまってしまい、requests.py というファイル名で保存・実行すると、以下のようなエラーが出てしまいました。
Traceback (most recent call last):
File “requests.py”, line 1, in <module>
import requests
File “/home/shion/requests.py”, line 5, in <module>
response = requests.get(url)
AttributeError: module ‘requests’ has no attribute ‘get’
なので、ファイル名をモジュール名以外に変更してから実行すると、うまくいきました。
関連記事
-
【matplotlib】 Python でヒストグラムの横軸と棒(ビン)の数を調整する方法。
Python の matplotlib を使ってヒストグラムを描画し、横軸の目盛りと棒(ビン)がそろ
-
【Atomエディタ】Python 開発用にインストールしてみた。
Python でプログラミングするときの エディタ を探していたのですが、とりあえず Atom とい
-
【Python】 DataFrame の特定の列で出現回数をカウントして降順でソートする方法。
Python で DataFrame 型の特定の列を指定して、対象列の文字列の出現回数をカウントして
-
【matplotlib】 Python で折れ線グラフを描く方法。
今回は、Python の matplotlib というライブラリを使って簡単に折れ線グラフを描く方法
-
【Python】漢字を分解するライブラリを使ってみた【部首分解】
Python で漢字を部首やさらに細かい部分に分解してくれるライブラリがあったので使ってみました。
-
【Python】pip3 で「cannot import name ‘main’」エラーが出たときの対処法。
Python でライブラリをインストールする際に、pipを使います。 Python2 と Py
-
【Atom エディタ】Python で Matplotlib のグラフを Atom 上に表示させる方法。
Atom エディタで Python の Matplotlib ライブラリを使って、Atom 上にグラ
-
【Python】 複数の辞書型の同じ key を持つ value を計算に用いる方法。
Python で、複数の辞書型を読み込んで、同じキー(key)を持つ数値(value)を計算に使う方
-
【Google Colaboratory】クラウド上でPythonを使って機械学習を行う。
Python をブラウザ上で実行して、手軽に機械学習ができる環境「Google Colaborato
-
【Python】プログレスバーを表示させる【tqdm】
Python でスクリプトの実行時間が長くなると、進捗状況が知りたくなったので、標準出力にどのくらい