Python3とScrapyの導入(おまけにRequestsもね)

Python3のインストール

最近もっぱらスクレイピングとかクローリングが必要なことがあったので、できるようにPythonに手を出し始めた。

macOSならデフォルトでPython2系は入っているが、最新のPython3への対応も進んでるみたいな話題を見ることがあるので、今からやるなら3系だなということで、Python3を入れる。

Python自体初めてなので、本とかWebで調べながらの探り探りでやっていく。

1. brew install python3を打つ

2. 下記エラーが出る

Error: Xcode alone is not sufficient on Sierra.
Install the Command Line Tools:
  xcode-select --install

1. エラーに従い xcode-select --install を打ちコマンドラインツールを入れて再びbrewを叩く

2. 他エラー出ずに完了

3. python3 --version で Python 3.6.3と表示されたのでちゃんと入っていること確認。

Scrapyのインストール おまけでRequestsもインストール

Pythonでスクレイピングやクローリングを行う定番は、Scrapyというライブラリ？パッケージ？があるらしいので入れる。

pip3コマンドでパッケージをインストールできるので、以下のように打つ(pipでコマンドを打つとPython2系のパッケージを取得する)

1. pip3 install scrapy

2. エラーでなかったので完了。

3. おまけで通信系のライブラリ Requestsも入れておく。

4. pip3 install requests

インストールの確認

pip3 listでライブラリの確認ができる

...
requests (2.18.4)
Scrapy (1.4.0)
...

インストールが確認できたので問題なし！