Python3とScrapyの導入(おまけにRequestsもね)
Python3のインストール
最近もっぱらスクレイピングとかクローリングが必要なことがあったので、できるようにPythonに手を出し始めた。
macOSならデフォルトでPython2系は入っているが、最新のPython3への対応も進んでるみたいな話題を見ることがあるので、今からやるなら3系だなということで、Python3を入れる。
Python自体初めてなので、本とかWebで調べながらの探り探りでやっていく。
brew install python3
を打つ下記エラーが出る
Error: Xcode alone is not sufficient on Sierra. Install the Command Line Tools: xcode-select --install
他エラー出ずに完了
python3 --version
で Python 3.6.3と表示されたのでちゃんと入っていること確認。
Scrapyのインストール おまけでRequestsもインストール
Pythonでスクレイピングやクローリングを行う定番は、Scrapyというライブラリ?パッケージ?があるらしいので入れる。
pip3コマンドでパッケージをインストールできるので、以下のように打つ(pipでコマンドを打つとPython2系のパッケージを取得する)
pip3 install scrapy
エラーでなかったので完了。
おまけで通信系のライブラリ Requestsも入れておく。
pip3 install requests
インストールの確認
pip3 list
でライブラリの確認ができる
... requests (2.18.4) Scrapy (1.4.0) ...
インストールが確認できたので問題なし!