WEBスクレイピングとは

WEBスクレイピングとは

ウェブページダウンロードした後に、必要なデータを抽出する作業のこと。

抽出されたデータはデータベースやファイル（CSV,JSON,Excel）などに保存します。

今までは

ウェブページのダウンロード：requests

データの抽出：beautifulsoup

以上のような別々のライブラリを利用して、工数をかけて実装していました。

しかし今では、Scrapyを１つインストールすることで同じようなことが比較的簡単にできるようになりました。