WEBスクレイピングとは
ウェブページダウンロードした後に、必要なデータを抽出する作業のこと。
抽出されたデータはデータベースやファイル(CSV,JSON,Excel)などに保存します。
今までは
ウェブページのダウンロード:requests
データの抽出:beautifulsoup
以上のような別々のライブラリを利用して、工数をかけて実装していました。
しかし今では、Scrapyを1つインストールすることで同じようなことが比較的簡単にできるようになりました。
WEBスクレイピングとは
ウェブページダウンロードした後に、必要なデータを抽出する作業のこと。
抽出されたデータはデータベースやファイル(CSV,JSON,Excel)などに保存します。
今までは
ウェブページのダウンロード:requests
データの抽出:beautifulsoup
以上のような別々のライブラリを利用して、工数をかけて実装していました。
しかし今では、Scrapyを1つインストールすることで同じようなことが比較的簡単にできるようになりました。