【スクレイピングの基本】タウンワークから求人情報を自動取得しよう!

プログラムの概要

スクレイピングによりデータを取得するPythonのプログラムの最も簡単な例として、求人情報サイトタウンワークから求人情報を取得してCSVに保存することを目指します。

最初にスクレイピングに関する前提知識を解説した後、プログラミングの入門者向けに

1. 検索結果の1ページ目の情報を取得
2. 次のページのURLを取得・移動
3. 次のページの情報を取得
4. 2～3の繰り返し
5. CSVに保存

という順序でプログラムを作成していきます。

1.スクレイピングの前提知識

APIとスクレイピングの違いスクレイピングとは、ウェブサイトにアクセスしてその情報を抽出・取得することです。特にHTMLコードを取得し、その中の情報を抽出・解析することを言います。ウェブサイトからの情報の取得...

myafu-python.com

2019.12.12

2.タウンワークの検索結果の1ページ目を取得する

前の記事へスクレイピングのコードの全体像スクレイピングは以下のような流れで行う場合がほとんどです。ページ内の欲しい要素を取得次のページや詳細ページに移動（移動先のURLを取得）1～2の繰り返し...

myafu-python.com

2019.12.12

3.タウンワークの検索結果を最後のページまで取得する

前の記事のおさらいと本記事でやること 前の記事へ前の記事では検索結果の1ページ目の要素の取得方法を解説しました。この記事では、次のページのURLを取得し、ループ文によって検索結果のすべてのペ...

myafu-python.com

2019.12.12

4.取得した結果をcsvに保存する

前の記事のおさらいと本記事でやること 前の記事へ前の記事ではすべての検索結果のページの要素の取得方法を解説しました。この記事では、取得した結果をCSVに保存し、また検索キーワードの入力をコ...

myafu-python.com

2019.12.12