1.クローリングとは

---

クローリングとは、Web上で様々なサイトを巡回し、情報の保存や複製など様々なことを行うことを指します。

クローリングの由来は、泳法の1つであり「這う」などの意味を持つ「crawl（クロール）」です。

 

Web上を巡回するプログラムは、「bot」や「クローラー」などと呼ばれています。

クローリングの目的はケースによって異なりますが、多くの場合では情報収集が主な目的です。

 

例えば、Web上を巡回して様々なサイトを確認し、新しくできたサイトを認識するケースなどで使用されています。

 

 

 

2.スクレイピングとは

---

スクレイピングとは、特定のデータ構造から不要なデータを除去し、重要な情報を抽出することを指します。

スクレイピングの由来は、「削りと・る」などの意味を持つ英単語「scrape（スクレイプ）」です。

 

例えば、情報収集のためにWebサイトのHTMLをスクレイピングし、見出しやタイトルなどを抽出することがあります。

Web上の情報をスクレイピングすることを、特にWebスクレイピングと呼ぶこともあります。

 

 

 

3.クローリングとスクレイピングの違い

---

クローリングとスクレイピングは共に情報を収集する手段ではありますが、クローリングが巡回に焦点を当てている一方でスクレイピングは情報の抽出に焦点を当てています。

つまり、クローリングはWeb上を巡回して情報を収集するまでの作業ですが、スクレイピングで実施するのは情報収集だけでなく抽出・加工までも含みます。

 

ただしクローリングとスクレイピングには明確な定義があるわけではなく、情報収集をスクレイピングと呼ぶケースもあることは知っておきましょう。

 

 

 

4.クローリングとスクレイピングで活用するプログラミング言語

---

この章では、クローリングとスクレいピングで活用で消える主なプログラミング言語を4つ紹介します。

 

Python

Pythonは、クローリング・スクレイピング共に非常によく使われるプログラミング言語です。

クローリングにおいては、ScrapyやMechanicalSoupなど様々なクローリングフレームワーク・ライブラリがPythonにはあります。

 

一方スクレイピングにおいてもPythonのライブラリは多数あり、最新の情報も充実しているため利用意義が高いといえるでしょう。

例えばRequestsやBeautifulSoupのライブラリを使用することで、効率的にスクレイピングが進められます。

 

Pythonの案件を覗いてみる↓

 

 

 

Ruby

クローリング・スクレイピングの両方に適したプログラミング言語としては、Rubyも挙げられます。

まずクローリングに関しては、AnemoneやNokogiriなどクローラーに適したライブラリが充実しており、使用されるケースもあります。

 

一方のスクレイピングにおいては比較的軽量なライブラリが多く、例えばNokogiriという定番のライブラリについてはPythonよりも使いやすいと評価する方も多くいます。

 

Rubyの案件を覗いてみる↓

 

 

 

PHP

PHPも、クローリングとスクレイピングの両方に向いているプログラミング言語の1つです。

ただし文法の自由度が高くクローリングやスクレイピングに特化しているというわけではないため、他の言語で基本を学んだ後に取り組んだほうがよいでしょう。

 

PHPの案件を覗いてみる↓

 

 

 

JavaScript

JavaScriptはフロントエンド言語ですが、Node.jsを使用することでスクレイピング等が実行できます。

例えば、クローリングにおいてはNode.jsで記述されたNode-crawlerが人気です。

 

また、スクレイピングに適したライブラリも多数あります。

ただしNode.jsはまだ比較的新しい言語であることもあり、これまで紹介した言語と比較すると難度は高くなってしまうと言えます。

 

JavaScriptの案件を覗いてみる↓

 

 

 

 

5.クローリング・スクレイピングで法的に許可されているもの

---

この章では、クローリングとスクレイピングを行う際に法的に許されている範囲についてお伝えします。

法律に則った範囲での作業を行わなければ、最悪の場合罰せられてしまうことも考えられるため注意しましょう。

 

個人・家族間での活用

クローリングやスクレイピングで得た情報は、個人や家族間での活用に使用目的が限定されています。

これらの利用範囲は「私的利用」との表現で整理されており、例えばデータの複製や変形なども、私的利用に限っては許されています。

 

そのため、仕事目的での利用や外部への公開を行ってしまうと著作権法上違法になってしまうため注意しましょう。

もし外部への公開を行いたいのであれば、引用などの手段を行って著作権法をクリアしなくてはなりません。

 

 

データ収集・情報解析

データ収集や情報解析を目的としたクローリング・スクレイピングも、法律上認められています。

情報解析とは、様々なデータから情報を抽出し、統計学的な解析を行うことです。

 

収集・解析したデータを頒布してはいけませんので、注意しましょう。

 

 

Web検索サービスで活用

Web検索サービスの提供においては、必要と認められる範囲においてクローリング・スクレイピングが許されています。

そのため、政令に定められた一定の条件を満たす業者に関しては、著作物の複製・翻案・自動公衆送信を行うことが許されています。

 

「公衆」とは不特定多数・少数に加えて特定かつ多数のものを含むされており、例えばマンションの住人に限定配信することも含まれます。

 

 

 

6.クローリング・スクレイピングで法的に禁止されているもの

---

この章では、クローリング・スクレイピングで法的に禁止されているものを紹介します。

悪意を持っていなくても禁止行為を行えば罰せられる恐れがあるため、充分に注意しましょう。

 

サーバーへの負荷

クローリング・スクレイピングを行うと対象のWebサイトのサーバーに負荷をかけることになります。

そして万が一サーバーに障害が出てしまうなどすれば、所有者から訴えられてしまう可能性があるため注意しましょう。

 

実際に、愛知県の図書館の蔵書検索システムにおいて高頻度のリクエストを故意に送り付けたとして、利用者の男性が偽計業務妨害容疑で逮捕された事件もありました。

最終的には業務妨害の強い意図が認められないとして起訴猶予となりましたが、対象のサーバーに負荷がかかることは認識しておくことが重要でしょう。

 

 

個人情報を本人の許可なく取得・公開・売買する行為

クローリング・スクレイピングにおいては、個人情報を本人の許可なく取得・公開・売買する行為も禁じられています。

個人情報保護法によって定められており、具体的には個人情報を取得する場合、利用目的をあらかじめ本人に明示しなければなりません。

 

ただし、実務においては個人情報を取得する際に個別に利用目的を明示することは困難であることも多くあります。

その場合はプライバシーポリシーなどで利用目的をあらかじめ公表しておくなどの対処が必要です。

 

 

著作権を侵害する

著作権の侵害も、クローリング・スクレイピングにおいては避けなくてはなりません。

著作権とは、著作物（思想や感情を創作的に表現したもの）を著作者が独占できる権利のことです。

 

著作物を利用するためには原則として著作者の同意を得なければならず、同意を得ていなければデータの保存等も行ってはいけません。

そのため、クローリングやスクレイピングによってデータを収集し保存することも同意なしでは行えないと言えます。

 

 

クローリングとスクレイピング先のサイトの利用規約に違反している

クローリングやスクレイピングをしている対象サイトの利用規約に対する違反行為も、禁止されています。

もしクローリングやスクレイピングを禁止されているサイト上でいずれかの行為を行った場合、不法行為責任などを負う可能性があります。

 

特に会員登録が必要な場合に問題となりますので、注意しましょう。

 

 

 

7.まとめ

---

クローリングとは様々なサイトを巡回して情報の保存などを行うことであり、スクレイピングとは特定のデータから不要データを除去し、重要な情報を抽出することです。

両者は情報収集を行う点で共通ですが、スクレイピングが情報の加工までも行う点で異なります。

 

クローリングやスクレイピングを行ううえでは法律的問題をクリアする必要があるため、事前にしっかりとした知識をつけて作業をしましょう。

 

フリーランスエンジニア専門の求人・案件一括検索サイト「フリーランススタート」に少しでも興味がある方は是非ご登録ください。

 

なお、フリーランススタートはiOSアプリ版やAndroid版をリリースしています。

通勤しているエンジニア・デザイナーでちょっとしたスキマ時間で手軽にフリーランス求人・案件を検索したい、開発言語の単価が知りたい、フリーランスを将来的に検討している方などは是非インストールしてみてください。

 

フリーランススタートのアプリを有効活用して、フリーランスとして第一線で活躍しましょう！

 

フリーランススタート iOSアプリのインストールはこちらから→

 

フリーランススタート Androidアプリのインストールはこちらから→

 

 

本記事が皆様にとって少しでもお役に立てますと幸いです。