クラウドソーシングで需要が高い!作業の自動化「スクレイピング」とは?
1.クラウドソーシングとは 2.スクレイピングとは 3.スクレイピングの用途 4.スクレイピングを行う方法
1.クラウドソーシングとは
クラウド(群衆)が集まって何かを作り上げていくこと。アウトソーシングと似ているが、必ずしもプロにお願いするわけではないのが特徴です。
以前はオープンソースという名前でクラウドソーシングが行われてきましたが、現在のクラウドソーシングはソフトウェア開発に留まらず、多岐にわたります。
2.スクレイピングとは
インターネットに散在する有用な情報を収集し、加工する技術です。作業を自動化することができます。スクレイピングはAPIと違い、公式には認められていません。(APIはWebサービス提供側が、アプリ開発者に対して公式に機能を提供しています。=公式に認められている)
3.スクレイピングの用途
・ニュースサイトからキーワードを抽出し、世間のトレンドを知ることができます。
・他社より安い価格で商品を販売したい場合、スクレイピングで他社の価格情報を収集できます。
・検索エンジンもスクレイピングを利用したサービスです。インターネット上に存在するWebサイトのHTML情報を解析し、検索キーワードに対して最適なサイトを表示します。
4.スクレイピングを行う方法
・プログラミングの知識がなくても使用できる有料ツールと、プログラミングの知識が必要な無料ツールがあり、こちらを利用することでスクレイピングを利用することができます。
・JavaScript、Pythion、PHPなどのプログラミング言語でツールを開発することで、スクレイピングを利用することもできます。
誰かの参考になれば幸いです。