Scrapy 読み方
Scrapy 発音の仕方
[‘skreipi]
Scrapy とは
Scrapyは、Pythonで記述された無料のオープンソースのWebクロールフレームワークです。もともとはWebスクレイピング用に設計されていましたが、APIを使用してデータを抽出したり、汎用のWebクローラーとして使用したりすることもできます。現在、Zyte（以前はWebスクレイピングの開発およびサービス会社であるScrapinghub）によって保守されています。
Scrapyプロジェクトのアーキテクチャは、一連の命令が与えられる自己完結型のクローラーである「スパイダー」を中心に構築されています。Djangoなど、他のフレームワークを繰り返さないという精神に従って、開発者がコードを再利用できるようにすることで、大規模なクロールプロジェクトの構築とスケーリングが容易になります。Scrapyは、開発者がサイトの動作に関する仮定をテストするために使用できるWebクロールシェルも提供します。Scrapyを使用している有名な企業や製品には、Lyst、Parse.ly、Sayone Technologies、Sciences Po Medialab、Data.gov.ukの世界政府データサイトがあります。