クローリングで業界データベースを構築し新たなサービスを提供

課題

• 新サービスリリースのため、特定のWebページから大量の情報を取得する必要があったが、自社内に開発技術がなかった

具体的な取り組み

• Web上の特定ページから情報をクローリングするためのクローラーの開発
• 定期的なクローリング作業と運用保守
• 約50万件の情報を収集し指定のフォーマットで出力

効果

作業量が膨大で、人手では不可能だったものを、クローラーを開発し効率的にデータを取得することができ新サービスを提供することができた。

使用言語、アーキテクチャ

Python 他