Gigmit

Défi

La nature de l’activité de notre client nécessite une récolte continue de données pour garantir aux utilisateurs finaux un choix toujours plus large d’options pertinentes et à jour. En termes simples, gigmit garantit que les artistes peuvent facilement trouver des festivals de musique, des foires, des spectacles ou des lieux d’événements spéciaux désirables et contacter les organisateurs.

Pour atteindre cet objectif, gigmit collecte des informations publiques provenant d’une pléthore de sites Web de musique et de divertissement dans une base de données unique. Avant notre partenariat, gigmit recueillait les données nécessaires à l’aide de Scrapy, un robot d’exploration Web open-source pour extraire des données avec des API et du web scraping généraliste.

Cependant, ils ont rencontré certaines limitations avec cet outil, ils se sont donc tournés vers Redwerk pour les aider à effectuer la collecte et l’analyse de données d’un certain nombre de ressources Web. Naturellement, on s’attendait à ce que nous le fassions d’une manière qui ne nuise pas au fonctionnement des ressources mentionnées et sans être bloqués. De plus, nous devions travailler sous contrainte de temps.

Solution

La première étape a consisté à évaluer la stratégie de web scraping existante et à sélectionner une nouvelle pile technologique qui présenterait moins de restrictions d’extraction et d’affichage de données.

Nous avons choisi Django REST pour construire des modèles de données et gérer les interactions avec la base de données. Ce framework nous a permis d’organiser et de gérer efficacement les données collectées.

Nous avons créé des files d’attente de tâches asynchrones avec Celery et RabbitMQ pour éviter de surcharger les serveurs avec des appels API. De cette façon, nous avons assuré que nos requêtes soient traitées de manière ordonnée et contrôlée.

Les informations de contact n’étaient que parfois facilement disponibles, nous avons donc exploité la puissance de Hunter.io, un localisateur d’e-mails basé sur l’IA.

Le plus grand défi a été de trouver l’équilibre entre la vitesse d’analyse et les limites des serveurs d’hébergement. Néanmoins, nous avons collecté éthiquement toutes les données nécessaires sans interruptions de service ni plaintes des administrateurs Web.