PageFreezer

Défi

PageFreezer est le nom d’une start-up technologique et aussi d’un service web qui archive les sites web de manière pratique et facile à utiliser, selon des calendriers flexibles définis par l’utilisateur. Tout site web, blog, ou même profils Facebook et Twitter, peut être préservé pour les « générations futures » de manière interactive, allant bien au-delà des captures d’écran courantes.

C’est un service utile pour la conformité réglementaire, la protection contre les litiges, ou à des fins marketing. PageFreezer est une solution SaaS de classe entreprise qui prend en charge même les sites web les plus complexes, et convient aux particuliers, aux petites entreprises comme aux grandes sociétés.

PageFreezer facilite l’archivage du web, et vous permet de revivre les sites web archivés du passé comme s’ils venaient d’être publiés !

Redwerk a été chargé de soutenir la technologie sous-jacente, l’« intelligence » informatique derrière ce service web innovant. L’objectif était de construire une application SaaS qui permettrait aux clients de préserver de manière permanente leur site web et leur contenu de médias sociaux en qualité probante, puis d’accéder à ces archives et de les rejouer comme s’ils étaient toujours en ligne. Il était fondamental que cette solution prenne en charge même les sites web, blogs, profils Twitter ou Facebook les plus complexes, et tout cela sur la même plateforme intégrée. L’application devait utiliser des technologies de web crawling pour capturer les sites web automatiquement, aussi souvent et quand les utilisateurs le souhaitaient. Le contenu parcouru devait également être rendu consultable.
Les principales fonctionnalités comprenaient :

• Archivage automatique
• Conformité aux archives publiques
• Relecture/navigation en direct des archives
• Recherche de contenu
• Signatures numériques
• Exportation des données
• Accès aux données via API

Solution

Extraction de sites web

Pour PageFreezer, nous avons créé un robot d’exploration web propriétaire et très avancé, qui prend en compte les moindres particularités de chaque serveur web et logiciel de navigateur connus. Il s’agit d’une bibliothèque Java, qui s’intègre bien à tout projet et fournit des interfaces pour remplacer divers comportements.

Afin de suivre les processus d’extraction de manière aussi pratique que possible, nous avons créé une interface d’administration informative. Nous avons rendu possible l’extraction et la capture d’images ainsi que de texte, et même d’animations flash, même lorsqu’elles se trouvaient sur différents domaines. Une liste d’URL supplémentaire a été créée à cet effet.

Des paramètres d’inclusion, d’exclusion et des paramètres avancés de site web ont été introduits, le rendant encore plus pratique pour les utilisateurs qui souhaitent extraire certaines URL en fonction de mots-clés. Une sélection flexible d’agent utilisateur pour l’extraction a également été ajoutée. Le mécanisme a été conçu pour extraire les pages web à des moments où elles ne sont pas sous forte charge. Les clients peuvent également utiliser l’option de vitesse d’extraction pour configurer le nombre de robots d’exploration pour chaque tâche individuelle afin de réduire la charge sur le site web.

Redwerk a également mis en œuvre une fonctionnalité standard d’extraction de sitemap XML pour réduire le temps nécessaire à l’extraction de grands sites web, car seules les pages modifiées et leur contenu sont extraits et archivés.

Un certain nombre d’options d’extraction exceptionnelles et technologiquement avancées ont également été rendues disponibles :

• analyse des liens à partir de fichiers XML à l’aide de modèles XSLT
• mécanisme d’authentification générique permettant aux robots d’exploration de s’authentifier sur presque tous les sites web

Toutes ces fonctionnalités font de PageFreezer une solution beaucoup plus avancée technologiquement par rapport à la concurrence.

Relecture de site web

L’un des objectifs principaux et des scénarios d’utilisation les plus impressionnants était que les utilisateurs puissent parcourir des copies de sites web comme s’ils étaient en direct. C’était peut-être le défi clé et a nécessité beaucoup de réflexion complexe et d’approches innovantes en matière de développement d’applications d’entreprise. Mais notre vaste expérience dans la fourniture de services de développement web nous a aidés à créer une solution basée sur la résolution de liens hypertextes et la substitution à la volée, l’interception de JavaScript et de redirections, et bien plus encore.

Afin de parvenir à votre point dans le temps souhaité, un calendrier pratique a été créé, mettant en évidence les dates auxquelles les instantanés ont été pris. Afin de permettre à l’utilisateur de voir la structure du site, nous avons créé un arbre de navigation simple qui reflète la hiérarchie des URL. Tous les nœuds de l’arbre sont cliquables et ouvrent la page correspondante du site.

Réseaux sociaux

L’extraction des profils de réseaux sociaux a été un défi beaucoup plus difficile, car des règles différentes s’appliquent à eux par rapport aux sites web conventionnels. L’extraction de liens de PageFreezer a été initialement créée à l’aide d’expressions régulières et d’analyseurs de contenu, mais la plupart des réseaux Twitter, Facebook et autres sont construits dynamiquement avec du JavaScript. Comme ils étaient tous différents, il était très épuisant de construire le framework et de l’étendre à d’autres réseaux sociaux. L’ensemble de la solution était peu fiable à ce stade, et toutes les modifications futures de ces réseaux sociaux auraient dû être implémentées dans le système également. En fin de compte, il a été décidé de développer un adaptateur de réseau social basé sur des bibliothèques clientes de réseaux sociaux tierces en Java. Spring Social a été identifié comme répondant à nos exigences.

Stockage de données

L’une des tâches les plus difficiles de ce projet a été de sélectionner la meilleure option de stockage, qui devait être très évolutive. Le projet a commencé avec environ 500 sites, mais devait être préparé pour beaucoup plus. Nous avons envisagé d’utiliser S3 ou Google pendant un certain temps, mais ceux-ci se sont avérés trop lents à accéder et trop chers. Redwerk a donc dû trouver une idée plus flexible et sur mesure, et après quelques benchmarks, nous avons construit un cloud de stockage personnalisé simple mais évolutif à partir de zéro, basé sur une base de données et un système de fichiers NFS.

Intégrité des données

Il était essentiel, comme toujours, de s’assurer qu’aucune information n’était perdue en cas de défaillance d’une partie du système. Nous avons mis en œuvre une logique moderne qui fait que les robots d’exploration s’arrêtent et attendent si la base de données ou le système de fichiers sont indisponibles. Lorsque ces composants reviennent, aucune information collectée par les robots n’est perdue, et l’utilisation de sommes de contrôle permet de maintenir l’intégrité de toutes les données stockées.

Signatures numériques

Une signature numérique est un ensemble d’algorithmes et d’autres méthodes pour valider des documents ou des messages numériques. Elles sont utilisées dans presque tous les secteurs de l’économie pour détecter la falsification ou la manipulation, ce qui en fait un outil de sécurité fondamental.

Le service PageFreezer ne fait pas exception. Ici, Redwerk a opté pour TSA, utilisé par PageFreezer pour signer numériquement tout contenu extrait. Les données de hachage du contenu extrait, les certificats vérifiés, les clés utilisateur et les horodatages sont tous utilisés lors de la signature via TSA. Par conséquent, une signature TSA valide garantit aux clients de PageFreezer une raison de croire que la page web originale a été extraite à un moment précis. Les données de PageFreezer peuvent même être utilisées comme preuve en justice grâce à cette implémentation.

Une fois le système activé, tous les instantanés disponibles pour l’utilisateur seront signés via TSA, et la signature pourra être vérifiée sur la page de navigation à tout moment.

Sécurité

Pour protéger les données contre les forces destructrices et les actions indésirables des utilisateurs non autorisés, nous utilisons une combinaison solide de pare-feu, fail2ban, sauvegardes et serveurs de bases de données esclaves. En général, le système a été créé pour être aussi modulaire et évolutif que possible. Les composants n’affectent pas les performances les uns des autres. Les robots d’exploration sont des processus distincts, et différents modules ont été conçus pour les utilisateurs connectés et les invités.