_Amélioration de l’extraction de données de Windchill par microservices cloud

Résumé

Un groupe de luxe réputé pour ses montres haut de gamme, ses bijoux, sa mode et ses accessoires, avec une présence mondiale sur les marchés du luxe en Europe, en Asie-Pacifique, aux Amériques et au Moyen-Orient, utilise un cadre entièrement personnalisé pour son processus ETL (Extract-Transform-Load) interne.

Ils extraient quotidiennement des données de Windchill, les transforment dans un format prédéfini et les stockent dans une base de données externe personnalisée, une interface pour d’autres départements en vue d’un traitement et d’un rapport ultérieurs. Ce processus prenait beaucoup de temps et mobilisait de nombreuses ressources. En outre, il était très sujet aux erreurs. TT PSC a été chargé de remanier entièrement ce cadre afin de le rendre plus fiable et plus performant.

Défi commercial

• Les tâches d’extraction doivent être exécutées en parallèle, ce qui permet d’utiliser toute la puissance de l’environnement en grappe. Il existe un délai dans lequel tous les travaux doivent se terminer chaque jour.
• Les extractions doivent être aussi résilientes, autonomes et fiables que possible, avec une gestion gracieuse des erreurs.
• L’ exécution quotidienne des travaux d’extraction doit se faire selon un calendrier raisonnable.
• Les données extraites doivent être disponibles à la fois dans la base de données de l’interface personnalisée et dans le service BigQuery de Google Cloud Platform.

Solution

TT PSC a procédé à une refonte en profondeur du cadre d’extraction, en basant l’ensemble du projet sur plusieurs microservices cloud utilisant les principes de l’architecture pilotée par les événements (Event Driven Architecture).

Grâce à cette nouvelle architecture, notre client, le principal groupe de mode de luxe, peut exécuter plusieurs processus d’extraction sur chaque serveur Method, sur chaque nœud d’un cluster. Cela donne environ 40 tâches parallèles exécutées dans un environnement de production. Chacun d’entre eux, en tant que tâche autonome et surveillée, peut gérer ses erreurs sans avoir d’impact sur les autres.

TT PSC a utilisé plusieurs technologies modernes pour parvenir à cette solution. Chaque serveur de méthodes contient un client qui consomme les messages d’une file d’attente asynchrone d’un courtier en messages sur laquelle arrivent les travaux programmés. Ces travaux sont ensuite traités par le moteur d’extraction. Le calendrier est produit par un microservice externe cloud appelé Extractions Scheduler, écrit dans le cadre Spring Boot. Une application web distincte pour la gestion de ce calendrier est également créée dans le cadre Vue. En outre, pour chaque tâche d’extraction réussie, un service autonome exporte les données vers le stockage de Google Cloud Platform.

Principaux résultats et avantages

Le passage à la nouvelle architecture mise en œuvre par TT PSC a entraîné une réduction globale du temps de traitement de l’extraction des données, qui est passé d’environ 10 heures à seulement 3 heures, avec plus de 40 tâches d’extraction exécutées quotidiennement. La nouvelle planification asynchrone basée sur les événements a considérablement augmenté la résilience et la stabilité globale de la plateforme, et l’approche microservice a permis un processus de développement plus confortable, réduisant les régressions et les effets secondaires possibles.