_7 godzin krótszy czas ekstrakcji danych dzięki mikrousługom w chmurze

Podsumowanie

Międzynarodowa firma produkująca dobra luksusowe  – znana z produkcji wysokiej klasy zegarków, biżuterii, mody i akcesoriów, obecna na rynkach w Europie, Azji, obu Amerykach i na Bliskim Wschodzie – wykorzystuje w pełni niestandardowy, dostosowany do swoich specyficznych potrzeb, framework do wewnętrznego procesu ETL (Extract-Transform-Load).

TT PSC zrealizowało prace konfiguracyjne, dostosowując możliwości zarządzania danymi w systemie Windchill, do konkretnych wytycznych firmy klienta. Celem było skrócenie czasu trwania procedury, zminimalizowanie wykorzystywanych do tego zasobów i wzmocnienie zabezpieczeń. Poprawiona została niezawodność i wydajność frameworka.

Wyzwania biznesowe

• Zadania ekstrakcji danych powinny być wykonywane równolegle, umożliwiając wykorzystanie pełnej mocy pochodzącej ze środowiska klastrowego. Istnieją ramy czasowe, w których wszystkie zadania powinny kończyć się każdego dnia. #WykorzystaniePełnejMocyŚrodowiska
• Ekstrakcje powinny być tak odporne, autonomiczne, niezawodne i jak to tylko możliwe, ze sprawną obsługą błędów. #OdporneEkstrakcjeDanych
• Harmonogram zadań związanych z ekstrakcja danych powinien być możliwy do edycji i zarządzania. #ZarządzanieHarmonogramem
• Wyodrębnione dane powinny być dostępne zarówno w bazie danych interfejsu niestandardowego, jak i w usłudze BigQuery w Google Cloud Platform. #DostępnośćDanych

Rozwiązanie

TT PSC przeprowadziło refaktoryzację systemu Extractions Framework, opierając cały projekt na kilku mikrousługach chmurowych wykorzystujących zasady architektury sterowanej zdarzeniami.

Dzięki  nowej architekturze klient może uruchomić kilka procesów ekstrakcji danych na każdym serwerze Method Server i na każdym węźle w klastrze. Daje to około 40 równoległych zadań wykonywanych w środowisku produkcyjnym. Każde z nich, jako samodzielne, monitorowane zadanie, może zarządzać swoimi błędami bez wpływu na cokolwiek innego.

TT PSC wykorzystało kilka nowoczesnych technologii, aby opracować to rozwiązanie. Każdy Method Server posiada klienta, który pobiera komunikaty z asynchronicznej kolejki brokera komunikatów, na której pojawiają się zaplanowane zadania. Takie zadania są następnie przetwarzane przez silnik ekstraktora. Harmonogram jest tworzony przez zewnętrzną mikrousługę w chmurze o nazwie Extractions Scheduler, napisaną we frameworku Spring Boot. Oddzielna aplikacja internetowa do zarządzania tym harmonogramem jest również tworzona we frameworku Vue. Dodatkowo, dla każdego udanego zadania ekstrakcji, istnieje samodzielna usługa, która eksportuje dane do magazynu Google Cloud Platform.

Korzyści i rezultaty

Przejście na nową architekturę wdrożoną przez TT PSC zaowocowało skróceniem czasu przetwarzania ekstrakcji danych z około 10 do zaledwie 3 godzin, przy ponad 40 zadaniach ekstrakcji wykonywanych dziennie. Nowe asynchroniczne planowanie oparte na zdarzeniach znacznie zwiększyło odporność i ogólną stabilność platformy, a podejście mikrousługowe pozwoliło na wygodniejszy proces rozwoju, zmniejszając możliwą regresję i efekty uboczne.