Wykorzystywanie nowoczesnych technologii w medycynie jest coraz powszechniejsze. Papierowe karty pacjentów wypadają z obiegu i zastępują je elektroniczne formy przechowywania danych. Proces digitalizacji służby zdrowia właśnie trwa! W jakich obszarach? Odpowiedź na to pytanie znajdziesz w dalszej części artykułu.

Jak działają systemy informatyczne szpitali

Do tego, że zdrowie jest ważne, nie trzeba chyba nikogo przekonywać. Jego poziom w dużej mierze zależy od nas samych. Co jednak, jeśli zaczyna szwankować? Z pomocą przychodzą lekarze, których wiedza i doświadczenia pomaga nam wrócić do pełnej sprawności.
Pewnie zbyt często się nad tym nie zastanawiacie, ale nie działają oni sami. W procesie profilaktyki lub leczenia znajdują się też inne osoby i elementy, bez których nie działałby sprawnie.

Codziennie do placówek medycznych i szpitali trafia tysiące pacjentów. Trzeba u nich rozpoznać chorobę lub jej powikłania, przekazać rekomendacje dotyczące dalszego leczenia oraz porady odnośnie zachowania wobec potencjalnych skutków ubocznych leków etc. Na samym końcu, wszystkie te informacje trafiają w formie elektronicznej do systemu informatycznego. Taki system usprawnia proces leczenia, który staje się dużo efektywniejszy. Wiedza medyczna dotycząca konkretnego pacjenta jest gromadzona w jednym miejscu, dzięki czemu może być wykorzystywana w kolejnych latach przez kolejnych specjalistów.

Talend w branży medycznej

Branża medyczna wykorzystuje dane w wielu formatach, o różnej objętości. To duże wyzwanie dla procesu ich przetwarzania. Z takim właśnie problemem zgłosił się do nas klient ze Stanów Zjednoczonych. Codziennie otrzymywał ogromne ilości plików, które były wysyłane do centralnej jednostki firmy. Zawierały one różnego rodzaju wywiady przeprowadzone przez lekarzy oraz historie chorób pacjentów, z których na co dzień musiał korzystać personel medyczny i osoby zarządzające danymi. Dodatkową trudnością był fakt, że gigantyczne dane musiały być dostępne dla każdego uprawnionego pracownika w czasie rzeczywistym.

Praca z Klientem. Oczekiwania

Zadanie naszego zespołu nie było proste. Musieliśmy pozyskać dane z kilku źródeł, przetransformować je, a następnie załadować do kolejnego systemu. Była to swoista integracja danych, gdzie dane z placówek medycznych miały trafić do petabajtowej hurtowni danych. Kluczowym aspektem było tutaj zrozumienie danych i poznanie całego procesu przetwarzania.

Przy implementacji tego rozwiązania, bardzo pomocne było również zrozumienie oprogramowania z poziomu funkcjonalności i poznanie oczekiwanych przez Klienta rezultatów. Przy pracy z ogromną ilością danych, kluczowym elementem było dobranie takich technik i narzędzi, aby proces przetwarzania był możliwie jak najkrótszy. Wydajność miała tu kluczowe znaczenie, ponieważ w przypadku jej braku przełożyłoby się to na negatywne odczucia użytkownika końcowego i w konsekwencji jego złą opinię na temat systemu.

Kolejnym bardzo ważnym aspektem było zebranie informacji o wszystkich niepożądanych zachowaniach oraz błędnych danych. W tym przypadku wymagania Klienta były bardzo jasno określone. Oczekiwał od nas wykorzystania konkretnego oprogramowania ETL – narzędzia open source o nazwie Talend Open Studio for Data Integration.

Czym jest proces ETL?

Skrót ETL pochodzi z języka angielskiego i oznacza ekstrakcję, transformację i ładowanie danych. W całym procesie migracji danych zawsze występuje także walidacja tych danych, przez co czasem ten skrót uzupełnia się do ETLV.
Pierwszym krokiem w takim procesie jest pozyskanie danych z systemu źródłowego lub z wielu takich systemów. Następnie, aby było możliwym załadowanie tych danych do kolejnego, już docelowego systemu, należy te dane przekształcić do odpowiedniego formatu, zastosować odpowiednie filtrowanie oraz zaimplementować reguły biznesowe. W całym procesie występuje także procedura czyszczenia danych, która nie musi być wdrożona na etapie transformacji – dużo częściej taką czynność wykonuje się przed ekstrakcją lub nawet po ładowaniu co już występuje dużo rzadziej.
W praktyce ETL nazywa się także oprogramowanie, które służy do przekształcania tych danych w informacje biznesowe.

Czym jest Talend Open Studio?

Talend Open Studio to platforma integracji oprogramowania typu open source, która pomaga w zamianie skomplikowanych danych w informacje zrozumiałe dla osób odpowiadających za kwestie biznesowe. To proste i intuicyjne narzędzie jest bardzo powszechnie używane w Stanach Zjednoczonych. Spokojnie może konkurować z produktami innych wielkich graczy na tym rynku. Co ważne, Talend doskonale współpracuje z umieszczonymi w chmurze hurtowniami danych od takich gigantów jak Microsoft Azure, czy Amazon Web Services.

Talend Open studio

Jego podstawowe cechy to:

  • Ponad 900 gotowych komponentów do łączenia różnych źródeł danych tj. RDBMS, Excel, SaaS Big Data, a także do łączenia z aplikacjami i technologiami, takimi jak SAP, CRM, Dropbox;
  • Repozytorium metadanych ułatwiające zarządzanie połączeniami;
  • Automatyczna konwersja zadań do kodu Java;
  • Intuicyjne przejścia i całkiem pokaźne community.

„UTalendowany” przepływ danych w chmurze AWS

Opisywany projekt był niewątpliwie jednym z największych realizowanych w Transition Technologies PSC, który skupiał się na wykorzystaniu Talend Open Studio. Aby mieć pewność, że wszystko będzie działać sprawnie i niezawodnie, na etapie przygotowań dużo uwagi poświęciliśmy infrastrukturze.

Wybór padł na Amazon Web Services. Jako storage wykorzystaliśmy Amazon S3 (Simple Storage Service), w dużej mierze ze względu na jego ogromne możliwości. Brak ograniczeń w pojemności, łatwa dostępność, a przede wszystkim wysoka trwałość zapisu danych, to tylko niektóre z nich. O popularności tej usługi może świadczyć fakt, że jest to główny storage dla takich gigantów jak Netflix, czy Dropbox. To w nim właśnie procesy ETL gromadziły pliki JSON, które w następnym etapie zasilały hurtownię danych.

Hurtownia danych to specyficzna baza, która integruje dane z wielu źródeł. Jej zasoby są najczęściej cyklicznie zasilane danymi z systemów produkcyjnych. Nasza hurtownia została oparta o usługę Amazon Redshift. To bardzo popularne rozwiązanie, z którego korzysta ponad 15 tysięcy klientów na całym świecie w tym m.in. McDonalds, czy Philips. Główną zaletą bazy Redshift jest niewątpliwie jej wydajność i skalowalność. Pomimo, że nie jest to zwykła relacyjna baza danych, korzystamy w niej standardowego zapytania SQL. Dopiero przy analizie dużych wolumenów danych zauważamy, jak efektywne i szybkie są zapytania w Amazon Redshift. Co ważne: nie ma w niej indeksów, a sposób przechowywania danych jest kolumnowy. Każda kolumna może mieć inny sposób kompresji, co dodatkowo obniża koszty i oszczędza wykorzystywaną przestrzeń dyskową.

Amazon Redshift razem z S3 tworzą świetny tandem służący do przechowywania danych. Sprawnie współpracują z Talend, który ma wbudowane komponenty dla takich usług. Jedną z głównych zalet chmury Amazon Web Services są praktycznie „nieograniczone” zasoby. W razie potrzeby można rozszerzyć pojemność w zaledwie kilku minut. Często na początku projektu, bardzo trudno jest określić jaką pojemność dysków potrzebujemy. Niestety tradycyjne rozwiązania „on premises” wymagają od nas takiej deklaracji. Chmura daje nam w tym zakresie swobodę, a nawet pozwala na konfiguracje, która będzie automatycznie zwiększała wielkość bazy danych, wraz ze wzrostem naszych potrzeb.

Talend z Amazon S3 i Redshift

Kolejną zaletą jest pewność, że przechowywane przez nas dane nie zostaną utracone. Amazon S3 posiada gwarancje trwałości zapisu na poziomie 99.999999999% w ciągu roku. Oznacza to, że gdybyśmy przechowywali 10 milionów obiektów, to istnieje ryzyko, że stracimy jeden, raz na 10 tysięcy lat.

Inną ważną zaletą chmury, jest możliwość łatwego zapewnienia zgodności z regulacjami prawnymi. Przetrzymując dane w chmurze Amazon możemy wybrać, gdzie będą zlokalizowane. Możemy je umieścić w jednym z regionów na terenie Unii Europejskiej (np. Niemcy lub Irlandia). Dzięki temu mamy pewność, że zachowujemy zgodność z Ustawą o Ochronie Danych Osobowych. Ponadto, jeśli nasza siedziba jest w Europie, zyskujemy w ten sposób pewność, że dostęp do danych będzie znacznie szybszy. Dla klienta TT PSC wybór umiejscowienia składowania danych w Stanach Zjednoczonych był jednoznaczny; optymalny pod względem kosztowym jaki i czasu oczekiwania.

Warto zwrócić uwagę, że koszt i dostępność usług chmurowych różni się w zależności od regionów, w których są utrzymywane. Dla przykładu Amazon S3 w regionie North Virginia jest prawie dwa razy tańszy niż ta sama usługa w regionie Sao Paulo.

Zalet chmury jest dużo więcej, natomiast z punktu widzenia developera, bardzo istotne jest przede wszystkim intuicyjne oraz wydajne korzystanie z zasobów udostępnianych w AWS.

Podsumowując, projekt prowadzony dla naszego zagranicznego klienta został zakończony sukcesem, w pełni realizując jego potrzeby oraz rozwiązując dotychczasowe problemy. Z kolei sama praca nad projektem (z wykorzystaniem wcześniej opisanych narzędzi), patrząc z perspektywy developera, była samą przyjemnością.

Myślisz o digitalizacji procesów w swojej firmie? Koniecznie skontaktuj się z nami!

How useful was this post?

Click on a star to rate it!

Average rating 4.6 / 5. Vote count: 18

No votes so far! Be the first to rate this post.

W przypadku naruszenia Regulaminu Twój wpis zostanie usunięty.
Votre nom et prénom

_Wszystkie wpisy z tej kategorii

Jak optymalizować koszty chmury AWS z wykorzystaniem FinOps?

Chmura to nie on-premise Inżynierowie tworząc architekturę i powołując nowe zasoby w chmurze w sposób niejawny podejmują decyzje zakupowe. Czasem wielokrotnie wciągu jednego dnia! Każda z nich ma wpływ na wielkość rachunku wystawionego na koniec miesiąca przez dostawcę chmury publicznej. Dla organizacji z długą historią jest to zupełnie nowa rzeczywistość. Działom finansowym trudno odnaleźć się …
Czytaj dalej

Chmura napędza cyfrową transformację

Chmura coraz częściej stanowi kluczowy aspekt powodzenia procesu transformacji cyfrowej. Rozmowa z Christianem Thiem, starszym analitykiem biznesowym w TT PSC Germany GmbH, dostarczy odpowiedzi na pytania: co należy uwzględnić w harmonogramie migracji do chmury oraz jak przygotować organizację do jej wdrożenia?
Czytaj dalej

Co musisz wiedzieć o serverless computing?

Serverless cmputing nadal budzi sporo wątpliwości, szczególnie wśród tych środowisk, które właśnie zaczynają korzystanie z usług chmurowych lub dopiero planują migrację do chmury swoich systemów. Na najważniejsze pytania dotyczące tego rozwiązania spróbujemy odpowiedzieć w niniejszym artykule.
Czytaj dalej

Czym jest DevOps as a service i czemu warto z tego skorzystać?

Oszczędność, skrócenie czasu wdrażania zmian oraz weryfikowanie ich poprawności – to tylko kilka przykładowych korzyści, których gwarantem jest DevOps. Ta innowacyjna metodologia wprowadziła nową jakość pracy nad projektami IT. Bazuje na kooperacji autonomicznych obszarów: inżynierii oprogramowania, administracji oraz kwestii dotyczących bezpieczeństwa i jakości.
Czytaj dalej

9 powodów, dla których powinno się wykorzystywać chmurę w prowadzeniu biznesu

Zgodnie z raportem firmy RightScale „2019 State of the Cloud Report from Flexera”, aż 94% firm używa chmury. To nie przypadek, że tyle przedsiębiorstw przechodzi na rozwiązania cloud computing. Z tego artykułu dowiesz się, dlaczego to taka popularna koncepcja, jak Twój biznes skorzysta na wdrożeniu chmury i dlaczego ten, kto jeszcze jej nie używa, zostaje z tyłu za konkurencją.
Czytaj dalej

Jak zacząć przygodę z Azure i przygotować się do certyfikacji AZ-900

Zapotrzebowanie na specjalistów w obszarze Cloud stale rośnie. Jak zdobyć szeroki zakres kompetencji i szybko odnaleźć się w temacie chmury? Najlepiej zacząć od solidnych podstaw, czyli certyfikatu Azure AZ- 900.
Czytaj dalej

Chmura na czas kryzysu, czyli jak usprawnić pracę w swojej firmie

Świat, który znaliśmy przez ostatnie lata mocno się zmienia. Wymusza na nas zmianę przyzwyczajeń, a także sposobów w jaki pracujemy i realizujemy nasze codzienne obowiązki. Zarówno te zawodowe, jak i te prywatne. Okoliczności, w których się znaleźliśmy sprawiły, że wiele osób pracuje teraz zdalnie.
Czytaj dalej

Jak zadbać o bezpieczeństwo aplikacji serverless w AWS?

Konferencja AWS re:Invent 2019, podobnie jak jej poprzednie edycje, obfitowała w ciekawe wykłady typu breakout sessions, których celem było przybliżenie uczestnikom wybranego zagadnienia technicznego związanego z chmurą Amazon Web Services. Jedno z takich wystąpień zainspirowało mnie do napisania kilku słów na temat bezpieczeństwa aplikacji stworzonych w modelu serverless.
Czytaj dalej

Parametry SSM w automatyzacji AWS

Jakiś czas temu zostałem zaangażowany w projekt, który miał dostarczyć Windchilla w sposób wysoko dostępny – w sumie nic nowego, klaster załatwia sprawę i w zasadzie można by na tym zakończyć temat, ale…
Czytaj dalej

Jak dotknęliśmy chmur – relacja z AWS re:invent 2019

Udział w konferencji AWS re:Invent wymaga od uczestników, pomijając finansowanie, nieco zaangażowania i odrobiny samozaparcia. W naszym przypadku zakup wejściówek na konferencje w sierpniu rozpoczął długi proces przygotowywania i planowania udziału w tym wydarzeniu.
Czytaj dalej

Najważniejsze nowości z AWS re:Invent 2019

Ciekawi Cię jakie nowości zostały zaprezentowane na AWS re:Invent, ale nie masz czasu stale przeglądać doniesień z Vegas? Nie musisz już szukać. Specjalnie dla Ciebie, w jednym miejscu, zebraliśmy wszystkie najważniejsze zapowiedzi, które są ogłaszane podczas trwania tej konferencji.
Czytaj dalej

Jak wykorzystać Talend Open Studio w branży medycznej?

Wykorzystywanie nowoczesnych technologii w medycynie jest coraz powszechniejsze. Papierowe karty pacjentów wypadają z obiegu i zastępują je elektroniczne formy przechowywania danych. Proces digitalizacji służby zdrowia właśnie trwa! W jakich obszarach? Odpowiedź na to pytanie znajdziesz w dalszej części artykułu.
Czytaj dalej

Czym jest chmura Amazon Web Services?

Chmura obliczeniowa to jedna z najdynamiczniej rozwijających się technologii na świecie. Stopniowo wypiera tradycyjne rozwiązania serwerowe, zgarniając dla siebie coraz większą część rynku. Firma badawcza Gartner przewiduje, że w 2019 całkowite wydatki na chmurę publiczną wzrosną o 17,5% i wyniosą 214 miliardów dolarów. Dla porównania budżet Polski na 2019 przewiduje przychody na poziomie 387,7 mld zł, czyli prawie 100 mld dolarów. Nie ma wątpliwości, że to duży i atrakcyjny to rynek.
Czytaj dalej

Dlaczego serverless jest przyszłością aplikacji

Co kilka lat, w świecie IT, pojawia się nowe, przełomowe rozwiązanie. Aktualnie, wszystkie oczy są skupione na Machine Learning(ML) oraz Sztucznej Inteligencji(AI). Wcześniej były to kontenery, do których istnienia, chyba już wszyscy zdążyli przywyknąć. Jak się okazuje, to co kilka lat temu było absolutną nowością, dziś jest rutyną.
Czytaj dalej

Windchill Single Sign On – jak z Amazon Web Services dostać się do Active Directory w sieci klienta?

Jednym z punktów migracji klienta do Amazon Web Services było włączenie SSO (Single Sign On) – co jest bardzo wygodnym rozwiązaniem. Po szybkiej weryfikacji (jakie mamy możliwości), okazało się, że możemy użyć ADFS. Klient już wykorzystywał ADFS pod inne usługi, zatem mogliśmy pominąć etap przekonywania Security Team. Po kilku dniach walki z różnymi zawiłościami Ping …
Czytaj dalej

Budujemy własne AWS Echo (z AWS Alexa na pokładzie)

Jak zamienić (nie)zwykłe RaspberryPi w AWS Echo komunikujące się z otoczeniem przy użyciu modułu konwersacyjnego AWS Alexa? Jak z jej pomocą zapytać o pogodę w Londynie, poprosić o wyłączenie świateł w domu czy umówić wizytę u dentysty? Jak w paru krokach rozszerzyć Aleksę o (praktycznie) dowolne funkcjonalności? Jak sprawdzić czy słuchający nas ludzie są zadowoleni, …
Czytaj dalej

Dlaczego rozwiązania Cloud?

Rozwiązania Cloudowe, czyli tak zwane Chmury Obliczeniowe, są w Polsce o wiele mniej popularne niż na Zachodzie Europy i w Stanach Zjednoczonych. Rynek jest młody i dopiero się kształtuje. Klienci stopniowo nabierają zaufania do tego typu rozwiązań.   Obawy polskich firm związnane z bezpieczeństwem / „chmurowe” doświadczenia przedsiębiorstw z całego świata. Rozwiązania Cloudowe oferują szereg …
Czytaj dalej

Rosnąca popularność modelu usług Serverless

Jeszcze nie tak dawno na DevOps Days Warsaw 2016 przewijały się przepowiednie o konteneryzacji i Dockerze jako technologii, która jest przyszłością. Każdy kto wówczas zainwestował swój czas w naukę Dockera z pewnością dziś tego nie żałuje. W TTPSC uważamy, że konteneryzacja nie jest ostatnim etapem ewolucji i zdecydowanie stawiamy na rozwiązania serverless jako ostateczny wynik …
Czytaj dalej

Chmura to przyszłość

Obecnie aż 63% firm przechodzi cyfrową transformację. Klasyczne, papierowe dokumenty są wypierane przez swoje elektroniczne odpowiedniki. Dzięki temu działy takie jak administracja czy księgowość znacznie zredukowały swoje wydatki oraz usprawniły działanie, gdyż przepływ danych stał się znacznie lepszy. Jednak magazynowanie tak dużej ilości dokumentacji elektronicznej nie jest prostym zadaniem. Dlatego w ostatnich czasach pojawiła się …
Czytaj dalej

Transition Technologies PSC uzyskało tytuł Standard Consulting Partner Amazon Web Services (AWS)

Z dumą oświadczamy, że partnerstwo Transition Technologies PSC oraz Amazon Web Services (AWS) wkroczyło na kolejny poziom. Kilka dni temu uzyskaliśmy status Standard Consulting Partner AWS w Polsce. Jest to potwierdzenie ze strony Amazon, że nasza firma posiada certyfikowanych specjalistów i ekspertów dziedzinowych, którzy są w stanie efektywnie pomagać klientom projektować, budować, migrować oraz zarządzać …
Czytaj dalej

_Zostańmy w kontakcie

Skontaktuj się