Artykuł na podstawie raportu: Technology Evaluation of Augmented and Mixed Reality Systems in Shipbuilding Processes Preliminary Report

Mari4_YARD to europejski projekt badawczo-rozwojowy, podczas którego sprawdzono, w jaki sposób nowoczesne technologie mogą rozwiązywać wyzwania operacyjne stoczni. Zespół TT PSC zaangażował się w procesy stoczniowe w Brodosplit w Chorwacji, wykorzystując doświadczenie oraz opracowane wcześniej, inteligentne narzędzia. Firmie Brodosplit, podobnie jak użytkownikom końcowym, którzy zazwyczaj koncentrują się na codziennych zadaniach, projekt dał szansę oceny, w jaki sposób nowe technologie mogą usprawnić ich pracę. Inicjatywy takie jak Mari4_YARD łączą realne, produkcyjne potrzeby z nowoczesnymi rozwiązaniami, udowadniając, że postęp technologiczny odpowiada na rzeczywiste potrzeby branży.

Celem projektu było opracowanie rozwiązań zorientowanych na człowieka – dostarczenie sposobu na przechowanie i dostęp do branżowej wiedzy, zwiększenie możliwości posiadanych technologii oraz poprawa wydajność zadań roboczych.

Brodosplit jako dostawca danych wejściowych dla projektu  Mari4_YARD, przetestował rozwiązania wykorzystujące Rozszerzoną Rzeczywistość (Augmented Reality, AR) i Rzeczywistość Mieszaną (Mixed Reality, MR) w swoich procesach stoczniowych. W dalszej części artykułu przedstawiam najważniejsze informacje i wyniki testów rozwiązania AR,  SkillWorx Assisted Worker, opracowanego przez Transition Technologies PSC.

SkillWorx Assisted Worker

System składa się ze sterowanego głosowo urządzenia montowanego na głowie (RealWear Navigator®), bezpiecznie przymocowanego do kasku ochronnego. Urządzenie jest wyposażone w łączność bezprzewodową, kamerę monokularową, mikrofony i algorytmy redukcji szumów, dzięki czemu umożliwia inżynierom obsługę za pomocą poleceń głosowych, bez potrzeby interakcji ręcznej. Urządzenie płynnie integruje się z TT PSC SkillWorx™, wykorzystując wizję komputerową i zdalny SLAM do nakładania krytycznych informacji na strukturę statku oraz wyposażenie stoczni. Niniejszy tekst przedstawia zastosowanie systemu w średniej wielkości stoczni, pokazując, w jaki sposób zwiększa on wydajność pracy inżynierów terenowych.

Sprzęt i oprogramowanie

W ramach projektu przetestowano m.in. przemysłowe zestawy słuchawkowe połączone z kaskiem ochronnym i wyposażone w mini wyświetlacz znajdujący się przed jednym okiem użytkownika. Urządzenie dostarcza informacje takie jak instrukcje, zamówienia, listy kontrolne i standardowe procedury operacyjne, w zależności od zainstalowanego oprogramowania. W połączeniu z TT PSC SkillWorx™ pozwala użytkownikom oznaczać obiekty widziane na żywo oraz dodawać do nich adnotacje i wskazówki (także w formie graficznej).

TT PSC dostarczyło platformę SkillWorx , w tym aplikację SkillWorx Assisted Worker i SkillWorx Guided Worker oraz technologię śledzenia przestrzennego. Dzięki temu możliwe stało się śledzenie oraz oznaczanie obiektów w czasie rzeczywistym podczas pracy indywidualnej, a także podczas współpracy ze zdalnymi użytkownikami.

Przetestowane przypadki użycia

Śledzenie obiektów, komunikacja z zewnętrznymi użytkownikami lub mentorami, transkrypcja lub tłumaczenie w czasie rzeczywistym oraz inne funkcje TT PSC SkillWorx™ zostały przetestowane dla trzech różnych przypadków użycia:

  1. Zadania szkoleniowe i instruktażowe dotyczące obsługi ciągnika spawalniczego do spawania łukiem krytym (Submerged Arc Welding, SAW).
  2. Nadzór nad jakością procesów spawalniczych w zakresie prac gorących oraz rejestracja temperatur wstępnych i międzywarstwowych podczas wykonywania spoin.
  3. Koordynacja zdalnej akceptacji oraz odbioru prac i systemów we współpracy z zespołami ds. wyposażenia jednostki pływającej.
Zestaw screenów z platformy TT PSC SkillWorx połączonej z urządzeniem RealWear. Screeny są wyświetlone w trzech kolumnach i obrazują trzy przypadki użycia, w których testowano rozwiązanie. Pierwszy z nich to prowadzenie kontroli oraz procesu oddania do użytku zdalnie; drugi to prace spawalnicze, gorące a trzeci to zdalne prowadzenie szkoleń, instruktażu czy też onboardingu. Wszystkie trzy screeny są opatrzone dodatkowo zdjęciem człowieka pracującego w stoczni, w kasku ochronnym z przymocowanym do niego ekranem.

Metodologia

Metodologia obejmowała przede wszystkim porównanie czasu, materiałów i wymagań kadrowych między konwencjonalnymi procesami stoczniowymi a tymi wykorzystującymi nowoczesne urządzenia. Początkowo każda technologia była dostarczana z danymi wyjściowymi jej twórców; później zostały one przełożone na mierzalne kluczowe wskaźniki wydajności (KPI) przez firmę zewnętrzną, zazwyczaj specjalizującą się w usługach monitorowania. Kluczowe wskaźniki wydajności dla każdej technologii zostały ustalone podczas wcześniejszych spotkań projektowych.

Testowanie

1. Zadania szkoleniowe i instruktażowe – optymalizacja szkolenia

Przebieg: użytkownik otrzymał instrukcję wykonania czynności, krok po kroku. Dzięki AR dla każdego z kroków wskazywane były konkretne obiekty, na przykład: „przełącz polaryzację”, „załącz sprzęgło”, „sprawdź napięcie”. Co więcej, działania sterowane głosem były tak intuicyjne, że wyeliminowały potrzebę dodatkowego szkolenia.

Grafika przedstawia pracownika w kasku ochronnym, do którego dołączony jest monitor umożliwiający zdalne wyświetlanie dokumentów oraz nanoszenie na widziany obraz informacji np. nazw funkcjonalności sprzętu, na który pracownik patrzy. Obok głowy pracownika widoczny jest wyświetlacz z przykładem widoku panelu sterującego maszyny spawalniczej. Zdjęcie obrazuje możliwości rozwiązania TT PSC SkillWorx w połączeniu z urządzeniem RealWear

Cel: digitalizacja wszystkich niezbędnych materiałów edukacyjnych, w tym przypadku instrukcji obsługi samobieżnego podajnika drutu do spawania metodą SAW.

Urządzenia i aplikacje:

  • Urządzenie RealWear zapewniające pomoc i wskazówki bez użycia rąk.
  • Platforma TT PSC SkillWorx™ (Assisted Worker) do zdalnej współpracy i komunikacji.
  • TT PSC SkillWorx™ Technologia śledzenia AR do nakładania informacji kontekstowych w fizycznej lokalizacji.

Przebieg

Zespół TT PSC otrzymał, skrócony i ułożony w listę następujących po sobie czynności, opis pracy z pojazdem LT7 (samobieżny podajnik drutu SAW) w celu podłączenia go do wybranych urządzeń i platform. Po godzinie niezbędnych przygotowań rozwiązanie TT PSC SkillWorx Assisted Worker było gotowe do działania.

Jeden ze specjalistów TT PSC został poproszony o wykonanie procedury przygotowania i uruchomienia samobieżnego podajnika drutu SAW. Mimo że nie miał wcześniejszego doświadczenia w spawaniu SAW (Submerged Arc Welding), wykonał procedurę poprawnie za pierwszym razem. Zajęło mu to 7 minut.

Ten sam wynik osiągnięto, gdy inny pracownik, który również nie miał doświadczenia z SAW, otrzymał zadanie uruchomienia maszyny. Jedyną różnicą była potrzeba wprowadzenia pracownika do samego narzędzia (RealWear) i platformy TT PSC SkillWorx™, co zajęło 15 minut.

Takie rozwiązanie świetnie sprawdza się do zdalnej komunikacji między mentorem a inżynierem, gdy potrzebne jest wsparcie ze strony bardziej doświadczonego pracownika do wykonania jakiejś czynności.

Wyniki

Sprawdzone i potwierdzone założenia:

  • Dostarczanie informacji kontekstowych użytkownikowi, bez zajmowania rąk.
  • Szybsza i bardziej angażująca praca.
  • Namierzanie i śledzenie obiektów dzięki AR działa; obiekt jest precyzyjnie zlokalizowany.
  • Zmniejszona ilość materiałów szkoleniowych.

Jesteś zainteresowany, jak to wygląda? Obejrzyj demo:

2. Nadzór nad jakością prac spawalniczych: monitorowanie temperatury i zgodność z procedurami prac gorących

Podczas spawania wielościegowego utrzymanie temperatury zgodnej z dokumentem WPS (Welding Procedure Specification) ma kluczowe znaczenie. Tradycyjne metody zapewniają ograniczoną dokładność, podczas gdy kamera na podczerwień RealWear precyzyjnie mapuje temperatury w całym polu po kalibracji. Umożliwia również zdalne monitorowanie, mentoring i dokumentację.

Screenshot z platformy TT PSC SkillWorx, przedstawia termowizję konieczną do prowadzenia prac spawalniczych. Jest to widok, który pracownik stoczni widzi na ekranie urządzenia RealWear połączonego z kaskiem ochronnym. Oprogramowanie SkillWorx wzbogaca narzędzie o zaawansowane funkcje ułatwiające pracę w stoczni.

Cel: precyzyjniejsza i łatwiejsza kontrola temperatury podczas spawania wielościegowego.

Urządzenia i aplikacje:

RealWear z podłączoną kamerą na podczerwień, w połączeniu z TT PSC SkillWorx™ Assisted Worker dostosowany do przesyłania danych z kamery termowizyjnej do działu kontroli jakości spawania oraz do rejestrowania kwestii bezpieczeństwa.

Przebieg

Procedura „prac gorących” w stoczni (może się różnić w zależności od stoczni, natomiast zazwyczaj obejmuje reguły takie, jak):

  1. Usunąć wszystkie materiały łatwopalne w promieniu 10 m od miejsca spawania.
  2. Upewnić się, że podczas spawania obecna jest dodatkowa osoba.
  3. Personel straży pożarnej musi potwierdzić brak ciepła resztkowego lub płonących materiałów po spawaniu.

Dla prac gorących w stoczni TT PSC SkillWorx™ na urządzenia RealWear usprawnia kontrolę bezpieczeństwa. Funkcjonariusz straży pożarnej może zweryfikować bezpieczeństwo po spawaniu za pomocą kamery termowizyjnej, ograniczając konieczność dokumentacji papierowej i zwiększając efektywność.

Wyniki

Sprawdzone i potwierdzone założenia:

  • Termowizja w czasie rzeczywistym bezpośrednio w widoku użytkownika.
  • Cyfryzacja formalności związanych z pracami gorącymi przyspiesza proces.
  • Natychmiastowy przepływ informacji zapewnia szybką weryfikację i rozpatrywanie ewentualnych roszczeń.

3. Koordynacja zdalnej akceptacji oraz odbioru prac i systemów statku

Komponenty i systemy okrętowe muszą spełniać określone standardy, weryfikowane przez personel za pomocą różnych testów, z których wiele ma charakter wizualny. Technologie TT PSC SkillWorx i RealWear umożliwiają zdalne testowanie i/lub nagrywane inspekcje, zapewniając autentyczność poprzez komunikację w czasie rzeczywistym i dostarczając wideo jako dowód zgodności.

Screenshot z platformy TT PSC SkillWorx przedstawiający widok części rur instalacyjnych; jest to zobrazowanie fragmentu tekstu na temat testowania rozwiązania TT PSC SkillWorx do zdalnego uruchamiania systemów statku.

Cel: sprawdzenie, czy niektóre zadania związane z uruchomieniem można wykonać zdalnie lub tylko za pomocą nagrań.

Urządzenia i aplikacje

RealWear z aplikacją TT PSC SkillWorx™ Assisted Worker dedykowaną do zdalnych odbiorów systemów okrętowych.

Przebieg

Testy z personelem Brodosplit Outfitting potwierdziły praktyczność rozwiązania. Głównym wyzwaniem była akceptacja przez zewnętrznych komisarzy, na którą wpływ miały rodzaje testów, odległość i wcześniejsze doświadczenia. Kluczowym ograniczeniem jest słaba łączność w strukturach statków, którą można rozwiązać za pomocą routerów Wi-Fi lub ulepszonego rozmieszczenia nadajników, z korzyścią dla szerszych projektów Przemysłu 4.0.

Wyniki

Sprawdzone i potwierdzone założenia:

  • Transmisja na żywo umożliwia inżynierom i zewnętrznym inspektorom śledzenie inspekcji w czasie rzeczywistym, udzielanie wskazówek głosowych oraz interaktywne wskazywanie punktów kontrolnych.
  • Automatyczna dokumentacja – nagrania wideo, zdjęcia i notatki głosowe przesyłane do chmury SkillWorx, tworzą wiarygodny zapis audytowy.
  • Brak dokumentacji papierowej skraca czas potrzebny na raportowanie i przyspiesza proces przekazania systemu.

Dowiedz się więcej o innowacyjnych rozwiązaniach dla produkcji: 

Grafika przedstawiająca część oferty Transition Technologies PSC. W dwóch kolumnach zostały krótko opisane rozwiązania SkillWorx Guided Worker oraz SkillWorx Assisted Worker

Przeczytaj także: Rezultaty projektu Mari4_YARD: ręczne spawanie laserowe z przewodnikiem na HoloLens 2