Podstawowym celem działań badawczo-rozwojowych w ramach projektu RWE jest stworzenie rozwiązania informatycznego umożliwiającego tworzenie w czasie niemal rzeczywistym dużych obszarów rozgrywki w oparciu o precyzyjne mapowanie środowiska przy użyciu wielu urządzeń AR / MR / VR i aplikacji desktopowych równocześnie. Powstałe w ten sposób rozwiązanie, w postaci technologii z narzędziami wspomagającymi rozwój szybkiego świata gier, pozwoli na szybkie i precyzyjne odtworzenie rzeczywistych lokalizacji w celu zdefiniowania otoczenia gry odzwierciedlającego rzeczywiste lokalizacje przy zachowaniu znacznego poziomu realizmu mapowanych obiekty i obszary.
Obecne technologie odwzorowania prawdziwych lokalizacjach na ekwiwalenty cyfrowych, chociaż zaczął recive jakąś uwagę w branży gier, są stosunkowo rzadko stosowane ze względu na trudności techniczne wymagające użycia znacznej mocy obliczeniowej i złożonych algorytmów lub z powodu słabej możliwości sprzętowych w zakresie dokładności i / lub zakresu . Dlatego też, podczas gdy przemysł filmowy powszechnie korzysta z tych technologii, ich niezdolność do zastosowania w czasie zbliżonym do rzeczywistego i czas potrzebny do zastosowania ich w porównaniu do osiągniętych rezultatów doprowadziły do niskiego poziomu upowszechnienia. Te problemy techniczne są jeszcze większe, gdy rozszerzamy temat o jednoczesną obecność wielu użytkowników i ich połączoną świadomość otoczenia i własnej obecności. RWE poradzi sobie z tymi problemami, czego efektem będzie stworzenie technologii oprogramowania umożliwiającej korzystanie z AR / MR / VR w grach wieloosobowych umieszczonych w rzeczywistych lokalizacjach, a także w rekonstruowaniu rzeczywistych stron internetowych w celu tworzenia światów gry.
Najnowsze rewelacje Pokemon Go (wśród gier AR) i Hololens (wśród sprzętu AR) dowiodły, że istnieje potencjalnie wielki rynek dla wyżej wymienionych. Poprzez działania badawcze i rozwojowe opisane w niniejszym wniosku, RWE położy fundamenty i stworzy narzędzia umożliwiające dalszym zespołom programistycznym wykorzystanie tych technologii w tworzeniu realistycznych środowisk gier, odzwierciedlając rzeczywiste lokalizacje i zanurzając graczy na zupełnie nowy poziom.
Zidentyfikowano szereg problemów, które będą odpowiednio obsługiwane przez RWE (obszary badań):
– Udostępnianie scen 3D na wielu urządzeniach, w tym świadomość kontekstową
Umożliwienie wielu obecności w jednym wirtualnym świecie przy zachowaniu ważnych informacji w kontekście umożliwi zanurzenie się w AR / MR / VR w zupełnie nowy poziom. Będzie to wymagało stworzenia algorytmów i technologii świadomości i monitorowania kontekstu, aby odpowiednio śledzić wszystkie zmiany w środowisku, z naciskiem na ruch użytkownika. Dodatkowa funkcja skanowania scen zwiększy możliwości skanowania obszaru w celu równoczesnego skanowania do jednego wirtualnego środowiska 3D przez wiele urządzeń.
– Wspomagane przez AR symultaniczne modelowanie scen 3D, w tym synchronizacja pulpitu
Ponieważ różne metody skanowania środowiska wykazują różne poziomy dokładności, przyjęcie szeregu różnych technik pozwoli osiągnąć świetne wyniki przy zachowaniu optymalnego wykorzystania zasobów. Dlatego należy opracować i wdrożyć algorytmy tworzenia scen, które umożliwią korygowanie modeli o dokładniejsze dane. Ponadto synchronizacja ze środowiskiem graficznym oraz komunikacja i transfer danych o małym opóźnieniu będą odgrywać znaczącą rolę w umożliwieniu jednoczesnego dodawania obiektów wirtualnych do skanowanego obszaru, umożliwiając w ten sposób tworzenie bardziej złożonych światów gier.
– UX z modelowaniem scen 3D wspomaganym AR
Ze względu na brak wspólnie uzgodnionych standardów dla UI dla aplikacji AR prowadzone będą badania nad budową UX, które pozwolą na efektywną pracę w zakresie skanowania i modelowania obszaru, a także dalszego wykorzystania w grach AR / MR / VR. Obejmuje to rozpoznawanie gestów i mowy oraz ich wykorzystanie w kontekście kontroli aplikacji, a także prezentację danych i obiektów, które zapewnią odpowiedni poziom szczegółowości, nie zasłaniając całkowicie widoku użytkownika.
– Rozpoznawanie obiektów 3D
Zaawansowanie sprzętu w ostatnich latach umożliwiło to, co wcześniej było prawie niemożliwe: identyfikacja obiektów w oparciu o ich kształt. Podczas gdy obecnie stosowane technologie są ograniczone (do wykrywania dużych płaszczyzn, itp.), RWE przyspieszy algorytmy rozpoznawania obiektów 3D z wykorzystaniem uczenia maszynowego i heurystyki dla zapewnienia odpowiedniego poziomu dokładności i utrzymania rozsądnej wydajności, umożliwiając niemalże w czasie rzeczywistym doświadczenie. Ponadto zostanie utworzona cyfrowa biblioteka obiektowa oparta na chmurze, umożliwiająca wsparcie w rozpoznawaniu obiektów, a także dynamiczne rozszerzanie katalogu skanowanych obiektów w celu dalszego wykorzystania w procesie opracowywania świata gier.
– Optymalizacja dla dużych i otwartych obszarów
Powyższe algorytmy, wraz z już istniejącymi, mają swoje ograniczenia, obszar zastosowania jest jednym z najczęstszych. RWE wprowadzi skanowanie addytywne i korekcyjne, co w połączeniu ze świadomością kontekstu umożliwi dostarczenie większej ilości szczegółów do zeskanowanych światów gry, gdzie jest to potrzebne, przy zachowaniu lekkości i wydajności tradycyjnych metod, na przykład dla dużych planktonów . Ponadto, odpowiednie algorytmy heurystyczne zostaną wykorzystane do dalszej optymalizacji wydajności, umożliwiając w ten sposób zastosowanie na lekkich urządzeniach do noszenia.
RWE połączy wiele znanych technologii , takich jak fotogrametria, skanowanie czasu przelotu, czujniki głębokości i przetwarzanie obrazu stereograficznego, a także wprowadzi szereg nowości na skalę światową, takich jak znajomość kontekstu wielu urządzeń umożliwiających aktywność wielu graczy.
Prace rozwojowe obejmą stworzenie IDE do szybkiego i bezkodowego budowania światów gier dla aplikacji wieloplatformowych. Zapewni to łatwość absorpcji RWE ze względu na niskie bariery wejścia na rynek i szybkość uzyskiwania widocznych efektów.
Dodatkowo zostanie opracowana gra AR / MR jako demonstrator technologii w grach komputerowych, umożliwiająca definiowanie świata gry w locie i aktywności w trybie multiplayer. Ta gra będzie również służyć jako dodatkowy strumień przychodów ze względu na umieszczenie na rynku aplikacji i wprowadzenie zupełnie nowego sposobu lokowania produktu, zastępując tradycyjne, irytujące reklamy nowym mechanizmem – jak opisano w sekcji zapotrzebowania rynkowego.
Dzięki wspomnianym wyżej działaniom badawczo-rozwojowym działania przyszłe studia rozwojowe gier otrzymają szereg nowych narzędzi i technologii, które pozwolą wykorzystać charakterystykę i możliwości świata realnego zarówno do tworzenia wirtualnych środowisk, jak i wykorzystywania rzeczywistych do celów gier. Ponadto Wnioskodawca wprowadzi opracowane technologie, inspirowane przypadkami zastosowań przemysłowych, do oprogramowania przemysłowego oferowanego klientom , zwiększając w ten sposób jego działalność i tworząc nowe strumienie przychodów w celu utrzymania RWE i jej wyników. Dzięki silnym umiejętnościom i doświadczeniu w tworzeniu Augmented Reality i rozwoju oprogramowania przemysłowego, Wnioskodawca dysponuje środkami i możliwościami osiągnięcia lub przewyższenia planowanych wyników, przynosząc ogólne korzyści dla polskiego przemysłu gier.
Projekt współfinansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu Inteligentny Rozwój.
Wartość całego projektu: 2 412 446,40 zł
Kwota dofinansowania z Funduszy Europejskich: 1 386 178,56zł