4.6
(27)
Testy automatyczne i manualne – platforma do zarządzania testami bazująca na Jira Software + Xray

Tworzenie aplikacji przestało być domeną dużych software house’ów, a stało się działalnością firm z różnych branż. Obecnie większość korporacji, które dostarczają klientom lub pracownikom jakiekolwiek rozwiązania IT, tworzy je samodzielnie. Wzrasta więc nie tyle zapotrzebowanie na systemy umożliwiające tworzenie oprogramowania, co na rozwiązania automatyzujące i przyspieszające cały proces.  

Jednym ze strategicznych etapów pracy nad tworzeniem oprogramowania jest testowanie – przetestować należy każdą, pojedynczą „paczkę” kodu tak, aby jak najszybciej zidentyfikować i naprawić błędy. Oprócz automatyzacji ważne jest, aby środowisko niwelowało silosy pomiędzy zespołem programistów a zespołami operacyjnymi (zgodnie z założeniami DevOps).  

Obie te potrzeby spełnia Jira Software w połączeniu z aplikacją Xray oraz dodatkowymi narzędziami do tworzenia oprogramowania. 

środowisko testowania, testowanie, platforma do testowania, jira, xray, testy automatyczne, Transition Technologies PSC, Atlassian Platinum Solution Partner

 Xray – korzyści 

  •  Aplikacja sprawdzona przez tysiące użytkowników– jak informuje producent, korzysta z niej ponad 5000 klientów z 70 krajów na całym świecie.  
  • Niższa cena od aplikacji konkurencyjnych. Polecamy: Xray vs Zephyr.
  • Kompatybilność z narzędziami Atlassian – umożliwia zarządzanie wszystkimi testami w formie zgłoszeń (Jira issues) w Jira Software. 
  • Zapewnia automatyzację testów zgodnie z metodologią BDD oraz integrację z frameworkami takimi jak m.in.: JUnitNUnit, Robot, BehaveSelenium  
  • Xray współdziała z rozwiązaniami DevOps (np. Jenkins, BambooGitLab) i spełnia założenia tej idei.  
  • Zaawansowane raportowanie, widoki (dashboardy) dostosowane do potrzeb zespołu, gadżety. 

Polecamy: Xray Test Management – Product Walkthrough for Jira Server/DC: 

Dla kogo?

  • dla każdej firmy, która tworzy lub odbiera oprogramowanie. 
  • m.in. software development house, telekomunikacja, bankowość i finanse, energetyka, spedycja.

Z czego zbudowane jest rozwiązanie? Główne komponenty

  • Jira Software  
  • Xray 
  • Cucumber 
  • GitLab/ Bitbucket  
  • Jenkins / Bamboo
    + dodatkowe narzędzia umożliwiające prowadzenie konkretnych rodzajów testów (np. testy API, Mobile, UI, testy bezpieczeństwa, wydajnościowe a także raportowanie) 

Poszczególne narzędzia mogą się różnić w zależności od tego, jakich rozwiązań używa firma. 

Jak to wygląda? Przykładowy proces automatyzacji testów i jego najważniejsze cechy:

proces testowania w Jira, Xray

  • Wspólny standard opracowywania testów manualnych i automatycznych przy pomocy Cucumber. 
  • Powiązania między wymaganiami, testami, wynikami i defektami. 
  • Pełna automatyzacja CI/CD przy pomocy Jenkins Pipeline, pozwala na wcześniejsze i szybsze testy (shift left). 
  • Pełna integracja z narzędziami do automatyzacji testów, umożliwiająca uruchamianie testów z poziomu Xray i automatyczne pobieranie wyników z ich wykonania. 
  • Łatwe planowanie testów, generowanie raportów i tworzenie niestandardowych tablic Jira do śledzenia postępu projektu. 
  • Usprawniona komunikacja w zespole. 
  • Możliwość integracji z innymi systemami za pomocą REST API.

Co umożliwia?

Połączenie funkcjonalności Jira Software z wybranymi aplikacjami umożliwia: przygotowanie, realizację, monitorowaniezarządzanie testami automatycznymi oraz analizę ich wyników w sposób scentralizowanyZespół wytwarzający oprogramowanie otrzymuje spójne środowisko do zwinnego zarządzania zadaniami w oparciu o zgłoszenia w systemie Jira Software oraz do automatycznego testowania poprzez wykorzystanie metodologii BDD (behavioraldriven development). Platforma zawiera także funkcjonalności Jenkinsa do działań CI/CD oraz dodatkowe wtyczki i skrypty, dzięki czemu usprawnia pracę całego zespołu. Mimo zastosowania wielu różnych narzędzi, stanowi spójne, zintegrowane i kompleksowe rozwiązanie.  

Organizacja testów


organizacja testów, proces testowy, jira, xray, transition technologies psc, atlassian platinum partner

Proces testowy

Proces testowy składa się z kilku etapów, które zawierają następujące czynności: 

  1. Planowanie wykonania testów 
  2. Projektowanie testów 
  3. Wykonanie testów 
  4. Monitorowanie postępów 
  5. Generowanie raportów i analiza wyników 

 Platforma zbudowana z Jira Software + Xray + Cucumber + Jenkins + (inne aplikacje do zarządzania testami), zapewnia płynne przejście każdego etapu tak, aby zespoły mogły sprawnie przeprowadzić cały proces oraz nie musiały wykonywać powtarzających się czynności; mechanizmy automatyzacji sprawiają, że całość odbywa się w odpowiednio zorganizowanym porządku działańPoniżej przedstawimy skrócone opisy każdego z nich.  

1. Planowanie wykonania testów 

Planowanie testów może przybierać różną formę, w zależności od przyjętych kryteriów oraz potrzeb projektowych. Konieczne do określenia są takie czynniki jak: 

  • Rodzaj planowanych testów.
  • Określenie wymagań, które chcemy sprawdzić. 
  • Określenie sposobu, w jaki chcemy sprawdzić wymagania: automatyczne/manualne. 
  • Alokacja zasobów. 
  • Kto, gdzie i kiedy wykona testy. 

Rozwiązanie, które proponujemy posiada funkcjonalność (obiekt „Test Plan” zapewniony dzięki Xray), która umożliwia zgromadzenie testów dla danej wersji, wewnątrz swojego planu testów; utworzony w ten sposób plan testów pokazuje wyniki wszystkich działań tj. wyświetla aktualne statusy wszystkich prowadzonych testów ujętych w planie, bez względu na ilość iteracji testowych. Najlepiej zobrazuje to przykład utworzonego widoku planu testów:  

Test Plan Board, Xray, Jira, QA
Test Plan Board

Obiekt „Test Plan” zapewnia: 

  • Czytelny widok testów dla wybranej wersji wraz z najważniejszymi informacjami takimi jak: osoba przypisana do testów, ilość wykonanych testów, najnowszy status (podany w czasie rzeczywistym).  
  • Możliwość uruchomienia jednego lub więcej wykonań testów (Test Execution)  dla wszystkich lub tylko części testów zawartych w tym planie.  
  • Możliwość przypisania jednego lub więcej planów testów do danej wersji.  
  • Możliwość monitorowania postępów tych testów w ramach każdego planu testów.  

 Dodatkowa funkcjonalność – repozytorium testów –  porządkuje hierarchicznie testy w folderach; w przypadku zaplanowania i uruchomienia wielu cykli testowych (wykonania testów), tablica zgrupuje wyniki tych testów i pokaże aktualny status dla każdego z nich; w razie potrzeby sprawdzenia stanu konkretnego podzestawu testów, wystarczy wybrać odpowiedni folder: 

Test Repository, Xray, Jira, Automated Testing, Transition Technologies PSC, Atlassian Partner, Jira solution
Repozytorium testów

2. Projektowanie testów: analiza, projektowanie i implementacja testów  

Analiza, projektowanie i implementacja testów to przejście od strategicznych, głównych założeń do konkretnych aspektów technicznych. Najprościej mówiąc, do zaprojektowania testów potrzebna jest analiza polegająca na określeniu „co” oraz „w jaki sposób” ma być testowane z uwzględnieniem testowania opartego na ryzyku (risk based testing). 

Używając platformy zbudowanej w środowisku Jira Software z wykorzystaniem Xray, należy utworz konkretne obiekty, które zawierają kroki, dane testowe i oczekiwany rezultat, aby zobrazować to w jaki sposób mają przebiegać testy. Poszczególne przypadki testowe należy oznaczyć etykietami (labels), co znacznie ułatwi późniejsze monitorowanie postępów. 

Projektowanie testów, to: 

  • Organizacja testów w zestawy testowe (Test Set). 
  • Rozpisanie przypadków testowych określonych w warunkach testowych lub w dokumentacji. 
  • Tworzenie danych testowych. Ważne!: nadawanie obiektom etykiet pozwoli później efektywnie monitorować postępy pracy.  

3. Wykonanie testu 

Wykonanie testu (Test Execution) to czynność zachodząca pomiędzy tworzeniem skryptów testowych a raportowaniem i analizą wyników testów.  

Wykonanie testu (widoczne w środowisku jako „Test Execution”) to obiekt, który agreguje ustaloną przez użytkownika kolekcję testów, a także monitoruje i sprawdza, czy testy działają w docelowym kontekście i środowisku 

Dzięki obiektowi Test Executionużytkownik (np. Test Manager): 

  • przypisuje zadanie wykonania testów dla wybranej grupy testów (manualnych lub automatycznych) do testera; możliwe jest również przypisanie poszczególnych przebiegów testowych do kilku testerów.  
  • widzi postęp testów dzięki aktualizowanemu na bieżąco statusowi każdego z nich (np. „pass”, „fail”, „executing”, „to do”), 
  • ma wgląd do generowanych przez program wyników testów.  
Overall Ececution Status, Xray, Jira, Automated Testing, Transition Technologies PSC, Atlassian Partner, Jira solution
Overall Execution Status

 

Xray pozwala na tworzenie własnych statusów dla testów automatycznych i manualnych (dzięki czemu można np. utworzyć dodatkowe nazwy statusów dla rozróżnienia np. przyczyn niepowodzeń – Exception” spowodowany błędem w kodzie/ „Not-implemented” – brakiem zaimplementowanego kroku) Wykonanie testu jest ukończone w momencie, gdy wszystkie testy weryfikujące określoną funkcjonalność systemu zostają zakończone.  

 4. Monitorowanie postępów 

 Platforma zbudowana z rozwiązań, które proponujemy, oferuje wiele różnych możliwości monitorowania postępów prac. Są to między innymi:  

4.1 Przegląd zestawów testowych (Test Sets Overview)  

Test Set Overview  to widok dedykowany Test Managerowi – zawiera informacje na temat wszystkich testów przypisanych do danej funkcji: ich status, rodzaj (manualne/automatyczne), a także to czy wszystkie funkcje są planowane do przetestowania przez wskazany zestaw testów.

Test Set Overview, Xray, Jira, Automated Testing, Transition Technologies PSC, Atlassian Partner, Jira solution
Test Set Overview

4.2 Przegląd wykonywanych testów (Test Execution Overview)  

Test Execution  to zestaw testów, jaki jest wymagany do przetestowania danej funkcjonalności. Dzięki temu widokowi, manager ma wgląd we wszystkie testy dotyczące danej funkcji systemu, która jest poddawana testowaniu. Widoczna jest tutaj informacja o typach testów; czy są one manualne czy automatyczne, do kogo jest przypisane wykonanie wybranego testu, do jakiego zestawu testów są przypisane wybrane testy, a także wskazuje na stany każdego z przedstawionych testów (zakończone powodzeniem / zakończone niepowodzeniem / do zrobienia / bądź inne statusy możliwe do skonfigurowania przez administratora). Dwa proste kliknięcia pozwalają na dostęp do informacji o każdym kroku testu, a także do komentarzy jakie zostały dodane do poszczególnych testów podczas ich wykonywania. 

Test Execution Details, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Test Execution Details

4.3 Sprawdzanie wyników i planowanie testów (Test Plan) 

Kolejnym sposobem na szybki i przejrzysty wgląd do prowadzonych testów, jest skorzystanie z tablicy Test Plan. Podobnie jak obiekt “Test Set”, pozwala wyfiltrować testy na podstawie np. daty ich utworzenia, konkretnych komponentów czy innych informacji wprowadzonych do testów i grupuje je w listę. Oprócz podstawowych informacji pokazuje także ich statusy; rolą obiektu Test Plan jest umożliwienie szybkiego odnalezienia konkretnych testów oraz sprawdzenie i odpowiednie pogrupowanie ich wyników a następnie zaplanowanie wykonania tych testów, które jeszcze nie zostały uruchomione. 

Test Plan można utworzyć dla danej wersji lub danego sprintu tak, żeby śledzić wyniki związane z różnymi testami np. można stworzyć jeden Test Plan dla testów regresyjnych, a inny dla testów funkcjonalnych. 

Test Plan Board, Xray, Jira, Automated Testing, Transition Technologies PSC, Atlassian Partner, Jira solution
Test Plan Board

5. Generowanie raportów i analiza wyników 

Analiza wyników i przejrzysty widok pożądanych informacji zgromadzonych w jednym miejscu to jedna z kluczowych funkcjonalności jakie musi spełniać dobre rozwiązanie do zarządzania testami. Xray posiada wbudowane moduły służące do tworzenia raportów oraz analizy danych, dzięki czemu Product OwnerScrum Master lub Test Manager mogą szybko zidentyfikować wąskie gardła i poprawić efektywność pracy zespołów. Dzięki elastyczności Jira Software, możliwe jest skonfigurowanie dodatkowych, dedykowanych widoków (dashboardów), które będą gromadziły pożądane zestawienia w formie wykresów.  

5.1 Traceability Report 

Często jeszcze przed uruchomieniem testów – lub już w trakcie ich trwania – konieczna jest weryfikacja, czy zaplanowane działania na pewno zgadzają się z wymaganiami klienta/projektu. Traceability Report pokazuje wprowadzone wymagania, testy i defekty, gromadząc dane w formie grafów, które dobrze oddają powiązania pomiędzy czynnościami. Dzięki temu łatwo jest zidentyfikować ewentualne braki i ocenić „gotowość” testów do uruchomienia.  

Traceability Report, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Traceability Report, źródło: Xray Ebook „How to measure and report quality metrics”

5.2 Overall Requirement Coverage Report 

Estymacja czasu do zakończenia testów jest możliwa dzięki „Overall Requirement Coverage Report”, który gromadzi dane związane z postępem testów – rzut oka na ten raport wystarczy, żeby ocenić czy produkt jest gotowy do wydania. Dzięki temu modułowi możliwe jest sprawdzenie statusów testów per sprint i weryfikacja, które obszary testowania wymagają poprawy; Overall Requirement Coverage Report umożliwia zawężenie zakresu testów do sprawdzenia poprzez wybranie konkretnych wymagań  (requirement issues)/ user stories /nadrzędnych zadań (epics)/ czy przez użycie bardziej zaawansowanego filtrowania JQL.  

  • Pomaga oszacować czas do wydania produktu lub poszczególnych jego części.  
  • Ułatwia identyfikację obszarów wymagających poprawy. 
  • Daje QA Managerom wgląd do postępów testowania. 
  • Umożliwia przekazanie informacji na temat bieżących statusów testów, zespołowi programistów tak, aby wszyscy mieli aktualne informacje.  
Overall Requirement Coverage Report, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Overall Requirement Coverage Report, źródło: Xray Ebook „How to measure and report quality metrics”

5.3 Historical Requirement Coverage 

Kolejnym sposobem na sprawdzenie postępów pracy jest skorzystanie z modułu „Historical Requirement Coverage” – jest to funkcjonalność stworzona dla Test Managerów, Product Managerów, Project Managerów oraz osób po stronie klienta, które są zaangażowane w wydanie aplikacji i chcą mieć wgląd do przebiegu pracy. Historical Requirement Coverage przedstawia statusy poszczególnych testów w pożądanym zakresie czasu – możliwe jest więc prześledzenie całej ścieżki od początku trwania projektu lub wybranie np. ostatniego miesiąca; raport bardzo dobrze obrazuje postępy testowania i pomaga przeanalizować cały zakres działań oraz oszacować, czy praca zostanie wykonana w przyjętym terminie.  

  •  Generuje informacje, które stanowią dowód zakończenia testów. 
  • Może posłużyć jako dokument, przedstawiający postęp pracy nad wydaniem. 
  • Świetnie sprawdza się w firmach, które wykonują testowanie/development dla podmiotów zewnętrznych. 
Historical Requirement Coverage, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Historical Requirement Coverage, źródło: Xray Ebook „How to measure and report quality metrics”

5.4 Test Plans Report 

Test Plans Report jest powiązany z modułem Test Plan i daje obraz postępów wszystkich testów, które są w nim (Test Plan) zgromadzone – wyświetla ile testów posiada jaki status w czytelnej tabeli; pozwala oszacować zaawansowanie działań przed wydaniem produktu; daje także jasny obraz defektów, które pojawiają się w raporcie w czasie rzeczywistym. Z Test Plans Report można przejść bezpośrednio do opisanego defektu i sprawdzić jego status.  

*Jeśli test się nie powiedzie, tester tworzy zgłoszenie błędu w Jira, dzięki czemu programiści mogą sprawdzić gdzie wystąpił defekt.   

Dzięki Test Plans Report można dokonać analizy testów ze względu na wersję/ sprint / wybraną etykietę (label)/ status/ komponenty. Można też wybrać przedział czasu, w obrębie którego program ma wyświetlić dane (określając start date oraz end date). 

Test Plan Report, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Test Plan Report, źródło: Xray Ebook „How to measure and report quality metrics”

5.5 Test Executions Report 

Test Executions Report agreguje wszystkie wykonania testów w kontekście planów testów; daje wgląd w to, które testy się nie powiodły i wymagają ponownego uruchomienia; pokazuje także postęp trwających testów oraz ich stopień powodzenia (success rate). Użytkownik może wygenerować raport, wybierając tylko interesujące go typy testów.  

*Dla testu, który się nie powiódł można z poziomu Test Executions utworzyć i uruchomić nowy test zamiast zmieniać jego status.   

Dzięki widokowi w Test Executions Report można: 

  • Sprawdzić postęp testów. 
  • Określić czas spędzony na wykonaniu testów. 
  • Zmierzyć postęp testów – raport pokazuje procentową wartość ukończenia testów.  
  • Zidentyfikować i wyeliminować wąskie gardła procesu.  
Test Executions Report, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Test Executions Report, źródło: Xray Ebook „How to measure and report quality metrics”

5.6 Indywidualnie konfigurowane dashboardy 

Rozwiązania Atlassian cechują się wysoką elastycznością i możliwością zaawansowanych konfiguracji. Xray jest natywną aplikacją dla systemu Jira Software i oprócz funkcjonalności typowych dla zarządzania testami, oferuje także dodatkowe ułatwienia jeśli chodzi o tworzenie dashboardów. Każdy użytkownik – tester, programista czy Project Manager – zaangażowany w proces testowania, może posiadać swój własny dashboard, który będzie odpowiadał jego potrzebom – np. przedstawiając wszystkie zadania (Jira tasks), nad którymi dana osoba pracuje oraz te, które ma zaplanowane do wykonania. Project Manager może z kolei zyskać widok pokazujący pracę zespołów i informacje o postępach testowania w czasie rzeczywistym. Ustawienie swojego dashboardu ułatwiają dostępne widgety (np. Test Evolution Gadget, który pokazuje które testy się powiodły, a które nie).  

Nasi specjaliści doradzą Państwu jakie dashboardy sprawdzą się w codziennej pracy dla poszczególnych zespołów i skonfigurują widoki tak, aby odpowiadały wszystkim potrzebom.

Dashboards, Xray, Jira, testing in Jira, Jira solutions, Transition Technologies PSC, Atlassian Partner
Dashboard example, źródło: Xray Ebook „How to measure and report quality metrics”

Platforma do testów automatycznych Jira +Xray+… korzyści: 

  • Łatwa instalacja i konfiguracja, jeśli firma korzysta już z systemu Jira Software. 
  • Szybkie i wydajne zarządzanie testami. 
  • Scentralizowane zarządzanie testami. 
  • Automatycznie generowane wyniki i raporty. 
  • Sesje testowe wykonywane automatycznie lub zgodnie z harmonogramem.
  • Wykorzystanie CI/CD w realizacji testów.

Dlaczego warto podjąć z nami współpracę? 

Platforma do zarządzania testami automatycznymi to rozbudowane środowisko, które dostosowujemy do potrzeb klientów. Posiadamy wykwalifikowane zespoły, które mają doświadczenie wwdrożeniach tego rozwiązania. Pracę rozpoczynamy od analizy potrzeb oraz wymagań tak, aby odpowiednio dopasować poszczególne komponenty ekosystemu do wymagań firmy.  

Jeśli w trakcie czytania opisu platformy do zarządzania testami automatycznymi, pojawiły się jakiekolwiek pytania – zapraszamy do kontaktu. Zadaniem niniejszego artykułu jest zaprezentowanie najważniejszych elementów, cech oraz zalet platformy zbudowanej z narzędzi Jira Software + Xray + (…). Podczas rozmowy chętnie omówimy różne możliwości, wyjaśnimy pojawiające się wątpliwości i wspólnie znajdziemy najbardziej optymalny zestaw narzędzi, które spełnią potrzeby firmy. Mogą Państwo polegać na doświadczeniu oraz wiedzy ekspertów TT PSC. 

How useful was this post?

Click on a star to rate it!

Average rating 4.6 / 5. Vote count: 27

No votes so far! Be the first to rate this post.

Podziel się tym artykułem ze znajomymi!

Platforma do zarządzania testami Oferujemy:
  • Warsztat analityczny 
  • Prezentację rozwiązania Jira Software + Xray + CI/CD + Testy Automatyczne 
  • Dostosowanie środowiska do potrzeb klienta 
  • Kompleksowe wdrożenie 
  • Szkolenie dla użytkowników i/lub administratorów 
  • Stałą obsługę licencji na rozwiązania Atlassian i dodatki do nich 
  • Wsparcie powdrożeniowe  

Skontaktuj się z nami: 

atlassian@ttpsc.pl  

M: +48 605 444 804 

E: Piotr.Kubiak@ttpsc.pl 

Piotr Kubiak

Business Development Manager

Zobacz także:

Poznaj nasze dodatki do systemu Jira

Zobacz więcej

Potrzebujesz unikatowych funkcjonalności? Odezwij się do nas

Zobacz więcej

PMO w Jira - sprawne zarządzanie projektami

Zobacz więcej

To nie wszystko! heart icon

Wejdź na naszą nową stronę i dowiedz się więcej.

MATERIAŁY DO POBRANIA close button

WAŻNE!

  • Wsparcie licencji systemów Atlassian w wersji Server można odnawiać do lutego 2023 roku. Do lutego 2024 roku Atlassian będzie świadczył tę usługę dla klientów którzy mają wykupione wsparcie.
  • Zwiększenie liczby użytkowników posiadanych licencji Server jest możliwe do 2 lutego 2022 roku
  • Atlassian stawia na Cloud i Data Center – nie czekaj! Już teraz zaplanuj migrację wybierając jedną z tych dwóch ścieżek rozwoju infrastruktury

SKONTAKTUJ SIĘ Z NAMI i nie martw się – razem przygotujemy Twoją firmę do zmian 😊