_Automatische und manuelle Tests - Testmanagement-Plattform basierend auf Jira Software + Xray

Die Entwicklung von Anwendungen ist nicht mehr die Domäne der großen Softwarehäuser, sondern die von Unternehmen aus verschiedenen Branchen. Derzeit erstellen die meisten Unternehmen, die Kunden oder Mitarbeitern irgendwelche IT-Lösungen zur Verfügung stellen, diese selbst. Daher ist die wachsende Nachfrage weniger nach Systemen, die die Softwareentwicklung ermöglichen, sondern nach Lösungen, die den gesamten Prozess automatisieren und beschleunigen.

Eine der strategischen Phasen der Softwareentwicklung ist das Testen – jedes einzelne „Paket“ von Code sollte getestet werden, um Fehler so schnell wie möglich zu identifizieren und zu beheben. Neben der Automatisierung ist es wichtig, dass die Umgebung die Silos zwischen den Entwicklungs- und Betriebsteams überbrückt (im Einklang mit den DevOps-Prinzipien).

Beide Anforderungen werden von Jira Software in Verbindung mit der Xray-Anwendung und weiteren Softwareentwicklungswerkzeugen erfüllt.

Xray – Vorteile

• Die Anwendung wurde von Tausenden von Anwendern getestet – nach Angaben des Herstellers wird sie von mehr als 5000 Kunden aus 70 Ländern der Welt genutzt.
• Niedrigerer Preis als die Preise von konkurrierenden Anwendungen. Empfohlen: Xray vs Zephyr
• Kompatibilität mit Atlassian-Tools – ermöglicht die Verwaltung aller Tests als Tickets (Jira-Issues) in der Jira-Software.
• Bietet Testautomatisierung nach der BDD-Methodik und Integration mit Frameworks wie: JUnit, NUnit, Robot, Behave, Selenium
• Xray interagiert mit DevOps Lösungen (z.B. Jenkins, Bamboo, GitLab) und erfüllt das Konzept.
• Erweiterte Berichte, teamspezifische Ansichten (Dashboards), Gadgets.

Empfohlen: Xray Test Management – Product Walkthrough für Jira Server/DC:

Für wen ist es?

• für jedes Unternehmen, das Software entwickelt oder einkauft.
• Software Development House, Telekommunikation, Bank- und Finanzwesen, Energie, Schifffahrt, u.a.

Woraus besteht die Lösung? Hauptbestandteile

• Jira Software
• Xray
• Cucumber
• GitLab/ Bitbucket
• Jenkins / Bamboo

+ zusätzliche Tools für die Durchführung spezifischer Testtypen (z. B. API-, Mobile-, UI-, Sicherheits- und Leistungstests sowie Berichterstattung)

Die einzelnen Tools können variieren, je nachdem, welche Lösungen ein Unternehmen einsetzt.

Wie sieht es aus? Ein Beispiel für einen Testautomatisierungsprozess und seine wichtigsten Merkmale

• Ein gemeinsamer Standard für die Entwicklung von manuellen und automatisierten Tests mit Cucumber.
• Verbindungen zwischen Anforderungen, Tests, Ergebnissen und Defekten.
• Vollständige CI/CD-Automatisierung mit Jenkins Pipeline, ermöglicht früheres
  und schnelleres Testen (Shift Left).
• Vollständige Integration mit Tools zur Testautomatisierung, wodurch es möglich ist, Tests aus Xray heraus auszuführen und die Ergebnisse ihrer Ausführung automatisch abzurufen.
• Einfache Testplanung, Berichterstellung und Erstellung von benutzerdefinierten JIRA-Dashboards zur Verfolgung des Projektfortschritts.
• Verbesserte Teamkommunikation.
• Möglichkeit der Integration mit anderen Systemen über REST API.

Was wird dadurch ermöglicht?

Die Kombination der Funktionalität von Jira Software mit ausgewählten Anwendungen ermöglicht: die Vorbereitung, Ausführung, Überwachung, Verwaltung von automatisierten Tests und Analyse ihrer Ergebnisse auf zentralisierte Weise. Das Software-Entwicklungsteam erhält eine kohärente Umgebung für das agile Aufgabenmanagement auf der Grundlage von Anfragen im Jira Software-System und für automatische Tests unter Verwendung der BDD-Methodik (behavioral-driven development). Die Plattform enthält auch Jenkins-Funktionalität für CI/CD-Aktivitäten sowie zusätzliche Plugins und Skripte, wodurch die Arbeit des gesamten Teams rationalisiert wird. Trotz der Verwendung vieler verschiedener Tools handelt es sich um eine kohärente, integrierte und umfassende Lösung.

Test-Organisation

Testprozess

Der Testprozess besteht aus mehreren Schritten, die Folgendes beinhalten:

1. Planung der Testdurchführung
2. Test-Design
3. Ausführen der Tests
4. Überwachung des Fortschritts
5. Erstellung von Berichten und Analyse der Ergebnisse

Die Plattform, die mit Jira Software + Xray + Cucumber + Jenkins + (andere Testmanagement-Apps) aufgebaut ist, stellt sicher, dass jeder Schritt reibungslos abläuft, so dass Teams den gesamten Prozess nahtlos ausführen können, ohne sich wiederholende Aktivitäten durchführen zu müssen; Automatisierungsmechanismen lassen das Ganze in einer gut organisierten Reihenfolge von Aktivitäten ablaufen. Im Folgenden finden Sie kurze Beschreibungen zu jedem von ihnen.

1. Planung der Testdurchführung

Die Testplanung kann viele Formen annehmen, abhängig von den angenommenen Kriterien und den Designanforderungen. Notwendige Faktoren, die bestimmt werden müssen, sind:

• Die Art der geplanten Tests.
• Identifizieren der Anforderungen, die wir testen wollen.
• Festlegen, wie wir die Anforderungen prüfen wollen: automatisch/manuell.
• Zuweisung von Ressourcen.
• Wer, wo und wann die Tests durchführen wird.

Die von uns angebotene Lösung verfügt über eine Funktionalität (das von Xray bereitgestellte Testplan-Objekt), die es erlaubt, Tests für eine bestimmte Version innerhalb ihres Testplans zu sammeln; ein so erstellter Testplan zeigt die Ergebnisse aller Aktivitäten an, d.h. er zeigt die aktuellen Zustände aller laufenden Tests innerhalb des Plans an, unabhängig von der Anzahl der Testiterationen. Dies lässt sich am besten anhand eines Beispiels einer erstellten Testplanansicht veranschaulichen:

Ansicht des Objekts Test Plan Board, Quelle: https://www.getxray.app/

Das Objekt „Testplan“ bietet:

• Eine übersichtliche Ansicht der Tests für eine bestimmte Version mit den wichtigsten Informationen wie: den Tests zugewiesene Person, Anzahl der ausgeführten Tests, letzter Status (in Echtzeit).
• Die Möglichkeit, eine oder mehrere Testausführungen für alle oder nur einen Teil der in diesem Plan enthaltenen Tests durchzuführen.
• Möglichkeit, einen oder mehrere Testpläne einer bestimmten Version zuzuordnen.
• Fähigkeit, den Fortschritt dieser Tests innerhalb jedes Testplans zu überwachen.

Zusätzliche Funktionalität – das Test-Repository – organisiert Tests hierarchisch in Ordnern; wenn mehrere Testzyklen (Testausführungen) geplant und ausgeführt werden, gruppiert das Dashboard die Ergebnisse dieser Tests und zeigt den aktuellen Status für jeden an; wenn Sie den Status einer bestimmten Teilmenge von Tests überprüfen müssen, wählen Sie einfach den entsprechenden Ordner aus:

Test-Repository

2. Analyse, Design und Durchführung von Tests

Bei der Analyse, dem Design und der Durchführung von Tests geht es darum, von strategischen, zentralen Annahmen zu spezifischen technischen Aspekten zu gelangen. Einfach ausgedrückt, erfordert der Testentwurf eine Analyse dessen, „was“ und „wie“ getestet werden soll, einschließlich risikobasierter Tests.

Unter Verwendung der in der Jira Software-Umgebung mit Xray aufgebauten Plattform sollten Sie spezifische Objekte erstellen, die die Schritte, Testdaten und das erwartete Ergebnis enthalten, um zu veranschaulichen, wie die Tests ablaufen sollen. Einzelne Testfälle sollten beschriftet werden (mit Labels), was die spätere Überwachung des Fortschritts wesentlich erleichtert.

Beim Testdesign geht es um:

• Organisieren von Tests in Testsätzen (Test Set).
• Ausschreiben der in den Testbedingungen oder der Dokumentation angegebenen Testfälle.
• Erstellen von Testdaten. Hinweis!: wenn Sie den Objekten Bezeichnungen geben, können Sie den Fortschritt Ihrer Arbeit später effektiv überwachen.

3. Testdurchführung

Die Testdurchführung ist die Aktivität, die zwischen der Erstellung von Testskripten und dem Bericht und der Analyse der Testergebnisse stattfindet.

Test Execution (in der Umgebung als „Test Execution“ sichtbar) ist ein Objekt, das eine benutzerdefinierte Sammlung von Tests zusammenfasst und überwacht und verifiziert, dass die Tests im Zielkontext und in der Zielumgebung funktionieren.

Mit dem Objekt „Testdurchführung“ kann der Anwender (z. B. Testmanager):

• die Testdurchführungsaufgabe für eine bestimmte Gruppe von Tests (manuell oder automatisch) einem Tester zuweisen; es ist auch möglich, einzelne Testdurchführungen mehreren Testern zuzuweisen.
• den Fortschritt der Tests durch den ständig aktualisierten Status jedes Tests (z. B. „pass“, „fail“, „executing“, „to do“) sehen,
• sich einen Überblick über die vom Programm erzeugten Testergebnisse verschaffen.

Overall Execution Status

Xray ermöglicht das Erstellen von benutzerdefinierten Status für automatisierte und manuelle Tests (so können Sie z. B. zusätzliche Statusnamen erstellen, um z. B. Fehlerursachen zu unterscheiden – „Exception“ verursacht durch einen Codefehler/ „Not-implemented“ – fehlender implementierter Schritt). Die Testausführung ist abgeschlossen, wenn alle Tests, die die angegebene Systemfunktionalität überprüfen, beendet sind.

4. Überwachung des Fortschritts

Die aus den von uns vorgeschlagenen Lösungen aufgebaute Plattform bietet viele verschiedene Möglichkeiten, den Fortschritt der Arbeiten zu überwachen. Dazu gehören:

4.1 Test-Sets Übersicht (Test Sets Overview)

Testsatzübersicht ist eine Ansicht für den Test Manager – sie enthält Informationen über alle Tests, die einer bestimmten Funktion zugeordnet sind: ihren Status, ihren Typ (manuell/automatisch) und ob alle Funktionen für den Test eines bestimmten Testsatzes vorgesehen sind

Test Set Overview

4.2 Übersicht über die Testdurchführung (Test Execution Overview)

Testdurchführung ist die Menge der Tests, die zum Testen einer bestimmten Funktionalität erforderlich ist. Mit dieser Ansicht hat der Manager einen Überblick über alle Tests für die jeweilige Systemfunktionalität, die gerade getestet wird. Es wird angezeigt, welche Arten von Tests es gibt; ob sie manuell oder automatisch sind, wem die Ausführung des ausgewählten Tests zugewiesen ist, welcher Testmenge die ausgewählten Tests zugewiesen sind, und es werden auch die Status jedes angezeigten Tests angegeben (erfolgreich / fehlgeschlagen / zu tun / oder andere vom Administrator konfigurierbare Status). Mit zwei einfachen Klicks können Sie auf Informationen zu jedem Schritt des Tests zugreifen, ebenso wie auf die Kommentare, die jedem Test während seiner Ausführung hinzugefügt wurden.

Test Execution Overview

4.3 Überprüfung der Ergebnisse und Planung von Tests (Testplan)

Eine weitere Möglichkeit, eine schnelle und übersichtliche Ansicht der ausgeführten Tests zu erhalten, ist die Verwendung der Testplankarte. Ähnlich wie das Objekt „Test Set“ erlaubt es, Tests z. B. nach dem Datum ihrer Erstellung, bestimmten Komponenten oder anderen in die Tests eingegebenen Informationen zu filtern und in einer Liste zu gruppieren. Neben den grundlegenden Informationen zeigt es auch ihren Status an. Die Rolle des Objekts „Test Plan“ besteht darin, ein schnelles Auffinden bestimmter Tests und die Überprüfung und entsprechende Gruppierung ihrer Ergebnisse zu ermöglichen, sowie die Ausführung der noch nicht gestarteten Tests zu planen.

Der Testplan kann für eine bestimmte Version oder einen bestimmten Sprint erstellt werden, so dass Sie die Ergebnisse verschiedener Tests verfolgen können, z. B. können Sie einen Testplan für Regressionstests und einen anderen für Funktionstests erstellen.

Test Plan Board

5. Erstellung von Berichten und Analyse der Ergebnisse

Die Analyse der Ergebnisse und die übersichtliche Darstellung der gesammelten Informationen an einem Ort ist eine der wichtigsten Funktionen, die eine gute Lösung für das Testmanagement haben muss. Xray verfügt über integrierte Module zum Erstellen von Berichten und Analysieren von Daten, sodass ein Product Owner, Scrum Master oder Test Manager schnell Engpässe erkennen und die Effizienz seiner Teams verbessern kann. Dank der Flexibilität von Jira Software ist es möglich, zusätzliche, dedizierte Ansichten (Dashboards) zu konfigurieren, die die gewünschten Zusammenfassungen in Form von Diagrammen sammeln.

5.1 Traceability Report

Oft ist es notwendig, noch vor – oder während – der Einführung von Tests zu überprüfen, ob die geplanten Aktivitäten mit den Anforderungen des Kunden/Projekts übereinstimmen. Der Traceability Report zeigt die eingeführten Anforderungen, Tests und Defekte und sammelt Daten in Form von Diagrammen, die die Zusammenhänge zwischen den Aktivitäten gut wiedergeben. So lassen sich potenzielle Mängel leicht erkennen und die „Bereitschaft“ der einzuführenden Tests beurteilen.

Traceability Report, Quelle: Xray Ebook „How to measure and report quality metrics“

5.2 Overall Requirement Coverage Report

Die Abschätzung der Zeit bis zum Abschluss der Tests ist dank des „Overall Requirement Coverage Report“ möglich, der Daten zum Fortschritt der Tests sammelt – ein Blick auf diesen Bericht reicht aus, um zu beurteilen, ob das Produkt bereit für die Veröffentlichung ist. Mit diesem Modul können die Teststatus pro Sprint überprüft und festgestellt werden, welche Testbereiche verbessert werden müssen. Der „Overall Requirement Coverage Report“ ermöglicht die Eingrenzung des Umfangs der zu prüfenden Tests durch die Auswahl bestimmter Anforderungen (Requirement Issues)/User Stories/übergreifender Aufgaben (Epics)/ oder durch die Verwendung erweiterter JQL-Filterung.

• Hilft, die Zeit bis zur Markteinführung eines Produkts oder einzelner Teile eines Produkts abzuschätzen.
• Erleichtert die Identifizierung von Bereichen mit Verbesserungspotenzial.
• Gibt QA-Managern einen Einblick in den Fortschritt der Tests.
• Ermöglicht die Kommunikation des aktuellen Teststatus an das Entwicklungsteam, so dass alle auf dem neuesten Stand sind.

Overall Requirement Coverage Report, Quelle: Xray Ebook „How to measure and report quality metrics“

5.3 Historical Requirement Coverage

Eine weitere Möglichkeit, den Fortschritt zu überprüfen, ist die Verwendung des Moduls „Historical Requirement Coverage“ – eine Funktionalität, die für Testmanager, Produktmanager, Projektmanager und Personen auf Kundenseite geschaffen wurde, die an der Veröffentlichung der Anwendung beteiligt sind und einen Überblick über den Workflow haben möchten. Historische Anforderungsabdeckung (Historical Requirement Coverage ) stellt den Status bestimmter Tests in einem gewünschten Zeitbereich dar – so ist es möglich, den gesamten Pfad vom Beginn des Projekts zu verfolgen oder z.B. den letzten Monat auszuwählen; der Bericht veranschaulicht den Testfortschritt sehr gut und hilft dabei, den gesamten Umfang der Aktivitäten zu analysieren und abzuschätzen, ob die Arbeit innerhalb der angenommenen Zeit abgeschlossen wird.

• Erzeugt Informationen, die einen Nachweis über den Testabschluss liefern.
• Kann als Dokument dienen, das den Fortschritt der Veröffentlichung zeigt.
• Ideal für Unternehmen, die Tests/Entwicklungen für externe Parteien durchführen.

Historical Requirement Coverage, Quelle: Xray Ebook „How to measure and report quality metrics“

5.4 Testpläne Bericht (Test Plans Report)

Test Plans Report ist mit dem Modul Test Plan verknüpft und gibt einen Fortschrittsüberblick über alle Tests, die darin angesammelt sind (Test Plan) – er zeigt in einer übersichtlichen Tabelle an, wie viele Tests welchen Status haben; er erlaubt es, den Fortschritt der Aktivitäten vor der Produktfreigabe abzuschätzen; er gibt auch ein klares Bild von Defekten, die im Bericht in Echtzeit erscheinen. Aus dem Testplan-Bericht können Sie direkt zum beschriebenen Fehler gehen und seinen Status überprüfen.

*Wenn ein Test fehlschlägt, erstellt der Tester einen Fehlerbericht in Jira, damit die Entwickler sehen können, wo der Fehler aufgetreten ist.

Mit dem Testplanbericht können Sie Tests nach Version/Sprint/ausgewähltem Label/Status/Komponenten analysieren. Sie können auch das Zeitintervall auswählen, innerhalb dessen das Programm Daten anzeigen soll (durch Angabe von Start- und Enddatum).

Test Plan Report, Quelle: Xray Ebook „How to measure and report quality metrics“

5.5 Bericht über Testausführungen (Test Executions Report)

Der Testausführungsbericht fasst alle Testausführungen im Kontext von Testplänen zusammen; gibt Aufschluss darüber, welche Tests fehlgeschlagen sind und neu gestartet werden müssen; zeigt außerdem den Fortschritt laufender Tests und deren Erfolgsquote. Der Benutzer kann den Bericht generieren, indem er nur die Testtypen auswählt, die ihn interessieren.

*Für einen fehlgeschlagenen Test können Sie über Testausführungen einen neuen Test erstellen und ausführen, anstatt seinen Status zu ändern.

Mit der Ansicht im Testausführungsbericht können Sie:

• den Fortschritt der Tests überprüfen.
• den Zeitaufwand für die Durchführung der Tests ermitteln.
• den Testfortschritt messen – der Bericht zeigt den Prozentsatz der Testfertigstellung an.
• Prozess-Engpässe identifizieren und beseitigen.

5.6 Individuell konfigurierbare Dashboards

Die Lösungen von Atlassian sind sehr flexibel und in hohem Maße konfigurierbar. Xray ist eine native Anwendung für Jira Software und bietet neben den üblichen Testmanagement-Funktionen zusätzliche Möglichkeiten zur Erstellung von Dashboards. Jeder am Testprozess beteiligte Benutzer – Tester, Entwickler oder Projektmanager – kann sein eigenes Dashboard haben, das seinen Bedürfnissen entspricht – z.B. die Darstellung aller Aufgaben (Jira Tasks), an denen er gerade arbeitet und die er geplant hat, zu erledigen. Der Projektmanager wiederum kann eine Ansicht erhalten, die die Arbeit der Teams und Informationen über den Fortschritt des Testens in Echtzeit zeigt. Das Einrichten eines eigenen benutzerdefinierten Dashboards ist mit den verfügbaren Widgets (wie dem Test Evolution Gadget, das anzeigt, welche Tests erfolgreich waren und welche fehlgeschlagen sind) einfach.

Unsere Spezialisten beraten Sie, welche Dashboards für jedes Team im täglichen Einsatz gut funktionieren und konfigurieren Ansichten, die allen Anforderungen gerecht werden.

Dashboard-Beispiel, Quelle: How to measure and report quality metrics

Die Jira +Xray+… automatisierte Testplattform. Vorteile:

• Einfache Installation und Konfiguration, wenn Ihr Unternehmen bereits Jira Software einsetzt
• Schnelles und effizientes Testmanagement
• Zentrales Testmanagement
• Automatisch generierte Ergebnisse und Berichte
• Automatisch oder nach Zeitplan ausgeführte Testsitzungen
• Einsatz von CI/CD bei der Testdurchführung

Warum sollten Sie mit uns zusammenarbeiten?

Die automatisierte Testmanagement-Plattform ist eine leistungsstarke Umgebung, die wir an Ihre Bedürfnisse anpassen. Wir haben qualifizierte Teams, die Erfahrung in der Implementierung dieser Lösung haben. Wir beginnen unsere Arbeit mit einer Bedarfs- und Anforderungsanalyse, um bestimmte Komponenten des Ökosystems an die Anforderungen des Unternehmens anzupassen.

• Wir haben über 10 Jahre Erfahrung.
• Wir sind ein Platinum Partner von Atlassian.
• Wir sind ein Partner von Xpand, dem Entwickler der Xray-Anwendung.
• Wir haben die Plattform für automatisierte Tests für Organisationen in Branchen wie Telekommunikation, Energie und Industrie implementiert.
• Wir haben mehr als 50 Anwendungstester, die in unserem Unternehmen arbeiten.
• Wir bieten Dienstleistungen rund um die Quality Assurance an.
• Implementierungen für Businesskunden werden durchgeführt von: Business-Analysten, Test-Managern, Jira-Administratoren und Entwicklern.
• Wir legen Wert auf gute partnerschaftliche Beziehungen zu unseren Kunden.

Falls Sie beim Lesen der Beschreibung der automatisierten Testmanagement-Plattform Fragen haben, nehmen Sie bitte Kontakt mit uns auf. Der Zweck dieses Artikels ist es, die wichtigsten Elemente, Funktionen und Vorteile der mit Jira Software + XRay + (…) Tools aufgebauten Plattform vorzustellen. Im Gespräch mit unseren Kunden besprechen wir gerne die verschiedenen Möglichkeiten, klären aufkommende Zweifel und finden gemeinsam das optimale Set an Tools, das den Anforderungen Ihres Unternehmens entspricht. Verlassen Sie sich auf unsere Erfahrung und das Know-how der TT PSC-Experten.