Anwendung gewichteter Kombinatorik bei der Erzeugung und Auswahl von Parametern und deren Repräsentanten im Software-Test (i2M00443)

Art der Arbeit:

Master Thesis

Betreuer:

Oster, Norbert
Lehrstuhl für Informatik 2 (Programmiersysteme)
Telefon +49-9131-85-28995, Fax +49-9131-85-28809, E-Mail: norbert.oster@fau.de

Philippsen, Michael
Lehrstuhl für Informatik 2 (Programmiersysteme)
Telefon +49-9131-85-27625, Fax +49-9131-85-28809, E-Mail: michael.philippsen@fau.de

Daigl, Matthias

Beschreibung der Arbeit:

Ausgangspunkt:
Einige Testverfahren, beispielsweise die Äquivalenzklassenmethode oder Grenzwertanalyse [1] [2] [3] [4], fokussieren sich auf einzelne Parameter. Für diese Parameter ermitteln sie Repräsentanten (Werte oder Klassen von Werten), die im Test zu berücksichtigen sind. Da für die Durchführung von Tests in der Regel nicht nur ein einzelner Parameter, sondern mehrere Parameter benötigt werden, müssen zur Ausführung eines Tests Repräsentanten mehrerer Parameter miteinander kombiniert werden. Üblicherweise werden dazu gut verstandene Kombinationsmethoden verwendet, wie „All Combinations“, „Pair-wise“ oder „Each choice“ [2]. Dabei werden Informationen über Gewichte (Attribute wie bspw. die Wichtigkeit oder Priorität) der Parameter und Repräsentanten nicht berücksichtigt, die sich auf die Anzahl der zugehörigen Testfälle (z.B. aufgrund der Wichtigkeit) bzw. auf ihre empfohlene Reihenfolge (i.S.d. Priorisierung) auswirken sollten. Darüber hinaus gibt es im Falle der Äquivalenzklassenmethode Szenarien, bei denen eine Kombination mehrerer ungültiger Klassen in einem Testfall optional explizit gewünscht, gänzlich unerwünscht oder auf eine bestimmte Anzahl beschränkt bleiben sollte, um einerseits Fehlerkombinationen gezielt zu testen, aber andererseits die Fehlerlokalisierung zu vereinfachen.
Es besteht Grund zur Annahme, dass durch die Berücksichtigung von derartigen Gewichten und Optionen zielgerichtetere und letztlich effizientere Testfälle abgeleitet werden können.

Aufgabenstellung:
Die Arbeit soll folgende Ziele erreichen:

• Vergleichende Bewertung bereits bekannter kombinatorischer Ansätze, die Gewichte bei der Kombination von Parametern oder ihren Werten berücksichtigen

• Ermitteln von Abdeckungskriterien, Strategien und Algorithmen zur Bildung von Kombinationen von Parameterrepräsentanten, die herkömmlichen Ansätzen „überlegen“ (siehe nächster Punkt) sind. Einfließen sollen hierbei:

• + Gewichtung von Parametern (Bsp: „Alkoholkonsum“ mag auf die Unfallwahrscheinlichkeit einen größeren Einfluss haben, als „Alter“)

• + Gewichtung von Parameterrepräsentanten (Bsp: der Einfluss von „Alter“ auf Unfallwahrscheinlichkeit kann für eine Altersklassen höher sein als für jüngere oder ältere Personen)

• + Beziehungen zwischen Repräsentanten unterschiedlicher Parameter: Ein konkreter Repräsentant eines Parameters kann einen Wert eines anderen Parameters implizieren oder ausschließen (u.a. bei ungültigen Äquivalenzklassen). Kombinationen, die solche Regeln verletzen, sollen nicht erzeugt werden, unter Beibehaltung sonstiger Abdeckungskriterien.

• Ermittlung von Maßen und Vorgehensweisen, anhand derer die Relation geeignet bewertet werden kann. Dies beinhaltet die Entwicklung von Fragebögen für Experteninterviews (subjektive Bewertung) und objektive Kriterien.

• Beispielhafte Implementierung ausgewählter (möglichst diversitärer) Algorithmen zur Bildung von Kombinationen mit den oben genannten Eigenschaften im Kontext des Testmanagementtools TestBench CS [5] in Form eines Micro Service. Zwei Ansätze sind zu verfolgen:

• + Vollständige Ermittlung von Kombinationen zu einem definierten Abdeckungskriterium

• + Iterativer Ansatz: Ermittlung möglichst aussagekräftiger Kombinationen bei einer festgelegten Anzahl von Fällen (Obergrenze etwa bei begrenzt verfügbaren Ressourcen zur Testdurchführung)

• Evaluierung der umgesetzten Implementierungen anhand der ermittelten Kriterien. Zwei Ansätze sollen dabei Berücksichtigung finden:

• + Befragung von Testexperten: wie bewerten die befragten Personen die von dem Algorithmen ermittelten Daten im Vergleich zu von den Personen selbst erstellten Testdaten

• + Objektiv (soweit die Datenlage es zulässt) - z.B. erreichte Code-Coverage, gefundene Fehler (evtl. nach error seeding)

Literatur:

• [1] Basiswissen Softwaretest, Spillner/Linz, 6. Auflage, dpunkt Verlag, Heidelberg, 2019

• [2] ISO/IEC/IEEE 29119-4:2021, International Standardization Organization, 2. Auflage, Genf, 2021

• [3] ISTQB® Certified Tester Foundation Level Syllabus. https://istqb-main-web-prod.s3.amazonaws.com/media/documents/ISTQB-CTFL_Syllabus_2018_v3.1.1.pdf

• [4] ISTQB® Certified Tester Advanced Level Syllabus. https://istqb-main-web-prod.s3.amazonaws.com/media/documents/ISTQB_CTAL-TA_Syllabus_v3.1.2.pdf

• [5] TestBench CS, imbus. https://www.testbench.com

In Kooperation mit: imbus AG (Ansprechpartner: Matthias Daigl)

Bearbeitungszustand:

Die Arbeit ist bereits abgeschlossen.