„Modellbasiertes Testen“ – Versionsunterschied

Modellbasiertes Testen (MBT) ist ein Oberbegriff für die Nutzung von Modellen zur

• Automatisierung von Testaktivitäten
• Generierung von Testartefakten im Testprozess.

Darunter fällt insbesondere die Generierung von Testfällen aus Modellen (z.B. unter Verwendung der UML), die das Sollverhalten des zu testenden Systems beschreiben.

Hauptziel ist es, nicht nur die Durchführung von Tests (siehe Testautomatisierung), sondern schon deren Erstellung zu (teil-)automatisieren. Man verspricht sich davon Transparenz und Steuerbarkeit in der Testfallentstehung, wodurch der Testprozess wirtschaftlicher und die Testqualität personenunabhängiger gestaltet werden kann.

Beim MBT wird die zu testende Software oder ihre Umgebung (z.B. in Form von Nutzungsprofilen) oder eben der Test selbst als Verhaltens- und/oder Strukturmodell dargestellt. [Roßner 2010] unterscheidet folglich zwischen

• Systemmodellen
• Umgebungsmodellen
• Testmodellen

im MBT-Einsatz.

Systemmodelle beschreiben Anforderungen an das Softwaresystem und können in Form von Analyse- oder Design-Modellen vorliegen. Sie fokussieren i.A. nicht den Test und beinhalten deshalb insbesondere keine Testdaten (i.S. einer Stichprobe aus allen möglichen Eingabedaten in das System). Folglich kann eine Generierung auf solchen Modellen maximal zu abstrakten Testfällen (d.h. ohne Angabe konkreter Werte für Testdaten) führen.

Testmodelle können aus vorhandenen Systemmodellen entstehen, bieten aber mehr Möglichkeiten für den Test. Sie beschreiben den Test eines Systems und bilden Testentscheidungen, die ein Tester vielleicht nur „im Kopf“ gefällt hat, explizit ab. So können in ihnen nicht nur Abläufe von Testschritten, sondern Testdaten, Prüfschritte und ggf. Testorakel modelliert werden. Als Folge wird es möglich, aus ihnen nicht nur abstrakte, sondern konkrete, ja sogar vollständige und ausführbare Testfälle zu generieren. Verwendet man in Testmodellen eine schlüsselwortbasierte Notation für Testschritte (siehe Keyword-Driven Testing), können sogar automatisiert ausführbare Testfälle entstehen.

Testmodelle setzen aber bei den Testern Kenntnisse in der Erstellung von Modellen voraus. Diese Skillanforderung kann entscheidend für den Erfolg einer MBT-Einführung sein.

Je nachdem, welche Modellkategorien zum Einsatz kommen und welche Rolle die Modelle im modellbasierten Testprozess spielen, kann man von unterschiedlichen Ausprägungen und Reifegraden von MBT sprechen. [Roßner 2010] definiert die folgenden:

• Beim modellorientierten Testen dienen Modelle als Leitfaden und Grundlage für das Testdesign, ohne dass zwingend Generatoren zum Einsatz kommen müssen. Da Modelle im Vergleich zu natürlichsprachlichen Anforderungsspezifikationen deutliche Qualitätsvorteile mit sich bringen können, profitiert schon hier die Testqualität.
• Modellgetriebenes Testen bezeichnet den Einsatz von Generatoren, um Testartefakte, insb. Testfälle, aus Modellen zu generieren. Häufig handelt es sich hierbei aber um eine unidirektionale Werkzeug-Einbahnstraße, bei der z.B. die Testergebnisse nicht ins Modell zurück übertragen werden.
• Werden alle relevanten Testinformationen in Modellform gepflegt und die Werkzeuge zu einem Ring verbunden, kann von modellzentrischem Testen gesprochen werden.

Je nachdem, welche Modelle Grundlage der Testgenerierung sein sollen und wie weit die Generierung reichen soll, ist der Einsatz von kommerziellen Generatoren oder die Eigenentwicklung eines Generators vorzusehen. Eine Übersicht über kommerzielle MBT-Werkzeuge ist zu finden in [Götz 2009]. Darin findet man folgende Taxonomie für MBT-Werkzeuge:

• Modellbasierte Testdatengeneratoren sind Werkzeuge, die basierend auf einem Modell der Eingangs- und Ausgangsdaten des Testobjekts und bestimmten Steuerinformationen Testdaten für die Erstellung von abstrakten und/oder konkreten Testfällen erzeugen. (Beispiel: CTE, siehe Klassifikationsbaum-Methode)
• Modellbasierte Testfalleditoren sind Werkzeuge, die basierend auf einem abstrakten Modell von Testfällen konkrete Repräsentationen des Testfalls zur manuellen Durchführung bzw. Testskripte zur automatischen Testdurchführung erzeugen.
• Modellbasierte Testfallgeneratoren sind Werkzeuge, die basierend auf einem Modell des Systemverhaltens, der Systemumgebung oder des Tests sowie bestimmter Steuerinformationen mehrere (logisch zusammengehörende) Testfälle bzw. Testskripte automatisch nach konfigurierbaren Abdeckungskriterien erzeugen.

Eine andere und komplexere Taxonomie ist zu finden in [Utting 2007].

In der Regel wird es nötig sein, die Testabdeckung beim Generiervorgang steuern zu können. Typischerweise finden hierbei die aus den White-Box-Test-Verfahren bekannten graphenbasierten Abdeckungsmaße Verwendung (siehe Kontrollflussorientierte Testverfahren), aber es sind auch andere Abdeckungsstrategien denkbar (z.B. aufgrund von Risikoinformationen im Modell).

Vor der Generierung ist es i.A. unverzichtbar, nicht nur den Generator zu testen, sondern die zu verarbeitenden Modelle geeigneten QS-Maßnahmen zuzuführen. Dazu zählen z.B. Reviews, werkzeuggestützte Prüfungen gegen Metamodelle oder Model Checking.

Ein Werkzeug welches die Beschreibung eines Modells, dessen graphische Darestellung als Ablaufdiagramme bis hin zur Implementierung und Ausführung von Testfällen ermöglicht ist Spec Explorer von Microsoft, welches als kostenfreies Add-on für Visual Studio angeboten wird. ^[1]

• Hardware in the Loop – Methode zum Test eingebetteter Systeme (z. B. Fahrzeugsteuergeräte)
• Liste von Modultest-Software
• modellzentriertes Testen - Methodik für Design und Spezifikation im Softwaretest; Erweiterung des modellbasierten Testdesigns um Testmanagementinformationen, das Mindset des Testers und Möglichkeiten zur Anpassung an Speziallösungen
• Time Partition Testing: Modellbasierter Test eingebetteter Steuerungs- und Regelungssysteme
• Zustandsbezogener Test

• [Baker 2008] Baker, P.; Dai, Z. R.; Grabowski, J.; Haugen, Ø.; Schieferdecker, I.; Williams, C.: "Model-Driven Testing – Using the UML Testing Profile". Springer-Verlag, Berlin, 2008, ISBN 3-642-09159-8
• [Bringmann 2008] Eckard Bringmann, Andreas Krämer. "Model-Based Testing of Automotive Systems", In: ICST, pp.485-493, 2008 International Conference on Software Testing, Verification, and Validation, 2008 (PDF-Datei; 228 kB)
• [Eckardt 2009] Eckardt, T.; Spijkerman, M.: "Modellbasiertes Testen auf Basis des fundamentalen Testprozesses". Beitrag zur TAV 28 in Dortmund, 2009
• [Götz 2009] Götz, H.; Nickolaus, M.; Roßner, T.; Salomon, K.: "iX-Studie Modellbasiertes Testen". Heise Zeitschriften Verlag, Hannover, 2009
• [Güldali 2010] Güldali, B.; Jungmayr, S.; Mlynarski, M.; Neumann, S.; Winter, M.: "Starthilfe für modellbasiertes Testen: Entscheidungsunterstützung für Projekt- und Testmanager". OBJEKTspektrum 3/10, S. 63-69, 2010
• [Pretschner 2006] Pretschner, A.: "Zur Kosteneffektivität modellbasierten Testens". Dagstuhl-Workshop MBEES: Modellbasierte Entwicklung eingebetteter Systeme II, Braunschweig, 2006
• [Roßner 2010] Roßner, T.; Brandes, C.; Götz, H.; Winter, M.: "Basiswissen Modellbasierter Test". dpunkt-Verlag, 2010, ISBN 3-898-64589-4
• [Schieferdecker 2007] Schieferdecker, I.: "Modellbasiertes Testen". OBJEKTspektrum 3/07, S. 39-45, 2007
• [Utting 2006] Utting, M.; Pretschner, A.; Legeard, B.: "A Taxonomy of Model-Based Testing". Working Paper 4/2006, University of Waikato, 2006
• [Utting 2007] Utting, M.; Legeard, B.: "Practical Model-Based Testing – A Tools Approach". Morgan Kaufmann Publ., Amsterdam, 2007, ISBN 0-123-72501-1
• Justyna Zander, Ina Schieferdecker, Pieter J. Mosterman: Model-Based Testing for Embedded Systems (Computational Analysis, Synthesis, and Design of Dynamic Systems), CRC Press 2011, ISBN 1439818452.

1. ↑ Spec Explorer

• Starthilfe für modellbasiertes Testen: Entscheidungsunterstützung für Projekt- und Testmanager in OBJEKTspektrum 03/2010 (PDF-Datei; 856 kB)
• Modellgetriebene Testentwicklung Ausführlichere Darstellung Modellgetriebener Testentwicklung (Model Driven Test Development, MDTD). (PDF-Datei; 7,39 MB)
• Modellbasiertes Testen automobiler Steuergeräte In: ICST, pp.485-493, 2008 International Conference on Software Testing, Verification, and Validation, 2008. (PDF-Datei; 228 kB)
• Download von oAW-Test auf der Basis von MDTD
• Flexibilität beim modellbasierten Testen mit Enterprise Architect von www.sparxsystems.de (PDF-Datei; 921 kB)