KI-Testing: Teststrategie neu denken
Fünf Leitsätze aus der QA-Praxis
KI-Agenten beschleunigen die Codeentwicklung. Wie hält das Testen Schritt? Fünf Leitsätze zeigen, wie KI-Testing die Teststrategie verändert, wie stark der Testaufwand in drei Projekten sank und warum die Freigabe beim Menschen bleibt.
Was ist KI-Testing?
KI-Testing, auch AI-Testing oder KI-gestütztes Testen genannt, bezeichnet den Einsatz künstlicher Intelligenz zur Unterstützung von Softwaretests. Je nach Werkzeug und Einsatzszenario leitet KI Testfälle aus Anforderungen ab, erstellt Testskripte, unterstützt die Reparatur fehlschlagender Tests und hilft, echte Fehler von Fehlalarmen zu unterscheiden.
KI-Testing auf einen Blick:
Verantwortung
Menschen bleiben für die Qualität verantwortlich, auch wenn KI-Tests spezifiziert und automatisiert werden.
Automatisierung
Unternehmen, die autonome Testplattformen einsetzen, berichten in einer 2026 veröffentlichten Forrester-Auswertung von einem durchschnittlichen Automatisierungsgrad zwischen 51 und 60 %. Als historisches Branchenplateau bezeichnet Forrester rund 25 % (Forrester, 2026).
Aufwand
In drei Projekten von Arvato Systems sank der Aufwand für Testdesign und Testautomatisierung nach Einschätzung der Teams um etwa 50 bis 90 %, allerdings unter günstigen Bedingungen.
Hürden
Die Einführung braucht organisatorische und technische Voraussetzungen: Menschen mitnehmen, Rollen klären, Projekte vorbereiten, Integration und Zuverlässigkeit sicherstellen, Kosten steuern und den Datenschutz einhalten.
Was die Softwareentwicklung von der Fertigung lernen kann
Ein Roman, ein Song oder ein Bild aus dem Sprachmodell stößt bei vielen Menschen auf Skepsis. Beim Smartphone oder beim Fernseher fragt dagegen kaum jemand, ob ein Mensch oder ein Roboter das Gerät montiert hat. Dort zählen Preis und Funktion. Software gehört in diese zweite Kategorie: Wer den Code geschrieben oder getestet hat, spielt für Kundinnen und Kunden kaum eine Rolle. Damit stellt sich die Frage nach der Teststrategie mit KI neu.
Die Fertigungsindustrie hat diese Frage bereits beantwortet. Als Roboter die Montage übernahmen, industrialisierte die Branche auch die Qualitätssicherung: mit festen Toleranzen, laufender Prozesskontrolle und einer Prüfung am Bandende. Das Vertrauen in das Produkt hängt von dieser Prüfkette ab. Vor einer vergleichbaren Aufgabe steht nun die Softwareentwicklung.
Standortbestimmung: Wie bereit ist Ihr Testprozess für KI?
Viele Teststrategien stammen aus einer Zeit, in der Menschen Testfälle von Hand entwarfen und durchführten. Sie funktionieren, kosten aber viel Zeit und hinterlassen dabei Lücken. Mit fünf Fragen finden Sie heraus, ob Ihre Strategie noch nach diesem Muster arbeitet:
- Liegen Testergebnisse erst lange nach Fertigstellung der Entwicklung vor?
- Arbeiten Testerinnen und Tester vor jedem Release von Hand Regressionstests ab?
- Bleiben ganze Funktionsbereiche ungetestet, weil die Zeit nicht ausreicht?
- Kosten die Lizenzen für Testwerkzeuge viel, während ein Wechsel als zu riskant gilt?
- Fehlen klare Regeln, wo und wie KI im Test eingesetzt werden darf?
Beantworten Sie mehrere Fragen mit Ja, finden Sie in den folgenden Leitsätzen Ansatzpunkte. Grundlagen zu Methoden und Werkzeugen beschreibt unser Beitrag: „Software-Teststrategie: Qualität, Tools & Methoden“.
Warum wird KI-Testing jetzt wichtig?
Was Sprachmodelle heute leisten, war Ende 2022 beim Start von ChatGPT kaum vorstellbar. Sie analysieren Anforderungen, leiten Testfälle ab und schreiben Testskripte. Damit übernimmt KI zunehmend auch die intellektuellen Tätigkeiten von Testerinnen und Testern.
Nach Einschätzung von Arvato Systems reicht KI heute für viele Anwendungen technisch aus, um Tests weitgehend selbstständig zu erstellen und zu automatisieren. Schwierigere Domänen dürften bald folgen. Im Testalltag vieler Projekte fehlt KI trotzdem, meist weil die Einführung in Teams und Prozessen nur schleppend vorankommt.
Dazu kommt das Tempo. Wenn KI die Codeentwicklung beschleunigt, die Tests jedoch weiterhin manuell und langsam durchgeführt werden, droht das Testen zum Flaschenhals zu werden.
Der Grundsatz: Die Verantwortung bleibt beim Menschen
Viele Teststrategien stammen aus einer Zeit, in der Menschen Testfälle von Hand entwarfen und durchführten. Sie funktionieren, kosten aber viel Zeit und hinterlassen dabei Lücken. Mit fünf Fragen finden Sie heraus, ob Ihre Strategie noch nach diesem Muster arbeitet:
- Liegen Testergebnisse erst lange nach Fertigstellung der Entwicklung vor?
- Arbeiten Testerinnen und Tester vor jedem Release von Hand Regressionstests ab?
- Bleiben ganze Funktionsbereiche ungetestet, weil die Zeit nicht ausreicht?
- Kosten die Lizenzen für Testwerkzeuge viel, während ein Wechsel als zu riskant gilt?
- Fehlen klare Regeln, wo und wie KI im Test eingesetzt werden darf?
Beantworten Sie mehrere Fragen mit Ja, finden Sie in den folgenden Leitsätzen Ansatzpunkte. Grundlagen zu Methoden und Werkzeugen beschreibt unser Beitrag: „Software-Teststrategie: Qualität, Tools & Methoden“.
Der Grundsatz: Die Verantwortung bleibt beim Menschen
Vor allen fünf Leitsätzen gilt ein Grundsatz: „Humans Own Quality“. Die Verantwortung für die Qualität bleibt bei den zuständigen Personen und Teams. Das Vertrauen in KI-Agenten bei Release-Entscheidungen ist zuletzt sogar gesunken. Laut dem Tricentis Quality Transformation Report 2026 überlassen nur noch 34 % der IT- und QA-Verantwortlichen KI-Agenten die Release-Entscheidungen. Ein Jahr zuvor waren es 48 %.
Deshalb ist ein risikobasiertes Vorgehen sinnvoll. Bei kritischen Funktionen durchdringen Testerinnen und Tester die Anwendung selbst und suchen nach Fehlern oder Lücken in den KI-Tests. Vollständige Autonomie ist heute nur bei sehr unkritischen Anwendungen oder Funktionen denkbar. Wie weit sie künftig reicht, ist offen. Ein guter Kompromiss: Die KI spezifiziert und automatisiert die Tests, Menschen prüfen beides. So entsteht eine geprüfte, reproduzierbare Basis für alle künftigen Ausführungen.
Was sich konkret ändert
Nutzen Teams die Möglichkeiten von KI konsequent, ändert sich die Teststrategie grundlegend. Die folgenden Leitsätze zeigen die Richtung, bewusst zugespitzt.
-
Leitsatz 1: Test Early, Test Always – früh und durchgängig testen
Shift-Left und Test-Driven Development gelten seit Jahren als gute Praxis. Im Projektalltag scheitert ihre durchgängige Umsetzung jedoch häufig am Aufwand, an bestehenden Abläufen oder an unterschiedlichen Vorstellungen im Team.
Mit KI entstehen Unit-Tests und Akzeptanzkriterien in Minuten, und die Hürde sinkt. KI-Agenten halten zudem vereinbarte Regeln wie Test-first konsequent ein, auch unter Zeitdruck. So setzen Teams testzentriertes Vorgehen durchgängig um, und die Tests dienen als ausführbare Spezifikation, ähnlich wie beim Spec-Driven Development.
Was fertig ist, kann die KI sofort testen. Fehlt ein automatisierter Test, prüft ein KI-Agent die Änderung, bis der reproduzierbare Test steht. Dazu gehört auch Vibe Testing: Fachbereiche beschreiben in eigenen Worten, was sie prüfen wollen, und ein Agent führt die Prüfung aus. Strukturiertes Testen bleibt die Grundlage. Vibe Testing ergänzt es sehr gut und vor allem schnell.
Nach einem Rollout laufen die automatisierten Skripte, und was komplett neu ist, testet der KI-Agent explorativ. Eine Triage trennt echte Fehler von Rauschen. Die agentische Exploration ergänzt die reproduzierbaren Tests, ersetzt sie aber nicht.
-
Leitsatz 2: No Manual Testing – keine manuelle Testausführung mehr
Wenn die KI einen Testfall spezifiziert, entwickelt sie die Testautomatisierung gleich mit. Der Umweg über manuelle Testausführung entfällt somit im Bestfall vollständig. Die KI könnte die Tests auch direkt ohne Automatisierungscode ausführen, das kostet aber viele Tokens und ist teils langsam. Einmal erzeugte Testskripte laufen dagegen beliebig oft ohne KI.
Testautomatisierung kam jahrelang kaum über ein Viertel der Tests hinaus. Unternehmen mit autonomen Testplattformen erreichen laut Forrester inzwischen 51 bis 60 % (Forrester, 2026). Manuelle Tests blieben trotzdem oft nötig, weil Skripte nicht alle Aspekte einer Anwendung prüfen, etwa ob Darstellung und Texte stimmen. Auch solche Sichtprüfungen kann KI inzwischen übernehmen.
Bisher entschied die Risikobewertung vor allem, was aus Zeitgründen ungetestet blieb. Künftig lenkt sie die menschliche Aufmerksamkeit. Nebenfunktionen wie Layout-Varianten oder Hilfetexte sichert die KI weitgehend allein ab. Testerinnen und Tester gewinnen dadurch Zeit für die Kernfunktionen. Sie verstehen deren fachliche Logik und suchen gezielt nach Fehlern in Abläufen, an denen Umsatz, Sicherheit oder Versorgung hängen.
-
Leitsatz 3: Close the Coverage Gaps – Testlücken schließen
Mit KI kostet die Erstellung eines zusätzlichen Tests kaum noch etwas. Damit schließen Teams die Lücken, für die früher die Zeit fehlte, etwa bei Grenzwerten oder seltenen Datenkonstellationen. Meta erzeugt mit Sprachmodellen Tests gegen ausgewählte Fehlerklassen wie Datenschutzfehler. In Test-a-thons für Messenger und WhatsApp akzeptierten die Entwicklerinnen und Entwickler 73 % dieser Tests (Meta, 2025). Wertvoll wird die zusätzliche Abdeckung, wenn sie die relevanten Risiken trifft.
-
Leitsatz 4: AI Breaks Up the Tool Market – KI öffnet den Markt für Testtools
Viele Funktionen kommerzieller Testsuiten ersetzt KI inzwischen selbst, etwa Skripterzeugung, Capture-and-Replay oder Self-Healing. Open-Source-Werkzeuge erreichen mit KI ein neues Niveau und ersetzen teils teure Standardlösungen.
Auch ein Toolwechsel wird bezahlbar, wenn die KI bei der Migration bestehende Testfälle unterstützt. Ob sich der Wechsel lohnt, hängt vom Funktionsumfang, den Integrationen und dem Wartungsaufwand ab. Zugleich können neue Abhängigkeiten von den Anbietern der Sprachmodelle und Agentenplattformen entstehen.
Arvato Systems setzt seit Jahren vorwiegend auf Open-Source-Werkzeuge wie Robot Framework oder Cucumber. Beide lassen sich direkt mit agentischer KI nutzen. Neue Fähigkeiten der KI stehen damit sofort zur Verfügung, ohne dass ein Hersteller sein Produkt erst anpassen muss. Zusammen mit standardisierten Schnittstellen wie dem Model Context Protocol (MCP) entsteht so eine leistungsfähige und kostengünstige Infrastruktur für die Testautomatisierung.
-
Leitsatz 5: Always With AI – KI in jeder Teststrategie
KI kommt in jeder Teststrategie zum Einsatz, im B2B- und im B2C-Geschäft ebenso wie in kritischen Infrastrukturen (KRITIS) und regulierten Märkten. Welche Aufgaben sie übernimmt, hängt vom Kontext ab. Einen Nutzen bringt sie überall. Wo es vorgeschrieben ist, laufen Abnahmetests ohne KI und Menschen geben frei. Alles davor unterstützt die KI und beschleunigt so die Abnahme.
KI-Testing in der Praxis: Drei Projekte von Arvato Systems
Bei Arvato Systems arbeiten Teams mit ROLF (Real Outcomes Less Friction), einem selbst entwickelten Framework für agentische Softwareentwicklung. Vier spezialisierte Agentengruppen decken den Weg von der Idee bis zum getesteten Code ab:
- AIRE (Requirements Engineering) strukturiert Ideen und Eingaben zu Anforderungen, User Stories und Use Cases.
- EARTH (Softwarearchitektur) analysiert die Architektur, modelliert die Fachdomäne und dokumentiert Architekturentscheidungen, bevor die Umsetzung beginnt.
- FIRE (Entwicklung) plant die Umsetzung testgetrieben, erzeugt Code und prüft ihn im Code Review.
- AQUA (Qualitätssicherung) leitet Testfälle ab, automatisiert sie etwa mit Robot Framework und prüft die Testabdeckung. Jeder Test bleibt mit seiner Anforderung aus AIRE verknüpft.
Teams müssen nicht alle vier Gruppen einsetzen; viele starten mit einer. Ein Mensch gibt den Plan frei und prüft jeden wesentlichen Schritt. Die Teststrategie dient als Vorgabe für jeden KI-Agenten. Was das bringt, zeigen drei Projekte:
- Neuentwicklung im Gesundheitswesen: Auf Basis formeller Anforderungen wurden rund 400 Testfälle mithilfe von KI entwickelt. Der Aufwand sank um etwa 50 %.
- Bestandsanwendung im Gesundheitswesen: Die Agenten leiteten aus der bestehenden Anwendung rund 150 automatisierte Testfälle für die grafische Benutzeroberfläche ab. Der Aufwand sank um etwa 70 %.
- Interne Neuentwicklung: Mit der vollständigen ROLF-Kette wurden rund 500 automatisierte Testfälle erzeugt. Der Aufwand sank um etwa 90 %.
Die Werte sind Einschätzungen der Projektteams zu Testdesign und Testautomatisierung unter günstigen Bedingungen. Über den gesamten Entwicklungsprozess hinweg fällt der Effekt geringer aus. Am größten war er im Projekt, in dem alle vier Agentengruppen von der Anforderung bis zum Test zusammenarbeiteten.
Bis Ende 2026 sollen bei Arvato Systems mindestens 80 % aller neuen Testfälle und Testautomatisierungen mithilfe von KI entstehen. Bei Änderungen an Legacy-Tests liegt das Ziel bei 50 %. Zugleich bereitet sich der Bereich auf eine KI-First-Strategie vor, bei der manuelle Testausführungen schrittweise zurückgedrängt werden.
Herausforderungen für die KI-Teststrategie
Der World Quality Report, 2025 beziffert die Lücke: 89 % der befragten Unternehmen nutzen oder erproben generative KI im Quality Engineering, erst 15 % haben sie unternehmensweit skaliert. Die Einführung hängt also nicht allein von der Leistungsfähigkeit der Modelle ab. Integration, Datenschutz, Zuverlässigkeit und Kompetenzen sind ebenso wichtige Hürden.
Neue Fähigkeiten brauchen Übung, und viele fragen sich, was aus ihrer Rolle wird. Fachlich orientierte Testerinnen und Tester beginnen oft bei den Grundlagen: Wie funktioniert ein Large Language Model (LLM), wie arbeitet man mit GitHub Copilot?
Bisher war die Arbeit im Test klar verteilt: Die einen entwerfen Testfälle, die anderen führen sie aus, wieder andere automatisieren sie. Mit KI verschwimmen diese Grenzen. Gefragt sind künftig Quality Engineers, die alle drei Aufgaben verbinden. Das gelingt nicht über Nacht, denn wer bisher nur eine dieser Aufgaben übernommen hat, muss die anderen erst lernen. Unverändert wichtig bleibt in großen und kritischen Projekten das Testmanagement.
Jedes Projekt braucht eine eigene KI-Einführungsstrategie, von Trainings über den Aufbau des Kontexts bis zur Pilotphase und zum Rollout. Bestandsprojekte brauchen zusätzliche Vorarbeit, weil Agenten vorhandene Tests erst erschließen müssen. Laut dem DORA-Report 2025 von Google verstärkt KI, was in einem Team bereits angelegt ist, Stärken ebenso wie Schwächen. Wie KI bei Bestandsanwendungen hilft, zeigt unser Beitrag zur Modernisierung mit KI-gestützter Softwareentwicklung.
Jeder Agentenlauf verbraucht Tokens. Bei Slack kostete ein agentischer E2E-Testworkflow zwischen 15 und 30 US-Dollar pro Ausführung (Slack Engineering, 2026).
Das Verhältnis zum Ergebnis ist meist sehr gut, doch zunächst kommen diese Kosten zu den bisherigen hinzu. Idealerweise entsteht daraus direkt Umsatz, weil ein Team mit weniger Aufwand mehr liefert. Sonst steigen schlicht die Kosten.
Viele Kundinnen und Kunden legen fest, welche Modelle, Hosting-Standorte und Daten erlaubt sind. Personenbezogene Testdaten dürfen oft nicht in Cloud-Modelle gelangen. Hier helfen synthetische oder anonymisierte Daten sowie EU-gehostete oder lokal betriebene Modelle.
KI-Testing einführen: Erste Schritte
- Rahmen klären: Vor dem Start sind die Kundenvorgaben auf Modelle und Testdaten abgestimmt, und es steht fest, wer die KI-Tests prüft und freigibt.
- Team befähigen: Trainings vermitteln die Grundlagen, vom Large Language Model bis zur Arbeit mit Agenten, bevor das erste Projekt startet.
- Kontext aufbauen: Das Team bereitet Anforderungen, die Teststrategie und vorhandene Tests so auf, dass die KI sie nutzen kann. In Bestandsprojekten ist zusätzliche Vorarbeit erforderlich.
- Pilot starten: Ein überschaubarer, risikoarmer Bereich mit klaren Anforderungen eignet sich als Einstieg. Die KI spezifiziert und automatisiert die Tests, Menschen prüfen sie. Gemessen werden der Aufwand, die Testqualität und die KI-Kosten.
- Skalieren: Die Erfahrungen fließen in die Teststrategie und in weitere Projekte ein. Messbare Ziele wie der Anteil an KI-erstellten Testfällen machen den Fortschritt sichtbar.
Arvato Systems hat gute Erfahrungen damit gemacht, den KI-Ansatz losgelöst von Projektzwängen im Tagesgeschäft zu entwickeln. So entstand auch ROLF, ausgehend von der Frage, wie ein KI-First-Ansatz aussieht und was damit maximal möglich ist.
Ausblick: Agentic Testing setzt sich durch
KI-Agenten werden spezifischer. Testing-Agenten erkunden eine Anwendung, erstellen Testpläne und reparieren fehlschlagende Tests. Playwright liefert solche Agenten als Open Source mit (Playwright Test Agents). Weitere Hersteller sowie die Open-Source-Community stellen eigene Agenten und Skills bereit. Ein Auftrag wie „Teste den Login, die Testdaten liegen im Ordner X“ funktioniert in vielen Entwicklungsumgebungen bereits heute. Mit effizienteren Modellen dürften die Kosten pro Agentenlauf sinken. Dann rechnet sich Agentic Testing auch für einzelne Änderungen.
Je mehr Tests die KI erzeugt, desto wichtiger wird ihre Güte. Mutation Testing misst sie anhand künstlich eingebauter Fehler. Meta nutzt das Verfahren bereits.
Die QA-Expertinnen und -experten von Arvato Systems bewerten Ihre bestehende Teststrategie, zeigen, wo KI-Testing den größten Nutzen bringt, und entwickeln daraus einen Fahrplan für die Einführung.
Verfasst von
Dr. Rene Stehr testet seit Jahren Software mit Schwerpunkt Testautomatisierung, auch in regulierten und kritischen Branchen. Als Senior Manager Quality Assurance leitet er den QA-Bereich von Arvato Systems mit rund 80 Mitarbeitenden in drei Ländern. Er verantwortet die strategische Weiterentwicklung des Bereichs, allen voran die KI-Einführung.