Dat testautomatisering kan helpen bij het consequent en constant testen van software en de snelheid waarin testen uitgevoerd kunnen worden is een open deur. Ik zou verhaal nummer zoveel schrijven als deze blog daar over zou gaan. Waar ik juist verder op in wil gaan is de vaak onderbelichte bijvangst van het inzetten van testautomatisering. Deze is onder de streep waarschijnlijk nog waardevoller dan de opgeleverde tijdswinst. De inzet van testautomatisering kan namelijk als katalysator dienen voor de kwaliteit van het totale ontwikkelproces.

Laten we beginnen met de perceptie die men vaak heeft bij testautomatisering en het werkgebied van de testautomatiseerder. Deze is vaak beperkt tot ‘het programmeren van scripts, zodat testen automatisch uitgevoerd worden’. In mijn ogen is dit slechts een onderdeel van zijn of haar werk. De inzet van testautomatisering werkt namelijk door in de kwaliteit van de hele ontwikkelketen. Hiervoor heeft hij of zij een aantal groepen met mogelijkheden ter beschikking. Wanneer deze allemaal in harmonie samenspelen volgt optimaal resultaat. Het is aan de testautomatiseerder om dit symfonieorkest te dirigeren.

De ultieme afstemming van de strijkers
Tijdens de ontwikkeling van software worden veel plannen en specificaties ontwikkeld. Wanneer deze niet gelijk gestemd zijn, is dit een recept voor behoorlijke hoofdpijn. Bij testautomatisering wordt vaak tijdens de bouw van het product al gewerkt aan de testscripts, waarbij uitstekende kennis van de werking erg belangrijk is.

De tester zal in tijdens de bouw van een product dan ook sneller met de opdrachtgever en andere collega’s afstemming zoeken wanneer specificaties onduidelijk of onvoldoende gedetailleerd zijn. De toetsing van specificaties op detailniveau vindt hiermee in een zo vroeg mogelijk stadium plaats. Niet sequentieel specificeren, ontwikkelen en testen, maar juist is de norm, waarmee de ultieme basis is gelegd.

Het ritme van de slagwerkers
Sneller, vaker en in ieder geval regelmatig, dat is waar softwareontwikkeling tegenwoordig om draait. wordt software tegenwoordig ontwikkeld en uitgerold. En daar volgt hij dan toch, de open deur: “Zonder regelmatig de kwaliteit van het product te beoordelen is het niet mogelijk om regelmatig uit te rollen.” Deze beoordeling is alleen maar mogelijk als hier gereedschap voor ingezet wordt die dit efficiënt en snel kan doen: dat is waar testautomatisering voor gebruikt kan worden.

Maar, de besparing met alleen testautomatisering is beperkt. Veel tijd gaat verloren in het uitrollen van code, updaten van systemen en migreren van data. Waar testautomatisering vaak een eerste stap is, zullen andere automatische oplossingen vaak volgen. Continuous integration krijgt hiermee steeds meer vorm binnen het ontwikkelproces en resulteert in tijdwinst en het beperken van fouten tijdens de verschillende stappen op meerdere fronten. Pas dan kan er echt spraken zijn van een ritme.

De sturende klanken van de houtblazers
De basis is gelegd, het ritme is bepaald. Ontwikkelteams redden zich tegenwoordig voor een groot deel zelf, maar de juiste sturing is belangrijk. De kwaliteit van een team wordt al lang niet meer enkel afgelezen aan het eindproduct. Gelukkig hebben we dankzij iteratief werken tegenwoordig veel meer meetmomenten dan voorheen.

Met de standaard rapportages van testautomatisering kan er wat gezegd worden over de kwaliteit van dat moment. Echter, als je zoekt naar kwaliteitsverbetering over de hele ontwikkelcyclus, dan gaat het niet alleen om de gevonden bugs.

Vragen als:

• Hoeveel is er gewijzigd en wat is daarvan goed of fout gegaan?
• Welke applicaties zorgen voor de meeste problemen?
• Welke tijdspaden spelen binnen het ontwikkelproces?
• Wat is de trend rondom bugs over langere tijd?

Kortom: “Verrijk de testautomatiseringsrapportage met de items die tijdens een sprint opgepakt zijn en eerdere testresultaten en plaats dit in perspectief.”

De toegevoegde waarde van testautomatisering is hier dat het aantal meetmomenten wordt vergroot, van het kwaliteitsbeeld tot gevolg. Hiermee is het kwaliteitsantwoord niet meer beperkt tot een goed of fout over alleen de applicatie, maar geeft het inzicht in verbetermogelijkheden voor het ontwikkelproces.

De finesse van de koperblazers
In de praktijk zie je maar zelden dat de inzet van testautomatisering een besparing levert op het aantal testers. Niet omdat dit niet kan, maar omdat de toegevoegde waarde nog groter is dan voorheen. Zij kunnen zich nu bezig houden met de finesses. Door de frequentie van testuitvoering wordt vaker feedback gegeven. De tester heeft meer tijd beschikbaar om de kwaliteit van de bevindingen te vergroten door meer gedegen onderzoek naar de oorzaak, meer voorbeelden of een nauwgezetter uitvoerpad. Dit heeft een positieve uitwerking op de doorlooptijd van het moment tussen het creëren van de bug en het oplossen daarvan.

Daarnaast heeft dezelfde tester ook meer tijd om testen uit te voeren waar hij of zij anders nooit aan toe zou komen. Dit door  een weloverwogen keuze maken om specifieke onderdelen grondiger te testen met behulp van het gebruiken van andere invalshoeken of op basis van de eerder genoemde rapporten.

De maatvoering van de dirigent
De vier hoofdgroepen uit een symfonieorkest: strijkers, slagwerkers, hout- en koperblazers, het klinkt alleen goed als het in de juiste verhouding speelt, de taak van de dirigent. Zo is het ook met de verschillende katalysatoren die testautomatisering biedt: “Het werkt het beste als het onderlinge samenspel perfect op elkaar is afgestemd. Ieder afzonderlijk deel heeft toegevoegde waarde, maar teveel nadruk op het een één, verzwakt het ander.”

Wil je ook kennis maken met zo’n testautomatiseringsdirigent? Neem dan snel contact met ons op!

Frank van der Kuur
Test Consultant
frank.vanderkuur@closesure.nl