A tesztautomatizálás során megmutatkozó negatív következmény, hogy annak hatására a figyelem olyan tevékenységekre irányul, amelyek önmagukban nem hordoznak valós értéket.
Szoftverfejlesztés szoftvertesztelés helyett
A tesztautomatizálás csak szoftverek révén valósítható meg, amely célkitűzés megvalósításához alkalmazásokat kell készíteni, módosítani és fenntartani. Ezért automatizált környezetben nagyobb igény mutatkozik a programozói tudásra. Így előállhat az a helyzet, hogy a tesztek megírásával és futtatásával kapcsolatos feladatok olyannyira lefoglalják a programozókat, hogy bővíteni kell a létszámukat. Végül a tesztelők munkáját teljes egészben átveszik a fejlesztők, akik automatizált teszteket készítenek és futtatnak. Azaz két fejlesztő csapat jön létre, az egyik írja a szoftverek kódjait, míg a másik tesztszoftvereket készít a program teszteléséhez. Ezáltal a tesztelési tevékenység „megspórolása” a programozói és szoftverkarbantartási feladatokkal kapcsolatos teendők megnövekedését okozta.
Tesztelő képesség elvesztése
Ha egy vállalatnál elindul az automatizálási folyamat, akkor gyakran előfordul, hogy az egyre több feladatra terjed ki, ami következtében elkezdik csökkenteni a tesztelőcsapat létszámát. A jelenség elvezethet egészen odáig, hogy az adott cég teljesen elveszti a tesztelőit, ezáltal a tesztelési képességeit. A vállalatnak csak az a képessége marad meg, amely arra összpontosít, hogy megerősítse, hogy egy adott termék bizonyos előre meghatározott feltételek mellett, scriptek által ellenőrzött keretek között megfelelően működik. Ez a – többnyire fel nem ismert – állapot egy rendszerhiba esetén súlyos következményekkel járhat és csak magas költségek árán hárítható el (pl. határidőre nem verifikált illetve validált termék, rövid idő alatt új emberek felvétele és betanítása stb.). Ezen esetben a tesztautomatizálás „eredménye” a tesztelési képesség elvesztése, hiszen nem maradnak olyan képzett tesztelők, akik meg tudják keresni és találni a megfelelő választ egy lehetséges termékkockázatra.
Öncélúvá váló automatizálás, a tesztelés céljának elvesztése
A tesztautomatizálás során gyakran előforduló hiba, hogy a figyelem középpontjába maga az automatizálás és a tesztszoftver kerül, ami olyannyira öncélúvá válik, hogy közben a tesztcsapat épp a tesztelés legalapvetőbb célját veszti el: a hibák feltárását. Mert lehet a legújabb automatizált szoftverfejlesztési technikákat használni és a legjobb fejlesztőket alkalmazni az automatizálási keret megteremtéséhez, amely gyorsan elvégez több tízezer tesztesetet rövid idő alatt, majd automatizált módon hatékonyan kielemezi annak eredményét, ha közben a hibákra nem derül fény, és az egész automatizálás végül hibának bizonyul.
A megtakarítás költségei
A tesztautomatizálási eszközrendszerek folyamatos módosítások és fejlesztések nélkül elvesztik hatékonyságukat, használhatóságukat. Az új funkciók bevezetésének szükségessége, valamint módosult tesztelési irányok és elvárások esetén bővíteni kell a teszteszköz képességeit, hogy a kibővült igényeknek is megfeleljen. Minden ilyen esetben programozási és tesztelési költség merül fel, hiszen a scritpeteket meg kell írni és le is kell ellenőrizni. Ezért az automatizálás – bár csökkenti a tesztelésre fordított költségeket – növeli a fenntartásával és fejlesztésével kapcsolatos kiadásokat. Figyelembe kell venni továbbá azokat a járulékos költségeket is, amelyek akár jelentős kiadásokhoz is vezethetnek, mint például a különféle licence-díjak, a továbbképzések költségvonzata, vagy az egészségügyi szektorban szükséges teszteszköz-validáció. Egyes teszteket ráadásul költségesebb automatizálni, mint kézzel elvégezni. Ilyenek azok a tesztek, amelyeket csak egyszer hajtanak végre, így nem érdemes automatizálni őket. Az automatizálni azokat a teszteket érdemes, amelyek ismétlődnek az egész termék életciklusán keresztül.
Hamis pozitív
Problémáját jelentenek a hamis pozitív tesztek, amikor az eszközök problémák jelenléte nélkül is hibát jeleznek. Ekkor a tesztelők a naplófájlokat tanulmányozva fordítanak rengeteg időt a nem létező hiba megtalálásába, elemzésébe. A hamis pozitívumok kivizsgálása nagyon időigényes feladat, hiszen a nyilvánvaló ok nélküli inkonzisztenciával nehéz megbirkózni. A jelenség többnyire akkor fordul elő, ha a termék vagy a tesztkörnyezet olyannyira megváltozott, hogy a tesztscript lefolytatása sikertelenné vált. Az automatizált ellenőrzések megszakadhatnak akár kisebb felhasználói felület-módosítás esetén is, vagy ha egy szolgáltatás leállt, illetve olyan hálózati problémák vannak, amelyek nem relevánsak a vizsgált alkalmazás szempontjából, ám hatással vannak az automatizált ellenőrzésre. Például az eszköz olyan funkciót próbál tesztelni, ami még nincs teljesen betöltve.
Hamis negatív
Óvakodni kell a hibamentes teszteredményektől! Az automatizált teszt csak azt ellenőrzi, aminek az ellenőrzésére be van programozva. A tesztcsomag minden automatizált vizsgálata lehet hibamentes, ám attól még lehetnek a kódban olyan nem észlelt hibák, amikre az automatizált ellenőrzés nem terjedt ki, mivel nem úgy volt beállítva, hogy tárja fel ezeket is. Az automatizált ellenőrzések sok tényező miatt lehetnek sikertelenek. Ilyen helyzet kialakulásakor a rosszul tervezett tesztek hamis bizalmat kelthetnek.
A bejegyzés az alábbi forrásokból táplálkozik:
Crswlls.wordpress.com - common-pitfalls-of-ui-test-automation
Ekatcherv.com - top-5-pitfalls-of-test-automation-how-to-avoid-them
Itware.hu - a-tesztautomatizalas-jovoje
ISTQB - istqb.org
JP-Lambert - why-test-automation-fails
Leantesting.com - pitfalls-of-test-automation
Reloaddk - Slideshare.net - pitfalls-of-test-automation
Searchsoftwarequality - Why-automated-software-testing-fails-and-pitfalls-to-avoid
Seguetech.com - automation-testing
Smartbear blog - test-automation-pitfalls-dont-get-trapped-test-automation-pitfalls
Techbeacon.com - software-test-automation-6-common-mistakes-how-avoid
Testingexcellence.com - test-automation-advantages-and-disadvantages
Teszteslés a gyakorlatban - tesztautomatizalas
