Hagyományos fejlesztési módszerekkel a tesztelés a fejlesztés végére kerül, a Big Bang delivery után. Majd a tesztelő százával találják a hibákat, ami aztán jó sokáig tart kijavítani. És mivel oly sok hiba van, hatnak egymásra. Egy hiba kijavítása még több hibát okoz.
Szoftverfejlesztőknek nem szokásuk statisztikákat használniuk. Megegyezhetünk abban, hogy a tesztelés soha nem fedi le a szoftver 100%-át, ami azt jelenti, hogy a teszt csak mintát vesz. Az iskolában azt tanultuk, hogy ha mintát veszünk statisztikát kell használnunk, hogy tudjunk mondani valamit a rendszerről egészéről. Szóval rá kell szoknunk a statisztikára és nem elfutni előle.
Statisztikák azt mutatják, hogy a tesztelés átlagosan 50% hatékonyságú. Amíg nincs saját (jobb?) számaid, addig ragaszkodjunk ehhez. Ez azt jelenti, hogy a végfelhasználó legalább ugyan annyi hibát fog találni, mint tesztelők. Ellentmondásos, hiszen ez alapján minél több hibát találunk meg a tesztelés folyamán annál több hibát fog a felhasználó is találni. Vagy ha nem akarjuk, hogy a felhasználó akár csak egyetlen hibát is találjon, akkor a tesztnek nem szabadna találni egyetlen egy hibát sem. A legtöbb fejlesztő úgy hiszi, hogy hibamentes szoftver nem létezik. Ha ezt a gondolkodást kivetítjük, akkor azt kell gondolnunk, hogy az autónk néhány kilométernyi vezetés után bekrepál. Vagy, hogy a kormánykerék néha pont ellenkező módon működik: mikor jobbra fordítod, akkor az autó balra megy... Normális ez?
Evo-ban elvárjuk, hogy a fejlesztők zéró-defect eredményt érjenek el a végső ellenőrzésen, tehát a tesztelőknek csak ellenőrizniük kell, hogy minden úgy működik, ahogy kell. Bár a legtöbb fejlesztő nevetni kezd ennek hallatán, mi teljesen komolyan gondoljuk. A korai tesztelés célja nem csak az, hogy ellenőrizzük, hogy "működik". A tesztelés nem arra van, hogy a fejlesztők életét nehezebbé tegye. Az Evo-ban a szoftverfejlesztők kérik a tesztelőket, hogy segítsen nekik megtalálni, hogy milyen messze vannak attól, hogy elérjék a defect-free végterméket a végső ellenőrzésnél, vagy még az előtt.
