V tomto článku navážu na článek Tipy pro dashboardy zobrazující informace o defektech, ve kterém jsem se věnoval vizualizaci defektových metrik. Projdeme, jakým způsobem je možné vizualizovat informace vztažené k testům (budu používat obecné slovo test jako souhrnný název pro testovací případ/test case či jeho „exekuční“ instanci mnohde nazývanou test exekuce).

Gatgety zobrazující informace týkající se průběhu testování závisí na používaném pluginu pro test management. Těch je celá řada, například Zephyr Squad (dříve Zephyr for JIRA), Zephyr Scale (dříve TM for JIRA – TM4J), XRAY. Ve své praxi jsem se v několika prostředích setkal s oběma verzemi Zephyru (dodavatelem je známý producent SOAP UI, společnost Smart Bear), proto je využiji pro demonstraci. Obdobné gatgety většinou nabídnou i konkurenční plug-iny.

Základním gatgetem, který dávám do dashboardu hned nahoru, je Test Execution Report. Jednotlivé sloupce odpovídají testovacím cyklům, dílčí barvy pak odlišují počty testů v konkrétním stavu.

Tyto grafy bohužel neumožňují proklik na seznam testů v daném cyklu, což by bylo užitečné. Dashboard se vždy snažím koncipovat jako „home page“ projektu. Rozcestníkovou stránku, z níž se uživatelé rychle dostanou k většině obrazovkám, se kterými potřebují pracovat. Proto zařazuji i tabelární pohled na stavy testů v jednotlivých cyklech.

Aby se uživatelé dostali ke svým testům rychle, přidávám ještě tabulku s mapováním testů na uživatele. Je užitečná nejen pro rychlý přístup k testům daného uživatele. Vypozoroval jsem i psychologický efekt – pokud některý z testerů vidí, že výrazně kulhá v protestovanosti svých testů za ostatními, může to být motivační pro rychlé dohnání skluzu.

Reportovací možnosti v Zephyr Scale jsou výrazně větší. Zahrnují gatgety prezentované výše a sadu dalších vizualizujících data seskupená dle různých kritérií. Mezi reportované entity patří:

• Issues – pohled na libovolný typ JIRA issue (Task, Story, Bug…)
• Test cases – pohled na testovací případy vhodný pro fázi přípravy testů
• Test Executions – pohled na stav exekucí testů v průběhu fáze provádění testů

Následující obrázek dává náhled na různé možnosti seskupení pro entitu Test Executions.

V závěru bych rád zmínil další gatgety týkající se exekucí obsažené v Zephyr Squad, které nepoužívám se stručnou informací „proč“.

• Koláčové grafy – neduhem koláčových grafů je prezentování minima informací na velkém prostoru. Většinou máte možnost v podobě koláčového grafu vizualizovat progress v exekuci testů, distribuci testů na testery či distribuci testů do jednotlivých cyklů. Někdy se to hodí do prezentace pro senior management, pro efektivní operativní řízení testování jsou však koláčové grafy obtížně použitelné.
   
• Test Execution Burndown – tento graf vizualizuje jedny z mála historizovaných dat, které si JIRA, respektive pluginy uchovávají. Tím jsou počty nespuštěných testů v dílčích dnech. V Zephyr Scale je tento gatget nepoužitelný, protože neumožňuje vydefinovat stavy, které by měl započítávat do množiny „spuštěných“. Pro monitoring jsou pro mě důležité testy v „terminálních stavech“ (FAIL a PASS), kdy došlo ke skutečnému a „úplnému“ spuštění testu. Do protestovanosti nechci zahrnovat testy rozpracované (například stav WIP) či stavy, které testeři vůbec nespustili, protože jsou blokované (stav BLOCKED používám pro indikaci „vůbec jsem se spuštěním netrávil čas, neboť vím, že by test kvůli již reportovanému defektu selhal“). Pokud by byl takový gatget v některém TM pluginu dobře konfigurovatelný, určitě by bylo zajímavé ho využít.

• Vizualizace času stráveného exekucí vs. plán – tento graf může být zajímavý, pokud máte odhady pracnosti na úrovni dílčích testů a podaří se vám namotivovat testery, aby vykazovali reálnou pracnost k testům. Já většinou řídím UAT úroveň testování a testy zástupců byznysu. Většinou jsou pro mne tyto informace, respektive disciplína k vyplňování pracností nedostižné…