Chcete se stát součástí Teseny?
Podívejte se na naše otevřené pozice a přidejte se k nám!
Jdu do toho!
Case study
Jak AI agenti zrychlili tvorbu performance testů a reportů v Zásilkovně o více než 85 %
Packeta, vlastník přepravní společnosti Zásilkovna, je rychle se rozvíjející technologický holding. Ve vývoji i testování svých IT systémů aktivně hledá způsoby, jak pomocí umělé inteligence zrychlit rutinní práci a dát lidem více prostoru na komplexnější úkoly, které vyžadují znalost domény, zkušenost a úsudek. Proto firma v poslední době zkouší zavádět AI řešení tam, kde dávají praktický smysl a mají měřitelný přínos. Jedním z takových projektů byl AI Perf Tester – AI asistent pro podporu performance testování veřejných API. Příprava nových testů i následné zpracování výsledků byly rutinní, časově náročné aktivity. Společně jsme se proto rozhodli ověřit, jestli tuto část práce dokážou zrychlit AI agenti, aniž by tým ztratil kontrolu nad kvalitou výstupu. Cílem bylo ponechat QA inženýrům finální rozhodnutí a přesunout na agenty opakovatelné kroky: přípravu základu testovacího skriptu, sběr metrik, první vyhodnocení a formátování reportu. V této case study se dozvíte, jak projekt probíhal a jaké výsledky přinesl.
Jak to začalo
Packeta využívá rozsáhlou sadu performance testů pro svá veřejná API. QA tým pracuje s REST i SOAP rozhraními, připravuje smoke testy, baseline scénáře, negativní scénáře i složitější workflow testy, které řetězí více volání za sebou.
Samotné performance testování měl tým dobře zvládnuté. Největší časovou zátěž ale představovala příprava nových testů a následné zpracování výsledků. Vytvoření jednoho k6 scénáře znamenalo projít dokumentaci, připravit testovací data, napsat volání API, doplnit kontroly, zařídit úklid dat po testu a vše sladit s konvencemi existujícího repozitáře.
Manuálně šlo o práci na 4 až 8 hodin. Po velkých performance testech pak následovala ještě analýza výsledků v Grafaně a příprava dvou reportů — stručného shrnutí pro management a detailnější analýzy pro vývojáře. To zabralo přibližně další dva pracovní dny, přičemž se jednalo o aktivitu velmi náročnou na pozornost a přesnost.
Co jsme řešili
Cílem PoC bylo ověřit, zda mohou AI agenti výrazně zrychlit dvě oblasti práce:
- tvorbu nových k6 testů na základě API dokumentace,
- analýzu výsledků a přípravu reportů do Confluence.
Důležité bylo, aby nešlo jen o jednorázové demo. Výsledkem měl být funkční systém, který bude možné dále rozšiřovat a používat v běžné práci QA týmu.
Jak jsme k tomu přistoupili
Řešení jsme postavili nad Claude Code s pluginem Superpowers a doplnili ho o sadu vlastních instrukcí a pravidel pro práci s repozitářem performance testů.
Postavili jsme sadu AI agentů, z nichž každý měl jasně vymezenou roli. Jeden agent připravoval nové k6 testy podle API dokumentace a existujících konvencí v repozitáři, přičemž využíval existující data a funkce, aby zabránil zbytečným duplicitám. Další agent analyzoval výsledky performance testů, stahoval potřebné metriky z Grafany, vyhodnocoval je a připravoval reporty pro různá publika. A poslední agent následně na vyžádání publikoval hotové výstupy do Confluence.
Aby bylo řešení dlouhodobě použitelné, každý agent měl vlastní sadu pravidel a instrukcí (tzv. skills) uloženou přímo v repozitáři. Díky tomu je jasné, podle jakých konvencí pracuje, jaké metriky sleduje a jak má výstupy strukturovat.
Součástí realizace byla i příprava repozitáře, nastavení statických kontrol kódu, vytvoření sjednoceného Grafana dashboardu a bezpečné nastavení přístupů do používaných nástrojů. AI agenti tak mohli pracovat s potřebnými daty, ale jen v rozsahu nezbytném pro jejich úlohu.
Co to umí v praxi
QA inženýr dnes může AI agentovi zadat například požadavek na vytvoření smoke a baseline scénáře pro konkrétní API, základní parametry zátěže a cíle testu. Agent si načte dostupnou dokumentaci, podívá se na existující testy v repozitáři a připraví nový testovací scénář podle zavedených pravidel.
Výstupem není kód, který by se bez lidské kontroly rovnou nasadil. QA inženýr si projde změny, upraví případné detaily, spustí ověřovací test, a rozhodne, kdy změny začlení do hlavní větve. Rozdíl je v tom, že místo několika hodin ruční přípravy dostane použitelný základ během desítek minut.
Podobně funguje i generování reportů. Agent dostane časové okno testu, načte relevantní metriky z Grafany a připraví dva výstupy: stručné manažerské shrnutí a detailnější technickou analýzu pro vývojáře. QA inženýr si reporty pročte, zkontroluje a až poté rozhodne, zda je publikovat na Confluence, nebo je potřeba něco upravit či vyjasnit.
Jak to dopadlo
PoC jsme ověřili na reálných úlohách. Výsledky ukázaly výraznou časovou úsporu v obou sledovaných oblastech – jak při tvorbě nových testů, tak při tvorbě reportů.
Časy „S AI asistenty“ zahrnují celý cyklus včetně manuální kontroly výstupu.
Po skončení PoC byli AI agenti včetně návodů předáni QA týmu Packety k běžnému používání. Řešení se tak nestalo jen experimentem, ale novým způsobem práce s opakovanými úlohami kolem performance testování.
Co jsme si z toho odnesli
Nejdůležitější zjištění nebylo, že AI umí napsat test nebo připravit report. Důležité bylo, že dokáže převzít rutinní část práce, která je časově náročná, ale opakovatelná: skládání šablonovitého kódu, sběr metrik, základní vyhodnocení a formátování výstupu. QA inženýr přitom zůstává tím, kdo výsledek kontroluje, interpretuje a rozhoduje. AI agent mu uvolňuje ruce od práce, která dříve zabírala hodiny až dny, a dává mu víc prostoru na posouzení výsledků, hledání rizik a další zlepšování testů.
