Statistický vztah ještě není použitelná tržní informace.

Přesně určíme:

• kdy informace vzniká;
• kdy je skutečně dostupná;
• jak se převádí do měřitelného signálu;
• jaký horizont má hypotéza vysvětlovat;
• jaké podmínky ji mají vyvrátit.

Zpětně opravená nebo později dostupná informace nesmí být použita, jako by byla známá dříve.

Ověřujeme, zda signalizovaná změna souvisí s:

• finančními výsledky;
• odchylkou od očekávání;
• cenovým chováním;
• objemem nebo likviditou;
• relativním chováním vůči trhu nebo odvětví.

U událostí, jako je zveřejnění výsledků, používáme podle výzkumné otázky událostní studii a měříme chování ceny vůči relevantnímu tržnímu nebo odvětvovému modelu.

Testujeme, kdy signál začíná obsahovat informaci a jak rychle tato hodnota mizí.

Stejná hypotéza může být relevantní pro horizont několika dní a zcela bezcenná pro horizont několika měsíců.

Proto testujeme více předem definovaných časových horizontů a sledujeme rozpad informační hodnoty.

Výsledek musí obstát v období, na kterém nebyl vytvořen.

U více společností a období pracujeme s panelovou strukturou. Počet testovaných variant musí odpovídat množství skutečně dostupných pozorování.

Před interpretací výsledku posuzujeme také statistickou sílu testu. Ověřujeme, zda počet a struktura pozorování vůbec umožňují spolehlivě zachytit hledaný efekt.

Výběr nejlepšího z desítek nebo stovek pokusů bez korekce nepovažujeme za důkaz.

Backtest nepracuje s předpokladem, že obchod proběhne okamžitě a bez nákladů.

Simulace proto zohledňuje podle povahy trhu zejména:

• zpoždění mezi vznikem signálu a možnou exekucí;
• bid-ask spread a poplatky;
• likviditu;
• omezení objemu obchodu vůči běžnému dennímu objemu;
• odhad tržního dopadu;
• obrátkovost;
• kapacitu strategie.

Výsledek uvádíme před náklady i po realistickém odhadu nákladů.

Riziko neposuzujeme odděleně od volatility, likvidity a nejistoty samotného odhadu.

Podle charakteru trhu pracuje simulace například s cílenou volatilitou a s omezením velikosti pozice.

Matematicky optimální velikost při dokonale známé pravděpodobnosti není totéž jako rozumná velikost v prostředí, kde je samotný odhad nejistý.

Jedna historická posloupnost výsledků je pouze jedna realizace.

Proto testujeme, jak by se výsledek měnil při:

• jiném pořadí obchodů;
• zachování bloků období se zvýšenou volatilitou;
• horších nákladech;
• nižší likviditě;
• změně tržního režimu.

Výstupem není pouze jeden historický maximální pokles. Zajímá nás rozdělení možných výsledků a to, co se může stát mimo původní historii.

Čím více variant modelu testujeme, tím větší je riziko, že některá vykáže dobrý výsledek jen náhodou.

Proto sledujeme:

• počet testovaných variant;
• stabilitu výsledku mimo trénovací vzorek;
• citlivost na změnu parametrů;
• známky strukturální změny výkonu.

Model, který funguje pouze při jedné přesné kombinaci parametrů, nepovažujeme za robustní.

Předem definujeme, co musí nastat, abychom hypotézu odmítli.

Například:

• efekt zmizí po kontrole na odvětvový nebo tržní faktor;
• předstih není stabilní;
• výsledek zanikne po realistických nákladech;
• strategie není proveditelná kvůli likviditě;
• výsledek existuje pouze v jednom úzkém období nebo režimu.

Bez podmínek pro odmítnutí nejde o validaci, ale o hledání potvrzení.