PŘIJMOUT K DALŠÍMU VYUŽITÍ
Vztah obstál a má dostatečnou informační hodnotu pro další práci.
Výzkum
Správná otázka přichází před modelem.
Výzkum Quantum Hive začíná přesnou otázkou, ne datasetem ani technikou, kterou chceme použít.
Jedním z opakovaných výchozích bodů je mimořádný historický růst a tvorba hodnoty. Zkoumáme, co se měnilo předtím, než se výsledek stal zřejmým, a které podmínky se opakovaly napříč rozdílnými příležitostmi.
Sledujeme například objem a strukturu obchodní aktivity, vývoj cash flow, podíl na trhu a mindshare, charakteristiky zakladatelů a týmů nebo strukturu odvětví.
Tyto informace nemají vždy stejnou roli. Některé testujeme jako možné předstihové vstupy. Jiné používáme jako kontext nebo jako výsledek, vůči kterému předstih ověřujeme.
Žádný jednotlivý faktor nepovažujeme sám o sobě za důkaz. Testujeme, které kombinace obsahují skutečnou předstihovou informaci a které lze vysvětlit až zpětně.
Předstih nepředpokládáme. Testujeme ho.
To, co obstojí, se stává základem pro hledání budoucích příležitostí.
Naším cílem je zjistit, co se skutečně mění a zda je změna měřitelná. Potom zkoumáme, co ji může vysvětlovat a zda informace obstojí při systematickém testování.
Výzkum / 00–07
Výzkumný proces
Ověřit původ a kvalitu dat
Ještě před vytvořením metriky posuzujeme:
- původ a oprávnění k použití dat;
- okamžik, kdy byla informace skutečně dostupná;
- stabilitu pokrytí v čase;
- změny složení panelu nebo vzorku;
- chybějící hodnoty a revize historických dat;
- reprezentativnost a možné výběrové zkreslení.
U panelových nebo alternativních dat je změna složení vzorku sama o sobě potenciálním zdrojem falešného signálu. Proto oddělujeme změnu ekonomického chování od změny v tom, co dataset právě pokrývá.
Položit testovatelnou otázku
Definujeme:
- co chceme vysvětlit;
- jakou proměnnou budeme měřit;
- vůči čemu ji porovnáváme;
- v jakém časovém horizontu očekáváme vztah;
- co by hypotézu vyvrátilo.
Hypotéza musí být formulována tak, aby mohla selhat.
Strukturovat a měřit
Surové informace převádíme do konzistentních časových řad a srovnatelných proměnných.
Podle otázky pracujeme například s:
- meziroční nebo meziměsíční změnou;
- relativní změnou vůči srovnávací skupině;
- standardizovanou odchylkou od historické úrovně;
- faktorovým nebo kompozitním indikátorem.
Metodiku volíme podle dat a výzkumné otázky, ne opačně.
Testovat ekonomický vztah
Zkoumáme, zda proměnná souvisí s ekonomickým výsledkem, který chceme vysvětlit.
Podle struktury dat používáme například časové řady, panelové modely, modely s rozloženým zpožděním nebo jiné metody aplikované statistiky.
Současně kontrolujeme relevantní alternativní vysvětlení — například odvětví, sezónnost, velikost společnosti nebo obecný pohyb trhu.
Testovat předstih a čas
Nestačí vědět, že spolu dvě veličiny souvisejí.
Potřebujeme vědět:
- zda je informace současná, opožděná nebo předstihová;
- jak stabilní je její časový náskok;
- zda se předstih nemění mezi různými obdobími;
- kdy informační hodnota začíná slábnout.
Test prediktivního předstihu nepovažujeme automaticky za důkaz skutečné kauzality.
Ověřit robustnost mimo původní vzorek
Vztah testujeme na datech a obdobích, která nebyla použita při jeho vytvoření.
Používáme postupné neboli walk-forward testování. Trénovací a testovací okna oddělujeme tak, aby se mezi nimi nepřenášela informace.
Pokud zkoušíme více variant a hypotéz, evidujeme jejich počet a korigujeme riziko, že nejlepší výsledek vznikl pouze náhodou.
Vyhodnotit pravděpodobnost a podmínky platnosti
Výstupem není „jistota“.
Výstupem je odpověď na otázky:
- jak silná je evidence;
- jaká je nejistota;
- v jakých podmínkách vztah funguje;
- kdy přestává být použitelný;
- jak rychle jeho informační hodnota v čase klesá.
Rozpad informační hodnoty je součást výsledku, ne chyba, kterou bychom měli skrývat.
Rozhodnout o dalším kroku
Každou výzkumnou hypotézu uzavíráme jedním ze tří rozhodnutí:
SLEDOVAT
Výsledek je zajímavý, ale evidence, počet pozorování nebo časová stabilita zatím nestačí.
ODMÍTNOUT
Hypotéza neobstála, byla vysvětlena jiným faktorem nebo její praktická hodnota zmizela.
Negativní výsledek je plnohodnotný výsledek výzkumu.
Výzkum
Co považujeme za důkaz
Metodika sama o sobě není důkazem výsledku.
Za skutečně doložený výstup považujeme až analýzu, u které lze zpětně určit:
otázku → použitá data → metodiku → test mimo vzorek → limity → závěr.
Ilustrativní příklady slouží pouze k vysvětlení procesu. Nejsou vydávány za track record ani za dosažený výsledek.
Standard pro publikovaný Research Note
Za skutečný výzkumný výstup označujeme Research Note pouze tehdy, když vychází z reálně provedené analýzy a jasně odděluje:
- předem formulovanou otázku;
- skutečně použitá data a jejich časovou dostupnost;
- metodiku a kontrolní proměnné;
- výsledek mimo původní vzorek;
- testy robustnosti;
- omezení a podmínky selhání;
- konečný závěr, včetně negativního výsledku.
Dokud tyto podmínky nejsou splněny, materiál označujeme jako metodický nebo validační rámec, nikoli jako případovou studii s dosaženým výsledkem.