Signál je skutečný vzor v datech, šum je náhodná variabilita kolem něj. Nate Silver v knize The Signal and the Noise popisuje přesně tohle jako hlavní úkol každého, kdo pracuje s čísly - odlišit to, co se opakuje a něco znamená, od toho, co je jen náhoda.
Proč u malých čísel vidíte skoro jenom šum?
S malým vzorkem dat je téměř nemožné poznat, jestli jde o vzor nebo náhodu. Tomuto sklonu se říká „law of small numbers“ - termín, který zavedli psychologové Tversky a Kahneman pro naši chybu brát malé vzorky jako stejně vypovídající jako velké.
Opačný princip, „law of large numbers“, říká, že průměr se s rostoucím počtem pozorování blíží dlouhodobé skutečné hodnotě. Kolik dat přesně stačí, se univerzálně určit nedá - záleží na tom, jak moc čísla kolísají.
Paradoxně dnešní přebytek dat problém spíš zhoršil. Čím víc čísel máte, tím snáz v nich najdete vzor, který tam ve skutečnosti není - přemíra proměnných svádí k tomu vidět souvislosti tam, kde je jen šum.
Do jakých šumových pastí majitelé firem nejčastěji padají?
Nejčastější past je závěr z krátkého okna. Jeden dobrý pátek neznamená rostoucí trend, jedno slabé úterý neznamená propad - jde o jednodenní výkyv, který se příště nemusí opakovat.
Sezónnost přitom není šum. Prosincová špička kolem Vánoc je pravidelný, opakující se vzor, ne náhodná odchylka - a je potřeba ji od skutečného šumu odlišit, jinak ji buď mylně oslavíte jako úspěch kampaně, nebo naopak přehlédnete.
Podobně zavádějící jsou náhodné shluky - pár dobrých nebo špatných dní za sebou, které vypadají jako trend, ale ve skutečnosti jde o běžnou náhodnou variabilitu. Po extrémním výkyvu navíc typicky následuje návrat k dlouhodobému průměru.
Praktický kompromis nabízí vyhlazování dat pomocí klouzavého průměru. Třídenní okno reaguje rychle, ale je citlivé na šum. Třicetidenní okno je hladší a stabilnější, ale krátkodobou změnu může přehlédnout o pár dní později, než by se hodilo.
Stavím automatizované vyhodnocování, které hlídá trendy místo denního šumu - firmy pak nemusí ručně sledovat, jestli je pokles jen výkyv, nebo signál k akci. Víc o tvorbě AI agentů a automatizací na míru →.
Jak poznat, že jde o skutečný signál?
Statistická signifikance je nástroj, jak odhadnout, jestli výsledek mohla způsobit čistá náhoda. Nejčastěji používaný práh je hodnota p pod 0,05 - v praxi to znamená, že kdyby žádný skutečný efekt neexistoval, náhoda by tak výrazný výsledek, jako je ten naměřený, vyprodukovala v méně než 5 % případů. Není to důkaz, že efekt skutečně existuje nebo že je velký - je to indicie proti čisté náhodě, ne důkaz existence efektu.
Proto se v A/B testování rozlišuje statistická a věcná významnost. Rozdíl mezi dvěma variantami může být statisticky signifikantní, a přitom obchodně bezvýznamný - třeba u velkého vzorku dat i drobný, prakticky nezajímavý rozdíl snadno projde přes práh signifikance.
Jedno měření navíc není konečná odpověď. Opakovaný test dá pokaždé mírně jinou p-hodnotu, protože jde o momentální náhled na data, ne o pevný fakt vytesaný do kamene. Čím víc dat, tím spolehlivější závěr - rychlý úsudek z pár dní je vždycky riskantnější než závěr z delšího období.
Co s tím prakticky?
Sledujte delší časová okna, ne denní čísla. Trend za čtyři nebo osm týdnů vypovídá o vaší firmě víc než jakýkoli jednotlivý den, ať byl sebelepší nebo sebehorší.
Pro shrnutí typického chování používejte medián, ne průměr. Průměr snadno zkreslí jeden mimořádně dobrý den nebo objednávka - medián takové výkyvy lépe ustojí.
U firemních metrik, které pravidelně kontrolujete v KPI přehledu, dává smysl doplnit i kohortní analýzu - ukáže, jestli se chování zákazníků skutečně mění, nebo jestli jde jen o šum mezi jednotlivými měsíci. Totéž platí pro volatilní čísla jako POAS - jednodenní hodnota z reklamního účtu bez kontextu delšího období snadno svádí k unáhlenému závěru. Data k tomu obvykle čerpáte z Google Analytics nebo obdobného nástroje - tam si nastavte srovnání proti delšímu období, ne jen proti včerejšku.
Můj pohled
Hledat signál mě začalo fascinovat. Je to náročné - a pokud nemáte velký objem dat, je vlastně všechno šum. Proto radši sázím na delší okna a trendy než na dojem z jednoho dobrého nebo špatného dne.
Pokud si nejste jistí, jestli poslední čísla ve vaší firmě znamenají skutečnou změnu, nebo jde jen o šum, napište mi - rád se na vaše data podívám společně s vámi.
Pavel Szabo
Programátor webů, eshopů a informačních systémů s více než 23 lety praxe. Pomáhám firmám i jednotlivcům s online podnikáním, automatizacemi a využitím AI v praxi.
