A/B teszt

Hogyan zajlik egy A/B teszt?

1. Hipotézis: „Ha az ajánlatkérő űrlapot 7 mezőről 4-re rövidítjük, több ajánlatkérés érkezik, mert kisebb az erőfeszítés.”
2. Mérőszám: előre rögzítsd, mi alapján döntesz (például az ajánlatkérési arány).
3. Változatok: egyszerre lehetőleg egy lényeges dolgot változtass.
4. Futtatás: a forgalmat véletlenszerűen osztod el, és elegendő ideig futtatod a tesztet – legalább egy-két teljes hétig, hogy a hét napjai közötti különbségek kiegyenlítődjenek.
5. Értékelés: statisztikailag megbízható-e a különbség, vagy csak a véletlen műve?

Mikor nem érdemes A/B tesztelni?

• Kevés forgalomnál: ha hetente csak néhány konverzió történik, a teszt nagyon sokáig tartana, vagy megbízhatatlan eredményt adna.
• Ha a probléma nyilvánvaló: egy hibás űrlapot javítani kell, nem tesztelni.
• Ha a „miért” a kérdés: az A/B teszt megmutatja, melyik változat működik jobban, de azt nem, hogy miért. Ehhez felhasználói kutatás, interjú vagy használhatósági teszt kell.

Gyakori hibák

• A teszt túl korai leállítása, amint az egyik változat előnybe kerül.
• Egyszerre több elem megváltoztatása, majd egyetlen elemnek tulajdonított eredmény.
• A mellékhatások figyelmen kívül hagyása: több kattintás, de rosszabb minőségű érdeklődők.