Az A/B tesztelés a webhelyek és alkalmazások optimalizálásának kulcsfontosságú módszere, amely lehetővé teszi a vállalkozások számára, hogy összehasonlítsák egy weboldal vagy alkalmazás két verzióját, hogy megállapítsák, melyik teljesít jobban. Az A/B-tesztelés kulcsfontosságú mérőszámainak és terminológiájának megértése elengedhetetlen az eredmények pontos értelmezéséhez. Ebben a cikkben megvizsgáljuk a fontos A/B tesztelési mutatókat és terminológiát, beleértve p-érték, konfidencia intervallum, egy- és kétoldalú tesztek, z-pontszám, megfigyelt teljesítmény, változat, kontrollcsoport, növekményes bevétel, konverziós arány és Bayes-számítás.
Kulcsfontosságú A/B tesztelési mutatók és terminológia
1. Változat
A változat az A/B tesztben tesztelt verziók egyikére utal. Általában a meglévő verziót vezérlőnek, az új verziót pedig változatnak nevezik.
Példa: A céloldal A/B-tesztjében az A verzió (az aktuális oldal) a vezérlő, a B verzió (az új kialakítás) pedig a változat.
2. Ellenőrző csoport
A kontrollcsoport azon felhasználók csoportja, akik az A/B tesztben az eredeti verzióval (kontroll) vannak kitéve. Kiindulási alapként szolgál a változat teljesítményének összehasonlításához.
Példa: Ha 10,000 5,000 felhasználó keres fel egy webhelyet, akkor 5,000-en láthatják a vezérlőoldalt (kontrollcsoportot), XNUMX-en pedig a változatoldalt.
3. Növekményes bevétel
A növekményes bevétel az A/B teszt során végrehajtott változtatások eredményeként keletkezett többletbevétel. Segít a teszt pénzügyi hatásának felmérésében.
Példa: Ha a változatoldal 5 USD-vel növeli a rendelés átlagos értékét, és 1,000 további vásárlás történik, a többletbevétel 5,000 USD.
4. Konverziós arány
A konverziós arány azon felhasználók százalékos aránya, akik végrehajtanak egy kívánt műveletet, például vásárolnak vagy feliratkoznak egy hírlevélre, a teljes látogatószámhoz viszonyítva.
Példa: Ha 100 látogatóból 1,000 vásárol, a konverziós arány 10%.
5. P-érték
A p-érték annak a valószínűségét méri, hogy a két variáció közötti eltérés véletlenül következett be. Az alacsonyabb p-érték (jellemzően 0.05-nél kisebb) azt jelzi, hogy a megfigyelt különbség statisztikailag szignifikáns.
Példa: Tegyük fel, hogy egy A/B teszt összehasonlítja a céloldal két változatát. Az A verzió konverziós aránya 5%, a B verzióé pedig 7%. Ha a p-érték 0.03, akkor 3% esély van arra, hogy a megfigyelt eltérés véletlenül következett be, ami szignifikáns különbséget jelez a két változat között.
6. Bizalmi intervallum
A konfidenciaintervallum egy olyan tartományt ad meg, amelyen belül a hatás valódi mérete várhatóan egy bizonyos szintű megbízhatósággal (általában 95%). Segít felmérni a vizsgálati eredmények megbízhatóságát.
Példa: Ugyanabban az A/B-tesztben a konverziós arányok közötti különbség 95%-os konfidenciaintervalluma [1%, 3%] lehet. Ez azt jelenti, hogy 95%-ban biztosak vagyunk abban, hogy a konverziós arányok valódi különbsége 1% és 3% között van.
7. Egyoldalú és kétoldalas tesztek
Az egyoldalú teszt felméri a hatás irányát (pl. hogy a B verzió jobb-e, mint az A verzió), míg a kétoldalas teszt azt méri fel, hogy van-e különbség valamelyik irányban.
Példa egyoldalú tesztre: Azt teszteli, hogy a B verzió konverziós aránya magasabb-e, mint az A verzióé.
Példa kétoldalas tesztre: Ellenőrzi, hogy van-e különbség az A és a B verzió konverziós arányai között, iránytól függetlenül.
8. Z-pontszám
A z-score azt méri, hogy egy elem hány szórása van az átlagtól. Az A/B tesztelés során a két variáció közötti megfigyelt különbség szignifikanciájának meghatározására szolgál. Általános megbízhatósági szintek és z-score megfelelőik:
- Bizalmi intervallum 95%
- Kétoldalas Z-pontszám: 1.96
- Egyoldalú Z-pontszám: 1.65
- Bizalmi intervallum 99%
- Kétoldalas Z-pontszám: 2.58
- Egyoldalú Z-pontszám: 2.33
- Bizalmi intervallum 90%
- Kétoldalas Z-pontszám: 1.64
- Egyoldalú Z-pontszám: 1.28
Példa: Ha az A verzió és a B verzió közötti konverziós arányok különbségének z-pontszáma 2.5, az azt jelzi, hogy a különbség 2.5 szórással van eltérve az átlagtól, ami statisztikailag szignifikáns különbségre utal.
9. Megfigyelt hatalom
A megfigyelt teljesítmény annak valószínűségére utal, hogy a teszt helyesen utasítja el a nullhipotézist, ha igaz hatás van. A nagyobb megfigyelt teljesítmény azt jelzi, hogy nagyobb a valószínűsége a valódi különbség észlelésének.
Példa: A 0.8 (80%) megfigyelt teljesítményű A/B tesztben 80% esély van a variációk közötti valódi különbség kimutatására, ha létezik ilyen.
10. Bayes-számítás
A Bayes-féle számítás magában foglalja a Bayes-tétel felhasználását a hipotézis valószínűségi becslésének frissítésére, amint további bizonyítékokat szereznek. Az A/B tesztelésnél valószínűségi keretet ad az adatok alapján történő döntéshozatalhoz.
Példa: Bayes-módszerekkel meghatározhatja annak valószínűségét, hogy a megfigyelt adatok alapján egy változat jobb, mint a kontroll, ahelyett, hogy kizárólag a hagyományos p-értékekre hagyatkozna.
11. Frekventista statisztika
A gyakori statisztika a hipotézisvizsgálat hagyományos megközelítése, amely az adatok gyakoriságára vagy arányára összpontosít. Rögzített adatkészletekre támaszkodik, és nem tartalmaz előzetes ismereteket vagy valószínűségi eloszlásokat.
Példa: Az A/B tesztelés gyakori megközelítésében p-értékeket és konfidencia-intervallumokat használ a teszteredmények szignifikanciájának meghatározására, előzetes valószínűségek beépítése nélkül.
Gyakorlati példák
1. példa: E-mail kampány A/B tesztje
Egy vállalat két e-mail tárgysort szeretne tesztelni, hogy megtudja, melyik eredményez magasabb megnyitási arányt.
- A tárgysor: 25% nyitott árfolyam
- Tárgysor B: 28% nyitott árfolyam
- P-érték: 0.02 (szignifikáns különbséget jelez)
- Megbízhatósági intervallum: [2%, 5%] (95%-os bizonyossággal, hogy a nyitott árfolyamok valódi különbsége 2% és 5% között van
- Z-pontszám: 2.33 (statisztikailag szignifikáns különbségre utal)
- Megfigyelt teljesítmény: 0.85 (85% esély a valódi különbség észlelésére)
2. példa: Webhely nyitóoldalának A/B tesztje
Egy e-kereskedelmi webhely két céloldal-kialakítást tesztel, hogy megállapítsa, melyik vezet több vásárláshoz.
- A tervezés: 4% konverziós arány
- B kivitel: 5% konverziós arány
- P-érték: 0.045 (szignifikáns különbséget jelez)
- Megbízhatósági intervallum: [0.5%, 1.5%] (95%-os bizonyossággal, hogy a konverziós arányok valódi különbsége 0.5% és 1.5% között van
- Z-pontszám: 2.01 (statisztikailag szignifikáns különbségre utal)
- Megfigyelt teljesítmény: 0.78 (78% esély a valódi különbség észlelésére)
A / B tesztelés hatékony eszköz a digitális élmények optimalizálására, és kulcsfontosságú mutatóinak és terminológiájának megértése elengedhetetlen a pontos értelmezéshez. Switas tudja, hogyan kell hatékonyan viselkedni A / B tesztek, amely biztosítja, hogy a vállalkozások adatközpontú döntéseket hozhassanak teljesítményük fokozása érdekében, és megbízható és használható betekintést nyújtson a növekedés és a siker előmozdítására.
