A/B тестілеу веб-сайттар мен қолданбаларды оңтайландыруда қолданылатын маңызды әдіс болып табылады, бұл бизнеске қайсысы жақсырақ жұмыс істейтінін анықтау үшін веб-беттің немесе қолданбаның екі нұсқасын салыстыруға мүмкіндік береді. Нәтижелерді дәл түсіндіру үшін A/B тестілеуіне қатысты негізгі метрика мен терминологияны түсіну өте маңызды. Бұл мақалада біз маңызды A/B тестілеу метрикасын және терминологиясын, соның ішінде қарастырамыз p-мәні, сенімділік интервалы, бір жақты және екі жақты сынақтар, z-балл, бақыланатын қуат, нұсқа, бақылау тобы, қосымша кіріс, конверсия жылдамдығы және Байес есебі.
Негізгі A/B тестілеу метрикасы мен терминологиясы
1 Нұсқа
Нұсқа A/B сынағында тексерілетін нұсқалардың біріне жатады. Әдетте, бар нұсқа басқару элементі деп аталады, ал жаңа нұсқа нұсқа болып табылады.
Мысал: Қону бетінің A/B сынағында А нұсқасы (ағымдағы бет) басқару элементі, ал В нұсқасы (жаңа дизайн) нұсқа болып табылады.
2. Бақылау тобы
Бақылау тобы – A/B сынағының бастапқы нұсқасына (бақылауға) ұшыраған пайдаланушылар тобы. Ол нұсқаның өнімділігін салыстыру үшін негіз ретінде қызмет етеді.
Мысал: Веб-сайтқа 10,000 5,000 пайдаланушы кірсе, 5,000 XNUMX бақылау бетін (басқару тобы) және XNUMX XNUMX нұсқа бетін көруі мүмкін.
3. Қосымша табыс
Қосымша кіріс A/B сынағы кезінде енгізілген өзгерістер нәтижесінде алынған қосымша кірісті білдіреді. Бұл сынақтың қаржылық әсерін бағалауға көмектеседі.
Мысал: Егер нұсқа беті тапсырыстың орташа мәнін 5 долларға арттырса және 1,000 қосымша сатып алу жасалса, қосымша табыс $5,000 XNUMX болады.
4. Айырбастау бағамы
Конверсия жылдамдығы – келушілердің жалпы санынан сатып алу немесе ақпараттық бюллетеньге жазылу сияқты қажетті әрекетті орындаған пайдаланушылардың пайызы.
Мысал: Егер 100 келушіден 1,000 адам сатып алса, конверсия коэффициенті 10% құрайды.
5. P-мәні
p-мәні екі вариация арасындағы байқалған айырмашылық кездейсоқ пайда болу ықтималдығын өлшейді. Төмен p-мәні (әдетте 0.05-тен аз) байқалған айырмашылықтың статистикалық маңызды екенін көрсетеді.
Мысал: A/B сынағы бастапқы беттің екі нұсқасын салыстырады делік. А нұсқасында 5%, ал В нұсқасында 7% конверсия жылдамдығы бар. Егер p-мәні 0.03 болса, байқалған айырмашылықтың кездейсоқ пайда болуының 3% ықтималдығы бар, бұл екі нұсқа арасындағы айтарлықтай айырмашылықты көрсетеді.
6. Сенімділік аралығы
Сенімділік аралығы белгілі бір сенімділік деңгейімен шынайы әсер мөлшері күтілетін ауқымды қамтамасыз етеді (әдетте 95%). Бұл сынақ нәтижелерінің сенімділігін бағалауға көмектеседі.
Мысал: Бірдей A/B сынағында түрлендіру жылдамдығының айырмашылығы үшін 95% сенімділік аралығы [1%, 3%] болуы мүмкін. Бұл айырбастау мөлшерлемелеріндегі шынайы айырмашылық 95% және 1% арасында болатынына 3% сенімдіміз дегенді білдіреді.
7. Бір жақты және екі жақты сынақтар
Бір жақты сынақ әсердің бағытын бағалайды (мысалы, В нұсқасы А нұсқасынан жақсырақ па), ал екі жақты сынақ екі бағытта қандай да бір айырмашылық бар-жоғын бағалайды.
Бір жақты сынақ мысалы: В нұсқасының түрлендіру жылдамдығы А нұсқасынан жоғары екенін тексереді.
Екі жақты сынақ мысалы: Бағытқа қарамастан А нұсқасы мен В нұсқасының түрлендіру жылдамдығы арасында қандай да бір айырмашылық бар-жоғын тексереді.
8. Z-балы
Z-балы элементтің орташа мәннен қанша стандартты ауытқу екенін өлшейді. A/B тестілеуінде ол екі вариация арасындағы байқалған айырмашылықтың маңыздылығын анықтау үшін қолданылады. Жалпы сенімділік деңгейлері және олардың z-балл баламалары:
- Сенім аралығы 95%
- Екі жақты Z ұпайы: 1.96
- Бір жақты Z ұпайы: 1.65
- Сенім аралығы 99%
- Екі жақты Z ұпайы: 2.58
- Бір жақты Z ұпайы: 2.33
- Сенім аралығы 90%
- Екі жақты Z ұпайы: 1.64
- Бір жақты Z ұпайы: 1.28
Мысал: Егер А нұсқасы мен В нұсқасы арасындағы түрлендіру жылдамдығының айырмашылығы үшін z-балы 2.5 болса, бұл айырмашылықтың орташа мәннен 2.5 стандартты ауытқу екенін көрсетеді, бұл статистикалық маңызды айырмашылықты көрсетеді.
9. Бақыланатын қуат
Бақыланатын қуат шынайы әсер болған кезде сынақтың нөлдік гипотезаны дұрыс қабылдамау ықтималдығын білдіреді. Жоғары байқалатын қуат шынайы айырмашылықты анықтау ықтималдығының жоғарылығын көрсетеді.
Мысал: Бақыланатын қуаты 0.8 (80%) бар A/B сынагында вариациялар арасындағы шынайы айырмашылықты анықтаудың 80% мүмкіндігі бар, егер бар болса.
10. Байездік есептеу
Байестік есептеу қосымша дәлелдер алынған кезде гипотезаның ықтималдық бағасын жаңарту үшін Байес теоремасын пайдалануды қамтиды. A/B тестілеуінде ол деректер негізінде шешім қабылдау үшін ықтималдық шеңберін қамтамасыз етеді.
Мысал: Байес әдістерін қолдана отырып, тек дәстүрлі p-мәндеріне сүйенбей, бір нұсқаның бақыланатын деректермен берілген бақылаудан жақсырақ болу ықтималдығын анықтауға болады.
11. Жиі статистика
Жиі статистика - деректер жиілігіне немесе пропорциясына бағытталған гипотезаны тексерудегі дәстүрлі тәсіл. Ол тіркелген деректер жиынына сүйенеді және алдын ала білімді немесе ықтималдықты бөлуді қамтымайды.
Мысал: A/B тестілеуіне жиілікте сіз сынақ нәтижелерінің маңыздылығын анықтау үшін алдын ала ықтималдықтарды қоспай, p-мәндері мен сенімділік интервалдарын қолданасыз.
Практикалық мысалдар
1-мысал: Электрондық пошта науқаны A/B сынағы
Компания екі электрондық пошта тақырыбын сынап көргісі келеді, олардың қайсысы жоғары ашық тарифтерге әкелетінін көру үшін.
- Тақырып жолы А: 25% ашық мөлшерлеме
- Тақырып жолы B: 28% ашық мөлшерлеме
- P-мәні: 0.02 (маңызды айырмашылықты көрсетеді)
- Сенімділік аралығы: [2%, 5%] (ашық ставкалардағы шынайы айырмашылық 95% және 2% арасында екеніне 5% сенімділік
- Z-балы: 2.33 (статистикалық маңызды айырмашылықты көрсетеді)
- Бақыланатын қуат: 0.85 (шынайы айырмашылықты анықтау мүмкіндігі 85%)
2-мысал: Веб-сайттың бастапқы беті A/B сынағы
Электрондық коммерция веб-сайты қайсысы көбірек сатып алуға әкелетінін анықтау үшін екі бастапқы бет дизайнын тексереді.
- Дизайн A: 4% конверсия жылдамдығы
- B дизайны: 5% конверсия жылдамдығы
- P-мәні: 0.045 (маңызды айырмашылықты көрсетеді)
- Сенімділік аралығы: [0.5%, 1.5%] (айырбастау бағамдарының шынайы айырмашылығы 95% және 0.5% арасында екеніне 1.5% сенімділік
- Z-балы: 2.01 (статистикалық маңызды айырмашылықты көрсетеді)
- Бақыланатын қуат: 0.78 (шынайы айырмашылықты анықтау мүмкіндігі 78%)
A / B тестілеу сандық тәжірибені оңтайландырудың қуатты құралы болып табылады және оның негізгі өлшемдері мен терминологиясын түсіну дәл түсіндіру үшін өте маңызды. Свитас тиімді жүргізуді біледі A/B сынақтары, бизнестің өнімділігін арттыру үшін деректерге негізделген шешімдер қабылдай алуын қамтамасыз ету және өсу мен табысқа жетелейтін сенімді және іске асырылатын түсініктерді қамтамасыз ету.
