A/B टेस्टिंग क्या है? 6 चरणों की प्रक्रिया, स्टैटिस्टिकल सिग्निफिकेंस और सैंपल साइज़ के लिए शुरुआती गाइड
- ab-testing
- cro
- how-to
- beginners
लेख का सार
- A/B टेस्टिंग एक ऐसा तरीका है जिसमें विज़िटर्स को रैंडम तरीके से बाँटकर एक ही अवधि में मूल पेज (A) और बदला हुआ पेज (B) दिखाया जाता है, और आँकड़ों से तुलना की जाती है कि कौन-सा बेहतर प्रदर्शन करता है
- सिर्फ़ पहले और बाद की तुलना से आपके बदलाव का असर मौसम, विज्ञापनों, सप्ताह के दिनों आदि के असर से अलग नहीं किया जा सकता। दोनों वर्ज़न एक साथ चलाना ही A/B टेस्टिंग का मूल है
- प्रक्रिया में 6 चरण हैं: लक्ष्य और मेट्रिक → हाइपोथेसिस → वेरिएशन बनाना → चलाना → परखना → लागू करना। ज़रूरी सैंपल साइज़ (डेटा की मात्रा) और अवधि शुरू करने से पहले तय करें
- "स्टैटिस्टिकल सिग्निफिकेंस" इस बात का एक पैमाना है कि कोई अंतर सिर्फ़ रैंडम उतार-चढ़ाव से समझाना कितना मुश्किल है। p-value का मतलब "B के जीतने की संभावना" नहीं है
- ज़्यादातर असफलताएँ "बार-बार नतीजे देखकर जल्दी रोक देने", "एक साथ बहुत सारी चीज़ें बदलने" और "टेस्ट को बहुत कम समय तक चलाने" से आती हैं
- कम ट्रैफ़िक वाली साइट्स पर भी तरीका बदलकर, जैसे बड़े बदलावों पर ध्यान देकर या शुरुआती चरण की मेट्रिक देखकर, आप ज़्यादा ठोस आधार पा सकते हैं
"हेडलाइन बदल दें तो शायद ज़्यादा साइन-अप मिलें।" "क्या बटन पेज में थोड़ा ऊपर नहीं होना चाहिए?" वेबसाइट चलाते समय सुधार के विचार आते ही रहते हैं। लेकिन कोई बदलाव चीज़ों को बेहतर करेगा या बदतर, यह आज़माए बिना पता नहीं चलता। और बदलाव के बाद आँकड़े बढ़ भी जाएँ, तो अक्सर यह तय करना नामुमकिन होता है कि श्रेय बदलाव को जाता है या उसी हफ़्ते आपने संयोग से विज्ञापन का खर्च बढ़ा दिया था।
जब आप किसी बदलाव के असर को दूसरे कारकों से अलग करके पक्का करना चाहते हैं, तब A/B टेस्ट का इस्तेमाल किया जाता है।
यह लेख बताता है कि A/B टेस्टिंग का क्या मतलब है और यह कैसे काम करती है। इसके बाद व्यावहारिक चरण, हाइपोथेसिस लिखने का तरीका, कितने डेटा और समय की ज़रूरत होती है, "सिग्निफिकेंट अंतर" का असल में क्या मतलब है, और शुरुआती लोग सबसे ज़्यादा कौन-सी गलतियाँ करते हैं, यह सब आता है। कुछ आँकड़ेबाज़ी आएगी, लेकिन मैंने फ़ॉर्मूले कम से कम रखे हैं और विचारों को समझने को पहले रखा है। इस लेख के सभी गणना वाले उदाहरण समझाने के लिए चुने गए काल्पनिक आँकड़ों पर आधारित हैं।
A/B टेस्टिंग क्या है?
A/B टेस्टिंग एक ऐसा तरीका है जिसमें विज़िटर्स को रैंडम तरीके से पेज के दो वर्ज़न में से एक दिखाया जाता है, और एक ही अवधि के डेटा से तुलना की जाती है कि कौन-सा बेहतर नतीजे देता है। इसे कभी-कभी "स्प्लिट टेस्टिंग" भी कहते हैं।
- A (कंट्रोल / मूल वर्ज़न): मौजूदा पेज। यही तुलना का आधार है
- B (वेरिएंट / बदला हुआ वर्ज़न): ऐसा पेज जिसका कोई हिस्सा बदला गया है। यही वह विचार है जिसे आप आज़माना चाहते हैं
उदाहरण के लिए, आप आधे विज़िटर्स को वर्ज़न A और बाकी आधों को वर्ज़न B दिखाते हैं, फिर तुलना करते हैं कि हर समूह के कितने प्रतिशत लोगों ने साइन-अप पूरा किया। इस प्रतिशत को कन्वर्ज़न रेट (CVR) कहते हैं। कन्वर्ज़न वह कार्रवाई है जो आप चाहते हैं कि विज़िटर आपकी साइट पर करें, जैसे खरीदारी, साइन-अप या जानकारी के लिए अनुरोध।
"A/B टेस्टिंग" नाम दो वर्ज़न की तुलना से आया है, लेकिन आप एक साथ तीन या ज़्यादा वर्ज़न की तुलना भी कर सकते हैं (इसे A/B/n टेस्टिंग कहते हैं)। विचार वही रहता है।
यह कैसे काम करती है: रैंडम बाँटना और एक ही समय पर तुलना करना
तीन व्यवस्थाएँ A/B टेस्ट को काम करने लायक बनाती हैं।
1. विज़िटर्स को रैंडम तरीके से तय किया जाता है। कोई विज़िटर A देखेगा या B, यह टूल रैंडम संख्याओं से तय करता है। इसे कोई व्यक्ति नहीं चुनता, और बँटवारा "सुबह A, दोपहर में B" जैसे किसी नियम पर नहीं चलता। रैंडम तरीके से तय करने का मतलब है कि विज़िटर्स के बीच के फ़र्क, जैसे नए बनाम पुराने, स्मार्टफ़ोन बनाम डेस्कटॉप, या विज्ञापन से आए बनाम सर्च से आए लोग, A और B दोनों में लगभग बराबर अनुपात में मिल जाते हैं।
2. दोनों वर्ज़न एक ही अवधि में चलते हैं। A और B एक ही समय पर दिखाए जाते हैं। इसलिए सेल, मौसम, टीवी पर ज़िक्र या सप्ताह के दिनों के उतार-चढ़ाव जैसे बाहरी प्रभाव A और B दोनों पर एक जैसा असर डालते हैं।
3. एक ही व्यक्ति को हमेशा एक ही वर्ज़न दिखता है। अगर B में रखा गया कोई व्यक्ति अगली विज़िट पर A देख ले, तो आप यह नहीं जान पाएँगे कि उसके साइन-अप पर किस वर्ज़न का असर पड़ा। इसी वजह से ज़्यादातर टूल ब्राउज़र में सहेजे गए एक मार्कर (जैसे कुकी) का इस्तेमाल करते हैं, ताकि एक ही विज़िटर को हर बार वही वर्ज़न दिखे।
जब ये तीनों शर्तें पूरी होती हैं, तो A और B के बीच एकमात्र अंतर "आपने पेज पर जो बदला" वही रह जाता है। इसीलिए जब नतीजे अलग आते हैं, तो उस अंतर को बदलाव से जोड़ना आसान होता है। यह वही विचार है जो दवाओं के असर को जाँचने के लिए इस्तेमाल होने वाले रैंडमाइज़्ड कंट्रोल्ड ट्रायल में होता है, बस यहाँ इसे वेबसाइट्स पर लागू किया गया है।
A/B टेस्टिंग की ज़रूरत क्यों है: पहले-बाद की तुलना क्या नहीं बता सकती
आप सोच सकते हैं, "विज़िटर्स को बाँटे बिना पेज बदलकर पहले और बाद के आँकड़ों की तुलना क्यों न कर लें?" इसे पहले-बाद की तुलना कहते हैं। यह आसान है, लेकिन इसकी एक बड़ी कमज़ोरी है: आप अपने बदलाव के असर को दूसरे कारकों से अलग नहीं कर सकते।
पेज पर कुछ न बदलने पर भी आपकी साइट के आँकड़े रोज़ बदलते रहते हैं। इन्हें हिलाने वाले कारक ये हैं:
- मौसम और आयोजन: बोनस का समय, वित्त वर्ष का अंत, छुट्टियाँ, मौसम आदि
- विज्ञापन और कैंपेन: विज्ञापन खर्च में कमी-बढ़ोतरी, विज्ञापन के गंतव्य में बदलाव, ईमेल न्यूज़लेटर का भेजा जाना
- सप्ताह का दिन और दिन का समय: कामकाजी दिनों और सप्ताहांत के विज़िटर्स का प्रकार और मकसद अलग हो सकता है
- ट्रैफ़िक स्रोतों में बदलाव: सर्च रैंकिंग में उतार-चढ़ाव, सोशल मीडिया पर वायरल होना, दूसरी साइट्स से रेफ़रल
- प्रतिस्पर्धी और बाज़ार: किसी प्रतिस्पर्धी की कीमत में कटौती, खबरों में कवरेज
पहले-बाद की तुलना में, अगर इनमें से कोई भी कारक आपके बदलाव के बाद की अवधि से मेल खा जाए, तो आप यह नहीं बता सकते कि आँकड़ों में बदलाव आपके बदलाव से आया या किसी और वजह से। बदलाव के बाद आँकड़े बढ़ने पर भी यह संभव है कि बदलाव ने असल में नुकसान किया हो और विज्ञापनों में बढ़ोतरी ने उसे ढक दिया हो।
A/B टेस्ट में A और B एक ही अवधि में दिखाए जाते हैं, इसलिए ये कारक दोनों को बराबर प्रभावित करते हैं। फिर आप बचा हुआ अंतर देखते हैं, जिससे अकेले बदलाव का असर अलग करना आसान हो जाता है।
एक और कारण यह है कि बनाने वाले का अंदाज़ा और विज़िटर्स की प्रतिक्रिया अक्सर मेल नहीं खाते। यह असामान्य नहीं है कि जिस विचार को अंदर सब लोग "ज़्यादा समझने में आसान" मानते थे, वह असली विज़िटर्स के सामने फीका पड़ जाए। A/B टेस्टिंग इस बात का भी तरीका है कि फ़ैसला इस आधार पर हो कि विज़िटर असल में क्या करते हैं, न कि इस पर कि कौन सबसे ज़ोर से बोलता है या किसका पद बड़ा है।
A/B टेस्टिंग क्या बता सकती है और क्या नहीं
A/B टेस्टिंग शक्तिशाली है, लेकिन यह सब कुछ नहीं बता सकती। शुरू करने से पहले यह जान लेना कि यह किसमें अच्छी है और किसमें कमज़ोर, नतीजों की गलत व्याख्या से बचाता है।
यह क्या बता सकती है
- आपके चुने हुए मेट्रिक (जैसे साइन-अप रेट) को बदलाव ने बढ़ाया, घटाया या लगभग वैसा ही रहने दिया
- क्या अंतर इतना बड़ा है कि सिर्फ़ रैंडम उतार-चढ़ाव से उसे समझाना मुश्किल हो
यह क्या नहीं बता सकती, या किसमें कमज़ोर है
- अंतर क्यों आया: कारण केवल अनुमान है। उसे दूसरे डेटा के साथ मिलाकर देखें
- लंबे समय के असर: यह सिर्फ़ टेस्ट की अवधि के व्यवहार को देखती है। महीनों बाद की रिटेंशन या सब्सक्रिप्शन रद्द करने की दर के बारे में यह अक्सर कुछ नहीं बता पाती
- जो विचार आज़माए नहीं गए उनसे तुलना: आप जान पाते हैं कि A और B में कौन बेहतर है, लेकिन यह नहीं कि कोई और बेहतर विकल्प C मौजूद है या नहीं
- कम ट्रैफ़िक वाले पेजों पर छोटे सुधार: हो सकता है कि अंतर होने या न होने, दोनों में से किसी के बारे में कहने लायक पर्याप्त डेटा न हो (इस पर नीचे वाले सेक्शन में बताया गया है कि क्या करें)
साथ ही, A/B टेस्टिंग "विचारों को जाँचने का औज़ार" है, "अच्छे विचार सोचने का औज़ार" नहीं। आप जिन विचारों को आज़माते हैं उनकी गुणवत्ता इस पर निर्भर करती है कि आप अपनी हाइपोथेसिस कैसे बनाते हैं।
A/B टेस्ट के प्रकार: मल्टीवेरिएट और रीडायरेक्ट टेस्ट से अंतर
"A/B टेस्टिंग" के भीतर भी कई संबंधित तरीके हैं। यहाँ वे हैं जो सबसे ज़्यादा सामने आते हैं।
| प्रकार | क्या तुलना करता है | किसके लिए सबसे उपयुक्त | किस बात का ध्यान रखें |
|---|---|---|---|
| A/B टेस्ट | एक ही URL पर ऐसे वर्ज़न जिनमें एक हिस्सा बदला गया हो | किसी एक बदलाव का असर जाँचना, जैसे हेडलाइन, बटन या इमेज | यह बुनियादी रूप है। यहीं से शुरू करें |
| A/B/n टेस्ट | तीन या ज़्यादा वर्ज़न | आपके पास हेडलाइन के कई विकल्प हैं और आप उनकी एक साथ तुलना करना चाहते हैं | जितने ज़्यादा वर्ज़न, हर वर्ज़न के लिए उतना कम डेटा और टेस्ट उतना लंबा |
| मल्टीवेरिएट टेस्ट | कई तत्वों के संयोजन (जैसे 2 हेडलाइन × 2 इमेज = 4 संयोजन) | आप जानना चाहते हैं कि तत्वों का कौन-सा संयोजन सबसे अच्छा काम करता है | हर संयोजन के लिए डेटा चाहिए। ज़्यादा ट्रैफ़िक वाले पेजों के लिए उपयुक्त |
| रीडायरेक्ट टेस्ट (स्प्लिट URL टेस्ट) | अलग-अलग URL पर बने अलग डिज़ाइन वाले पेज | आप बिल्कुल अलग लेआउट वाले नए पेज की तुलना मौजूदा पेज से करना चाहते हैं | रीडायरेक्ट से पेज दिखने में थोड़ी देर हो सकती है। सर्च इंजन के बारे में भी सोचना होगा |
| A/A टेस्ट | दो एक जैसे वर्ज़न | आप जाँचना चाहते हैं कि टूल का ट्रैफ़िक बँटवारा और मापन सही चल रहा है या नहीं | यह जाँच के लिए है, सुधार के लिए नहीं |
मल्टीवेरिएट टेस्ट एक साथ कई तत्व बदलता है और हर संयोजन के नतीजों की तुलना करता है। इससे यह भी पता चल सकता है कि तत्व आपस में कितना अच्छा काम करते हैं, जैसे "यह हेडलाइन इस इमेज के साथ सबसे अच्छी चलती है"। लेकिन 3 हेडलाइन, 3 इमेज और 2 बटन से 18 संयोजन बनते हैं, और हर एक के लिए पर्याप्त डेटा चाहिए। सीमित ट्रैफ़िक वाली साइट्स के लिए एक-एक करके A/B टेस्ट चलाना ज़्यादा व्यावहारिक है।
रीडायरेक्ट टेस्ट कुछ विज़िटर्स को दूसरे URL पर भेजकर नतीजों की तुलना करता है; इसे स्प्लिट URL टेस्ट भी कहते हैं। यह बड़े बदलावों के लिए ठीक है, जैसे पेज का ढाँचा ही नया बनाना। सामान्य A/B टेस्ट, जो उसी URL पर तत्वों को दोबारा लिखता है, शब्दों या रंग जैसे छोटे बदलाव जल्दी आज़माने के लिए ठीक है।
वेब के बाहर, ईमेल के सब्जेक्ट लाइन या विज्ञापन क्रिएटिव के दो वर्ज़न भेजकर प्रतिक्रिया की तुलना करने को भी A/B टेस्टिंग कहा जाता है। यह लेख वेब पेजों की A/B टेस्टिंग पर केंद्रित है।
A/B टेस्ट में क्या टेस्ट करें
टेस्ट करने लायक कई तत्व हैं। यहाँ आम तत्व दिए गए हैं।
- हेडलाइन (मुख्य कॉपी): फ़ीचर्स बताने से हटकर यह बताएँ कि विज़िटर को क्या नतीजा मिलेगा। मकसद शुरुआती कुछ सेकंड में यह एहसास दिलाना है कि "यह मेरे काम का है"
- CTA (कॉल-टू-एक्शन बटन): शब्द, स्थान, आकार या रंग बदलें। मकसद अगली कार्रवाई को साफ़ करना है
- मुख्य इमेज या वीडियो: सिर्फ़ प्रोडक्ट की फ़ोटो और उसे इस्तेमाल करते हुए की फ़ोटो की तुलना करें। मकसद मूल्य को सहज रूप से समझाना है
- फ़ॉर्म: फ़ील्ड्स की संख्या घटाएँ, उन्हें चरणों में बाँटें, भरने का उदाहरण जोड़ें। मकसद मेहनत और हिचकिचाहट को कम करना है
- कीमतें कैसे दिखाई जाती हैं: मासिक और वार्षिक कीमतों का लेआउट, प्लान्स का क्रम, टैक्स-सहित कीमत कहाँ दिखे। मकसद तुलना और फ़ैसला आसान बनाना है
- भरोसा बढ़ाने वाली जानकारी: ग्राहकों का रिकॉर्ड, प्रशंसापत्र, गारंटी और सपोर्ट की जानकारी की जगह। मकसद साइन-अप से पहले की चिंता कम करना है
- लेआउट और जानकारी का क्रम: ज़रूरी जानकारी ऊपर लाएँ, लंबे पेज को छोटा करें। मकसद विज़िटर्स को ज़रूरी जानकारी तक जल्दी पहुँचाना है
- नेविगेशन: मेन्यू आइटम्स की संख्या या उनके शब्द बदलें। मकसद उलझन कम करना और विज़िटर्स को उनके मनचाहे पेज तक ले जाना है
CTA का मतलब "Call To Action" है। यह ऐसे बटन या लिंक को कहते हैं जो विज़िटर्स को कार्रवाई के लिए प्रेरित करता है, जैसे "साइन अप करें" या "जानकारी के लिए अनुरोध करें"।
एक नियम के तौर पर, कहाँ से शुरू करें यह नतीजे से नज़दीकी और कितना देखा जाता है इस आधार पर तय करें। साइन-अप बटन और फ़ॉर्म जैसी जगहें जो सीधे नतीजों से जुड़ी हैं, और पेज का ऊपरी हिस्सा जिसे बहुत से विज़िटर देखते हैं, वहाँ बदलाव का असर दिखने की संभावना सबसे ज़्यादा होती है। दूसरी ओर, पेज के निचले हिस्से के पास का कोई छोटा बदलाव, जहाँ ज़्यादातर लोग पहुँचते ही नहीं, काम करे तब भी उसे पकड़ने में लंबा समय लगता है।
A/B टेस्टिंग के उदाहरण के तौर पर अक्सर "बटन का रंग" गिनाया जाता है, लेकिन सिर्फ़ रंग बदलने से ज़रूरी नहीं कि बड़ा अंतर आए। रंग से ज़्यादा यह मायने रखता है कि क्या समस्या यह है कि बटन आसपास में घुल-मिल जाता है और किसी की नज़र में नहीं आता। क्या बदलना है, यह हाइपोथेसिस से पीछे की ओर सोचकर तय होना चाहिए, जिसकी चर्चा आगे है।
A/B टेस्ट कैसे चलाएँ [6 चरण]
A/B टेस्ट इन 6 चरणों में आगे बढ़ता है। ज़रूरी बात यह है कि चलाना शुरू करने से पहले मेट्रिक, ज़रूरी डेटा की मात्रा, अवधि और परखने के मापदंड तय कर लें।
लक्ष्य और मेट्रिक तय करें
जो सुधारना चाहते हैं उसे एक चीज़ तक सीमित करें, और उसे मापने वाली मेट्रिक तय करें। इसे ऐसे शब्दों में लिखें जिसे आँकड़ों से मापा जा सके, जैसे "जानकारी के अनुरोध की पूर्णता दर बढ़ाना"। परखने के लिए सिर्फ़ एक मेट्रिक (प्राइमरी मेट्रिक) का इस्तेमाल करें।
हाइपोथेसिस बनाएँ
लिखें कि "समस्या कहाँ है, आप क्या और कैसे बदलेंगे, और आपको क्यों लगता है कि इससे हालात सुधरेंगे।" वेब एनालिटिक्स और हीटमैप जैसे डेटा को आधार बनाने से अंदाज़ेबाज़ी कम होती है।
टेस्ट करने के लिए वेरिएशन बनाएँ
हाइपोथेसिस के आधार पर बदला हुआ वर्ज़न (B) बनाएँ। यह पता लगाने लायक रखने के लिए कि क्या काम आया, बदलावों को एक हाइपोथेसिस जितने तक सीमित रखें। स्मार्टफ़ोन और डेस्कटॉप, दोनों पर इसका दिखना जाँच लें।
ज़रूरी डेटा और अवधि तय करें, फिर चलाएँ
ज़रूरी सैंपल साइज़ और टेस्ट की अवधि का अनुमान लगाएँ, ट्रैफ़िक आवंटन तय करें, और फिर शुरू करें। शुरू करने के तुरंत बाद जाँचें कि ट्रैफ़िक बँटवारा और मापन सही चल रहे हैं।
अवधि पूरी होने पर परखें
नतीजे तभी देखें जब आप पहले से तय की गई अवधि और डेटा की मात्रा तक पहुँच जाएँ। प्राइमरी मेट्रिक में अंतर देखें और जाँचें कि वह अंतर उस दायरे में है या नहीं जिसे रैंडम उतार-चढ़ाव समझा सकता है।
नतीजे को लागू करें और अगली हाइपोथेसिस पर बढ़ें
जिस वर्ज़न ने बेहतर किया उसे आधिकारिक रूप से अपनाएँ और टेस्ट की सेटिंग्स साफ़ कर दें। अगर कोई अंतर नहीं दिखा, तब भी जो सीखा उसे दर्ज करें और अगली हाइपोथेसिस में इस्तेमाल करें।
अगले सेक्शन्स में हर चरण के पीछे की सोच को विस्तार से समझाया गया है।
लक्ष्य और मेट्रिक्स कैसे चुनें
मेट्रिक्स को उनकी भूमिका के हिसाब से व्यवस्थित करना मददगार होता है।
- प्राइमरी मेट्रिक: वह मेट्रिक जो तय करती है कि टेस्ट कौन जीतता है। सिर्फ़ एक चुनें। उदाहरण हैं खरीदारी पूरी होने की दर, जानकारी के अनुरोध की पूर्णता दर और मुफ़्त साइन-अप दर
- सेकेंडरी मेट्रिक्स: वे मेट्रिक्स जिन्हें आप यह समझने के लिए देखते हैं कि प्राइमरी मेट्रिक कैसे बदली। उदाहरण हैं बटन क्लिक रेट, फ़ॉर्म शुरू करने की दर और स्क्रॉल डेप्थ
- गार्डरेल मेट्रिक्स: वे मेट्रिक्स जिन पर आप नज़र रखते हैं ताकि पक्का हो कि कुछ बिगड़ा नहीं। उदाहरण हैं बाउंस रेट, पेज लोड की गति, रिटर्न या रद्दीकरण, और पूछताछ की संख्या
प्राइमरी मेट्रिक को एक तक सीमित रखने का कारण यह है कि अगर आप कई मेट्रिक्स की कतार लगा दें और उनमें से किसी एक के सुधरने पर भी उसे सफलता कह दें, तो आप ऐसी मेट्रिक चुन बैठेंगे जो महज़ संयोग से बेहतर दिखी। यह "मल्टीपल कम्पैरिज़न" की समस्या है, जिसका ज़िक्र आगे के एक सेक्शन में फिर आता है।
ऐसी प्राइमरी मेट्रिक चुनें जो जितना हो सके बिज़नेस के नतीजों के क़रीब हो। ऐसा हो सकता है कि बटन क्लिक रेट बढ़ जाए लेकिन साइन-अप न बढ़ें। क्लिक के लिए लुभाने वाले शब्द ज़्यादा लोगों से बटन दबवा देते हैं, लेकिन अगर अगला कदम उनकी उम्मीद से मेल नहीं खाता, तो वे चले जाते हैं।
दूसरी ओर, जिन मेट्रिक्स में घटनाएँ कम होती हैं, जैसे खरीदारी या अनुबंध, उनके लिए पर्याप्त डेटा जुटाने में ज़्यादा समय लगता है। सीमित ट्रैफ़िक वाली साइट्स के लिए एक विकल्प यह है कि पहले के चरण की किसी मेट्रिक (जैसे फ़ॉर्म तक पहुँचना) को प्राइमरी मेट्रिक बनाया जाए। ऐसे में यह बात याद रखना ज़रूरी है कि "पहले की मेट्रिक सुधरने पर भी अंतिम नतीजा ज़रूरी नहीं कि सुधरे"।
हाइपोथेसिस कैसे लिखें: व्यवहार के डेटा को बदलाव की वजह में बदलना
A/B टेस्ट की सफलता काफ़ी हद तक हाइपोथेसिस की गुणवत्ता पर निर्भर करती है। अगर आप बिना हाइपोथेसिस के विचार आज़माते रहें, तो आपके पास ऐसे टेस्ट्स की कतार रह जाती है जिनमें कोई अंतर नहीं दिखता, और अंतर दिख भी जाए तो आप उस पर आगे कुछ बना नहीं पाते।
हाइपोथेसिस को नीचे के रूप में लिखने से खामियाँ कम होती हैं।
"(डेटा में दिखने वाले तथ्य) से हमें लगता है कि (समस्या का अनुमान)। इसलिए अगर हम (यह बदलाव करें), तो (यह मेट्रिक) सुधरनी चाहिए।"
उदाहरण के लिए, मान लें कि स्थिति यह है (काल्पनिक)।
- तथ्य: प्राइसिंग पेज पर बहुत कम विज़िटर इतना स्क्रॉल करते हैं कि साइन-अप बटन तक पहुँच सकें
- समस्या का अनुमान: बटन बहुत नीचे है, इसलिए साइन-अप करना चाहने वाले विज़िटर भी उसे ढूँढ नहीं पाते
- बदलाव: प्लान टेबल के ठीक नीचे भी एक साइन-अप बटन रखें
- मेट्रिक: साइन-अप पूरा होने की दर
इस तरह लिखने से नतीजे आने के बाद आप पीछे मुड़कर पूछ सकते हैं कि "अनुमान गलत था, या बदलाव काफ़ी नहीं था"।
हाइपोथेसिस में काम आने वाले डेटा में ये शामिल हैं।
- वेब एनालिटिक्स: किन पेजों पर ज़्यादा ड्रॉप-ऑफ़ है, किन ट्रैफ़िक स्रोतों से नतीजे कम हैं। यह जानने के लिए अच्छा है कि किस "पेज" में समस्या है
- हीटमैप: लोग पेज में कितना नीचे तक पढ़ते हैं, कहाँ क्लिक करते हैं, और क्या वे उन चीज़ों पर क्लिक करते हैं जो लिंक नहीं हैं। यह जानने के लिए अच्छा है कि किस "जगह" में समस्या है
- पूछताछ और सेल्स या सपोर्ट के रिकॉर्ड: विज़िटर्स किस बात पर उलझन में हैं और किस बात की चिंता करते हैं
- यूज़र्स के साथ सर्वे और इंटरव्यू: उन कारणों के संकेत जो आँकड़ों में नहीं दिखते
हीटमैप एक ऐसा टूल है जो विज़िटर्स के व्यवहार को पेज पर हल्के और गहरे रंगों के क्षेत्रों के रूप में ऊपर से दिखाता है (प्रकार और पढ़ने का तरीका जानने के लिए हीटमैप क्या है? देखें)। यह पेज के भीतर समस्या वाली जगहें खोजने में मदद करता है, जैसे "कोई ज़रूरी बटन क्लिक नहीं हो रहा" या "बहुत से लोग बीच में पढ़ना छोड़ देते हैं"। भूमिकाओं के बँटवारे के लिए, जहाँ आप हीटमैप से समस्याएँ खोजते हैं और A/B टेस्ट से सुधार की पुष्टि करते हैं, हीटमैप बनाम A/B टेस्टिंग: अंतर और दोनों का इस्तेमाल कैसे करें देखें।
जब आपके पास कई हाइपोथेसिस हों, तो उन्हें तीन बातों पर रैंक करें: "असर का अपेक्षित आकार", "प्रमाण की मज़बूती" और "लागू करने की मेहनत"। जिनमें अपेक्षित असर ज़्यादा और मेहनत कम हो, उनसे शुरू करने पर आगे बढ़ना आसान होता है।
सैंपल साइज़ को समझना
सैंपल साइज़ टेस्ट के लिए ज़रूरी डेटा की मात्रा है, यानी हर वर्ज़न को देखने वाले विज़िटर्स की संख्या। A/B टेस्ट में इसका अनुमान चलाने से पहले लगाया जाता है। अगर डेटा बहुत कम हो, तो आप ऐसे अंतर को पकड़ने में ज़्यादा बार चूकेंगे जो सचमुच मौजूद है, और संयोग से कोई सिग्निफिकेंट अंतर दिख भी जाए, तो उसका आकार असल से बड़ा दिखने की प्रवृत्ति रहती है।
ज़रूरी सैंपल साइज़ मुख्य रूप से इन चार बातों से तय होता है।
- मौजूदा कन्वर्ज़न रेट: यह जितना कम होगा, उतने ज़्यादा डेटा की ज़रूरत होगी
- जिस अंतर को पकड़ना चाहते हैं उसका आकार: जितना छोटा अंतर खोजना चाहें, उतने ज़्यादा डेटा की ज़रूरत होगी। सबसे छोटा अंतर जिसे आप पकड़ना चाहते हैं, और जिससे छोटा कुछ चूक जाने पर आपको कोई दिक्कत नहीं, मिनिमम डिटेक्टेबल इफ़ेक्ट (MDE) कहलाता है
- सिग्निफिकेंस लेवल: जब कोई अंतर नहीं है तब "अंतर है" घोषित कर देने की गलती को आप कितना स्वीकार करने को तैयार हैं। आम तौर पर 5% इस्तेमाल होता है
- स्टैटिस्टिकल पावर: जब सचमुच अंतर मौजूद हो, तब उसे पकड़ लेने की संभावना। आम तौर पर 80% इस्तेमाल होता है
इनमें दूसरी बात का सबसे ज़्यादा असर होता है। जब जिस अंतर को आप खोजना चाहते हैं वह आधा हो जाता है, तो ज़रूरी डेटा की मात्रा लगभग 4 गुना बढ़ जाती है।
मोटा अंदाज़ा देने के लिए यह एक गणना का उदाहरण है। ये मौजूदा कन्वर्ज़न रेट 2.0% मानकर हर वेरिएशन के लिए ज़रूरी विज़िटर्स की अनुमानित संख्या हैं (दो अनुपातों की तुलना के लिए मानक फ़ॉर्मूले से, टू-साइडेड टेस्ट, 5% सिग्निफिकेंस लेवल और 80% पावर के साथ गणना की गई है)।
| जिस सुधार को पकड़ना चाहते हैं (सापेक्ष) | बदलाव के बाद कन्वर्ज़न रेट | हर वेरिएशन के लिए ज़रूरी विज़िटर्स (लगभग) |
|---|---|---|
| +10% | 2.0% → 2.2% | लगभग 80,700 |
| +20% | 2.0% → 2.4% | लगभग 21,100 |
| +30% | 2.0% → 2.6% | लगभग 9,800 |
| +50% | 2.0% → 3.0% | लगभग 3,800 |
यह तालिका दो बातें दिखाती है। पहली, छोटे सुधार की पुष्टि करने में आपकी सोच से ज़्यादा डेटा लगता है। 2.0% कन्वर्ज़न रेट वाले पेज पर 10% के सुधार की पुष्टि के लिए A और B को मिलाकर 160,000 से ज़्यादा विज़िटर्स चाहिए होंगे। दूसरी, जो बदलाव जितना बड़ा सुधार लक्ष्य बनाता है, उसे परखने के लिए उतना कम डेटा चाहिए।
असल में अनुमान लगाते समय, A/B टेस्टिंग टूल्स में बने कैलकुलेटर या सार्वजनिक रूप से उपलब्ध सैंपल साइज़ कैलकुलेटर चारों मान डालते ही जवाब दे देते हैं। आपको फ़ॉर्मूला रटने की ज़रूरत नहीं। ज़रूरी यह है कि पहले तय करें कि "मैं कितना बड़ा अंतर खोजना चाहता हूँ", और फिर देखें कि आपकी साइट का ट्रैफ़िक वहाँ तक वाजिब समय में पहुँचा सकता है या नहीं।
अगर आपका लगाया हुआ ज़रूरी आँकड़ा बहुत बड़ा निकले, तो टेस्टिंग छोड़ देने के अलावा भी विकल्प हैं: ऐसे बदलाव पर ध्यान दें जिससे बड़ा अंतर आने की संभावना हो, ज़्यादा ट्रैफ़िक वाले पेज पर टेस्ट चलाएँ, या फ़नल में पहले आने वाली मेट्रिक देखें। "कम ट्रैफ़िक वाली साइट पर क्या करें" वाला सेक्शन बताता है कि कैसे।
टेस्ट की अवधि कैसे तय करें
टेस्ट की अवधि का अनुमान ज़रूरी सैंपल साइज़ को टेस्ट किए जा रहे पेज पर रोज़ आने वाले लोगों की संख्या से भाग देकर लगाएँ।
एक उदाहरण देखें। मान लें ऊपर की तालिका के अनुसार आपको "हर वेरिएशन के लिए लगभग 21,100" चाहिए। मान लें लक्षित पेज पर रोज़ 1,000 विज़िटर आते हैं, और मान लें सभी टेस्ट में शामिल हैं और A व B में आधा-आधा बँटे हैं, तो हर वेरिएशन को रोज़ 500 मिलते हैं। 21,100 ÷ 500 लगभग 42 दिन, यानी लगभग 6 हफ़्ते बैठता है।
अवधि तय करते समय डेटा की मात्रा के अलावा इन बातों पर भी विचार करें।
पूरे हफ़्ते इस्तेमाल करें। विज़िटर्स का व्यवहार सप्ताह के दिन के हिसाब से बदलता है। कामकाजी दिनों में शायद काम से जुड़ी खोजबीन होती है और सप्ताहांत में निजी खरीदारी, इसलिए विज़िटर्स का प्रकार और मकसद अलग हो सकता है। अगर आप सोमवार से गुरुवार, सिर्फ़ चार दिन में खत्म कर दें, तो सप्ताहांत के विज़िटर्स की प्रतिक्रियाएँ छूट जाती हैं। एक ही दिन शुरू और खत्म करके, 7 दिनों के गुणकों में चलाने से सप्ताह के दिन का पूर्वाग्रह टलता है।
बहुत कम अवधि से बचें। बहुत ज़्यादा ट्रैफ़िक वाली साइट्स, जो कुछ ही दिनों में ज़रूरी संख्या तक पहुँच जाती हैं, उनके लिए भी आम नियम यह है कि कम से कम 1 हफ़्ता, और आदर्श रूप से 2 हफ़्ते चलाएँ। सप्ताह के दिन के पूर्वाग्रह के अलावा, बदलाव के तुरंत बाद प्रतिक्रियाएँ सिर्फ़ इसलिए बेहतर हो सकती हैं कि वह नया है (या पुराने विज़िटर्स के चौंक जाने से बदतर हो सकती हैं)।
बहुत लंबी अवधि से भी बचें। टेस्ट जितना लंबा चलता है, उतनी ज़्यादा गड़बड़ियाँ घुसती हैं, जैसे कुकीज़ मिट जाने से एक ही व्यक्ति को दूसरा वर्ज़न दिखना, या मौसम और बाज़ार की स्थितियों का बदल जाना। अगर आपका अनुमान 2 महीने से काफ़ी ऊपर निकलता है, तो हम सुझाते हैं कि टेस्ट की डिज़ाइन (पकड़े जाने वाले अंतर का आकार, लक्षित पेज और मेट्रिक) पर दोबारा विचार करें।
असामान्य अवधियों से बचें। जिन अवधियों में विज़िटर्स का व्यवहार सामान्य से बहुत अलग होता है, जैसे बड़ी सेल या साल के अंत की छुट्टियाँ, उनके नतीजे सामान्य अवधियों पर लागू नहीं भी हो सकते। जब तक आप उस अवधि के लिए विशेष किसी उपाय को नहीं जाँचना चाहते, इनसे बचना ज़्यादा सुरक्षित है।
स्टैटिस्टिकल सिग्निफिकेंस क्या है? p-value और कॉन्फ़िडेंस लेवल की आसान व्याख्या
टेस्ट खत्म होने पर आपको "A 2.0% है, B 2.4% है" जैसा नतीजा मिलता है। यहाँ आपको यह सोचना है कि यह अंतर असली है या सिर्फ़ संयोग।
दो समूहों को बिल्कुल एक जैसा पेज दिखाने पर भी उनके कन्वर्ज़न रेट लगभग कभी बिल्कुल बराबर नहीं आएँगे। जैसे सिक्का 100 बार उछालने पर हमेशा ठीक 50 बार चित नहीं आता, वैसे ही आँकड़ों में रैंडम उतार-चढ़ाव होता है। इसलिए आपको यह जाँचने की प्रक्रिया चाहिए कि "देखा गया अंतर उस दायरे में है या नहीं जिसे सिर्फ़ रैंडम उतार-चढ़ाव समझा सकता है"। यह स्टैटिस्टिकल हाइपोथेसिस टेस्टिंग है, और इसके निष्कर्ष के लिए शब्द है स्टैटिस्टिकल सिग्निफिकेंस।
p-value क्या है?
एक टेस्ट में आप पहले मानते हैं कि "A और B के बीच सचमुच कोई अंतर नहीं है"। फिर आप उस संभावना की गणना करते हैं कि अगर सचमुच कोई अंतर न होता, तो संयोग से देखे गए अंतर जितना या उससे बड़ा अंतर दिखाई दे। यही संभावना p-value है।
- छोटा p-value → "कोई अंतर नहीं" की धारणा के तहत ऐसा अंतर शायद ही कभी आता → "कोई अंतर नहीं" की धारणा संदिग्ध लगती है
- बड़ा p-value → कोई अंतर न होने पर भी इतना बड़ा अंतर संयोग से अक्सर दिख जाता है → आप यह नहीं कह सकते कि अंतर है
सिग्निफिकेंस लेवल और कॉन्फ़िडेंस लेवल
वह सीमा, कि निष्कर्ष "अंतर है" निकालने के लिए p-value को कितना छोटा होना चाहिए, सिग्निफिकेंस लेवल कहलाती है। परंपरा से आम तौर पर 5% (0.05) इस्तेमाल होता है। जब p-value सिग्निफिकेंस लेवल से नीचे आ जाता है, तो हम कहते हैं कि "सांख्यिकीय रूप से सिग्निफिकेंट अंतर है"।
A/B टेस्टिंग टूल्स की स्क्रीन पर आपको अक्सर "95% कॉन्फ़िडेंस लेवल" या "95% कॉन्फ़िडेंस" जैसे डिस्प्ले दिखते हैं। इसका आम तौर पर मतलब होता है कि टूल 5% सिग्निफिकेंस लेवल पर परख रहा है (डिस्प्ले का अर्थ टूल के हिसाब से बदलता है, इसलिए अपने टूल का डॉक्युमेंटेशन देखें)।
5% सिग्निफिकेंस लेवल इस बात पर सहमति है कि "जब सचमुच कोई अंतर नहीं है तब अंतर घोषित कर देने का 5% तक का जोखिम हम स्वीकार करते हैं"। दूसरे शब्दों में, अगर आप ऐसे 20 बदलाव टेस्ट करें जिनका कोई असर है ही नहीं, तो औसतन उनमें से 1 "सिग्निफिकेंट" दिखेगा। सिग्निफिकेंट अंतर निश्चितता का प्रमाण नहीं है; यह गलती की संभावना को एक तय स्तर से नीचे रखने का पैमाना है।
p-value को लेकर आम गलतफ़हमियाँ
दूसरी आम गलतफ़हमियाँ ये हैं।
- "सिग्निफिकेंट नहीं" का मतलब "कोई अंतर नहीं" नहीं है: इसमें वह स्थिति भी शामिल है जिसमें यह कहने के लिए डेटा पर्याप्त नहीं होता कि अंतर है या नहीं
- सिग्निफिकेंट अंतर का आपके बिज़नेस के लिए सार्थक आकार का होना ज़रूरी नहीं: बहुत बड़े डेटा के साथ बेहद छोटा अंतर भी सिग्निफिकेंट बन जाता है। अंतर का आकार भी देखें
- छोटे p-value का मतलब बड़ा असर नहीं है: p-value डेटा की मात्रा पर भी निर्भर करता है
गणना के उदाहरणों से जाँच
काल्पनिक आँकड़ों से जाँचते हैं। मान लें A और B, दोनों को 10,000 विज़िटर्स दिए गए।
- उदाहरण 1: A के 200 कन्वर्ज़न (2.0%) हैं और B के 240 (2.4%)। p-value लगभग 0.054 है, जो 5% सिग्निफिकेंस लेवल से ज़रा ऊपर है। सापेक्ष रूप से 20% का अंतर दिखने के बावजूद, इतने डेटा के साथ आप इसे "सिग्निफिकेंट" नहीं कह सकते
- उदाहरण 2: A के 200 कन्वर्ज़न (2.0%) हैं और B के 250 (2.5%)। p-value लगभग 0.017 है, जो 5% सिग्निफिकेंस लेवल से नीचे है
उन्हीं दरों के साथ, डेटा कम होने पर निष्कर्ष बदल जाता है। अगर A और B, दोनों के 1,000 विज़िटर होते, और A के 20 कन्वर्ज़न (2.0%) व B के 24 (2.4%) होते, तो p-value लगभग 0.54 होता। इसका मतलब है कि कोई अंतर न होने पर भी इतना फ़ासला आधे से ज़्यादा बार संयोग से दिख जाता है।
(ये सभी दो अनुपातों के अंतर के लिए टू-साइडेड टेस्ट से निकाले गए उदाहरण हैं। असल फ़ैसलों के लिए अपने टूल की पद्धति का पालन करें।)
कॉन्फ़िडेंस इंटरवल भी देखें
p-value "सिग्निफिकेंट या नहीं" का हाँ-या-ना वाला सवाल बन जाता है, लेकिन कॉन्फ़िडेंस इंटरवल देखने से अंतर के आकार का अंदाज़ा मिलता है। कॉन्फ़िडेंस इंटरवल वह दायरा है जिसमें असली अंतर के आने की संभावना मानी जाती है।
ऊपर के उदाहरण 1 में, कन्वर्ज़न रेट का अंतर (B घटा A) 0.4 प्रतिशत अंक है, और 95% कॉन्फ़िडेंस इंटरवल मोटे तौर पर −0.01 से +0.81 प्रतिशत अंक बैठता है। चूँकि इंटरवल ठीक-ठीक शून्य को पार करता है, आप इसे ऐसे पढ़ सकते हैं कि "B बेहतर दिखता है, लेकिन हम यह नकार नहीं सकते कि कोई अंतर नहीं है"। चौड़ा इंटरवल इस बात का संकेत है कि अभी आपके पास पर्याप्त डेटा नहीं है।
कुछ टूल "B के A को हराने की संभावना" दिखाते हैं
कुछ टूल p-value की जगह "B के A को हराने की संभावना" जैसी संख्या दिखाते हैं। यह मान बेज़ियन स्टैटिस्टिक्स नामक एक अलग तरीके पर आधारित है, और इसकी धारणाएँ और अर्थ p-value से अलग हैं। इनमें से कोई भी सिर्फ़ सही या गलत नहीं है; ये अलग-अलग विचारधाराएँ हैं। ज़रूरी यह है कि आप जो संख्या देख रहे हैं वह किस तरीके की है, यह जाँच लें और दोनों को एक ही तरह की संख्या समझने की गलती न करें।
नतीजे कैसे पढ़ें और टेस्ट के बाद क्या करें
अवधि पूरी होने पर नतीजों को इसी क्रम में जाँचें।
- ट्रैफ़िक का बँटवारा डिज़ाइन के अनुसार हुआ या नहीं: अगर आपने आधा-आधा बँटवारा रखा था, तो क्या A और B के विज़िटर्स की संख्या बुरी तरह असंतुलित है? अगर असंतुलन बड़ा है, तो बँटवारे या मापन में समस्या हो सकती है, और नतीजों पर ज्यों का त्यों भरोसा करना खतरनाक है
- प्राइमरी मेट्रिक में अंतर और उसका सिग्निफिकेंस: अंतर की दिशा, उसका आकार, p-value और कॉन्फ़िडेंस इंटरवल
- गार्डरेल मेट्रिक्स: जब प्राइमरी मेट्रिक सुधरी, तो क्या दूसरे ज़रूरी आँकड़े बिगड़ गए?
- सेकेंडरी मेट्रिक्स: यह सोचने के संकेत कि यह नतीजा क्यों आया
नतीजे मोटे तौर पर तीन तरह के होते हैं।
B सिग्निफिकेंट रूप से बेहतर रहा। B को आधिकारिक रूप से अपनाएँ। लागू करने के बाद कुछ समय तक आँकड़ों पर नज़र रखें, ताकि पुष्टि हो कि वही रुझान जारी है जो टेस्ट के दौरान था।
B सिग्निफिकेंट रूप से बदतर रहा। A पर बने रहें। यह असफलता नहीं है; नतीजा यह है कि आपने एक खराब बदलाव को सबको दिखाने से पहले ही रोक लिया। यह सोचना कि यह बदतर क्यों रहा, आपकी अगली हाइपोथेसिस की सटीकता को बेहतर करेगा।
कोई सिग्निफिकेंट अंतर नहीं दिखा। A/B टेस्टिंग में यह सबसे आम नतीजों में से एक है। ऐसे में, योजनाबद्ध अवधि के बाद "सिग्निफिकेंट होने तक टेस्ट बढ़ाने" से बचें (अगला सेक्शन बताता है कि क्यों)। जब कोई अंतर न हो, तो अलग करके देखें कि हाइपोथेसिस गलत थी, बदलाव बहुत छोटा था, या डेटा अपर्याप्त था। अगर दोनों तरफ़ नतीजे एक जैसे हैं, तो जो चलाने में आसान हो या आपकी ब्रांड गाइडलाइन्स से मेल खाता हो, उसे चुनना ठीक है।
नतीजों को डिवाइस या ट्रैफ़िक स्रोत के हिसाब से बाँटकर देखना (सेगमेंट विश्लेषण) भी उपयोगी है, लेकिन इसमें सावधानी चाहिए। जितना बारीक आप काटते हैं, हर समूह में उतना कम डेटा होता है, और उतनी आसानी से आप संयोग वाले अंतर पकड़ लेते हैं। बाँटकर मिले रुझानों को "निष्कर्ष" नहीं, बल्कि "आगे जाँचने की हाइपोथेसिस" मानना ज़्यादा सुरक्षित है।
अंत में, टेस्ट का रिकॉर्ड रखें। हाइपोथेसिस, बदलाव, अवधि, डेटा की मात्रा, नतीजे और सीख एक जगह रखने से वही टेस्ट दोहराने से बचा जाता है और ज़िम्मेदार व्यक्ति बदलने पर भी जो सीखा गया वह आगे पहुँचता है।
A/B टेस्टिंग की आम गलतियाँ और उनसे बचने के तरीके
क्योंकि A/B टेस्टिंग की व्यवस्था सरल है, इसलिए इसे गलत तरीके से करने पर ऐसा गलत निष्कर्ष निकल सकता है जो विश्वसनीय दिखने वाले आँकड़ों के साथ आए। यहाँ आम गलतियाँ हैं।
| आम गलती | समस्या क्या है | समाधान |
|---|---|---|
| नतीजे बार-बार देखना और सिग्निफिकेंट होते ही रोक देना | संयोग से आए अंतर को "सिग्निफिकेंट" कहने की गलती आपके तय किए सिग्निफिकेंस लेवल से ज़्यादा बार होती है | ज़रूरी डेटा और अवधि पहले से तय करें, और उन तक पहुँचने के बाद परखें |
| एक साथ कई तत्व बदलना | अंतर होने पर भी आप नहीं बता सकते कि क्या काम आया | बदलावों को एक हाइपोथेसिस जितने तक सीमित रखें |
| टेस्ट की छोटी अवधि | नतीजे सप्ताह के दिन के पूर्वाग्रह और बदलाव के तुरंत बाद की अस्थायी प्रतिक्रियाओं से प्रभावित होते हैं | 7 दिनों के गुणकों में चलाएँ, कम से कम 1 से 2 हफ़्ते |
| कम ट्रैफ़िक में परखना | रैंडम उतार-चढ़ाव बड़ा होता है और निष्कर्ष अस्थिर होते हैं | ज़रूरी संख्या का पहले से अनुमान लगाएँ, और पर्याप्त न होने पर डिज़ाइन पर दोबारा सोचें |
| सप्ताह के दिन या मौसम का पूर्वाग्रह | सिर्फ़ कामकाजी दिनों या सिर्फ़ सेल की अवधि के नतीजे सामान्य समय पर लागू नहीं होते | सप्ताह के एक ही दिन शुरू और खत्म करें और असामान्य अवधियों से बचें |
| कई मेट्रिक्स और कई वेरिएशन की कतार लगाकर सिर्फ़ अच्छे वाले को चुन लेना | जितनी ज़्यादा तुलनाएँ करेंगे, उतनी संभावना है कि कुछ संयोग से अच्छा दिखे | एक प्राइमरी मेट्रिक तय करें और वेरिएशन की संख्या सीमित रखें |
| हाइपोथेसिस के बिना टेस्ट करना | नतीजे होने पर भी आगे बनाने लायक कोई सीख नहीं बचती | शुरू करने से पहले तथ्य, समस्या, बदलाव और मेट्रिक लिख लें |
| बीच में सेटिंग्स या वेरिएशन बदलना | पहले और बाद में डेटा की प्रकृति बदल जाती है, इसलिए उनकी तुलना नहीं हो सकती | कुछ बदलना हो तो रुकें और नए टेस्ट के रूप में दोबारा शुरू करें |
जिसके बारे में खास तौर पर सावधान रहना चाहिए, वह पहली है, यानी "पीकिंग" की समस्या। टेस्ट की बीच की प्रगति को लगभग रोज़ देखना, समस्याओं को जल्दी पकड़ने के लिए खुद ज़रूरी है। समस्या यह है कि बीच के नतीजों में सिग्निफिकेंट अंतर दिखते ही टेस्ट रोक देना और जीत घोषित कर देना।
डेटा जमा होने के साथ p-value ऊपर-नीचे होता रहता है। सचमुच कोई अंतर न होने पर भी, अगर आप कई बार जाँचें, तो किसी मोड़ पर वह संयोग से सिग्निफिकेंस लेवल के नीचे गिर सकता है। अगर आप उसी क्षण रोक दें, तो "अंतर न होने पर भी अंतर घोषित कर देने की गलती" आपके योजनाबद्ध 5% से ज़्यादा बार होने लगती है। पहले से तय डेटा की मात्रा और अवधि तक पहुँचने के बाद ही परखने का नियम इसी गलती को रोकने के लिए है।
कुछ टूल्स में परखने का ऐसा तरीका भी होता है जिसे इस तरह डिज़ाइन किया गया है कि बीच में परखने पर भी गलतियाँ न बढ़ें (जैसे वह जिसे सीक्वेंशियल टेस्टिंग कहा जाता है)। उस स्थिति में टूल जो प्रक्रिया देता है उसका पालन करें।
"एक साथ बहुत सारी चीज़ें बदलने" पर भी एक बात। अगर हेडलाइन, इमेज और बटन, तीनों एक साथ बदलने वाला B जीत भी जाए, तो आपको पता नहीं चलेगा कि किसने काम किया। यह संभव है कि हेडलाइन अच्छी थी लेकिन इमेज ने नतीजे को नीचे खींचा। हालाँकि, अगर आपका लक्ष्य पूरी तरह नए सिरे से बने पेज की तुलना मौजूदा पेज से करना है, तो चीज़ें साथ बदलना समझ में आता है। उस स्थिति में इसे स्वीकार करें कि "आपको पता नहीं चलेगा कि कौन-सा तत्व काम आया", और रीडायरेक्ट टेस्ट जैसी किसी चीज़ से उनकी तुलना करें।
ट्रैफ़िक आवंटन और A/B स्प्लिट के बारे में सोच
A/B टेस्ट कॉन्फ़िगर करते समय दो "प्रतिशत" वाली सेटिंग्स सामने आती हैं। इन्हें आपस में मिला देना आसान है, इसलिए इन्हें अलग-अलग समझें।
- ट्रैफ़िक आवंटन (एक्सपेरिमेंट में शामिल विज़िटर्स का हिस्सा): सभी विज़िटर्स में से कितने प्रतिशत टेस्ट में शामिल हैं। टेस्ट के बाहर के विज़िटर्स को बस मूल पेज दिखता है
- A/B स्प्लिट: टेस्ट में शामिल विज़िटर्स को A और B में किस अनुपात में बाँटा जाता है
उदाहरण के लिए, अगर आप ट्रैफ़िक आवंटन 20% और A/B स्प्लिट आधा-आधा रखते हैं, तो सभी विज़िटर्स में से 80% टेस्ट के बाहर रहकर मूल पेज देखते हैं, 10% टेस्ट में रहकर A देखते हैं, और 10% B देखते हैं।
आधा-आधा A/B स्प्लिट डिफ़ॉल्ट है। विज़िटर्स की संख्या समान होने पर बराबर बाँटने से ज़रूरी डेटा सबसे जल्दी जमा होता है। आप B को छोटा हिस्सा भी दे सकते हैं, लेकिन तब आपको तब तक इंतज़ार करना पड़ता है जब तक छोटा पक्ष पर्याप्त डेटा न जुटा ले, इसलिए अवधि लंबी हो जाती है।
ट्रैफ़िक आवंटन जोखिम और अवधि के बीच संतुलन बनाकर चुनें। ट्रैफ़िक आवंटन घटाने से, बदलाव उल्टा पड़ने पर प्रभावित होने वाले विज़िटर्स की संख्या घटती है। बदले में टेस्ट में कम विज़िटर होते हैं, इसलिए ज़रूरी डेटा जुटाने में ज़्यादा समय लगता है। एक आम तरीका यह है कि जिस बड़े बदलाव का असर अनिश्चित हो उसे कम ट्रैफ़िक आवंटन से शुरू करें, पक्का करें कि कोई समस्या नहीं है, और सब ठीक होने पर दायरा बढ़ाएँ। कम असर वाले बदलाव के लिए, जैसे कुछ शब्द बदलना, शुरू से ही सबको शामिल करना और अवधि छोटी करना ज़्यादा समझदारी है।
दोनों प्रतिशतों का अंतर A/B टेस्टिंग में ट्रैफ़िक आवंटन बनाम A/B स्प्लिट में समझाया गया है, और डिज़ाइन की सोच ट्रैफ़िक आवंटन और A/B स्प्लिट अलग-अलग सेटिंग्स क्यों होनी चाहिए में है।
A/B टेस्टिंग और SEO: सर्च पर असर को सीमित रखना
एक आम चिंता यह है कि "क्या A/B टेस्टिंग मेरी सर्च रैंकिंग को नुकसान पहुँचाएगी?" Google ने Google Search Central डॉक्युमेंटेशन में मार्गदर्शन प्रकाशित किया है कि सर्च पर असर को सीमित रखते हुए टेस्ट कैसे चलाएँ। मुख्य बिंदु ये हैं।
- क्लोकिंग न करें: सर्च इंजन क्रॉलर्स (वे प्रोग्राम जो पेजों पर जाकर उन्हें पढ़ते हैं) और इंसानी विज़िटर्स को जानबूझकर अलग कंटेंट दिखाना क्लोकिंग कहलाता है, और यह स्पैम नीतियों का उल्लंघन है। यह इस बात से स्वतंत्र है कि टेस्ट चल रहा है या नहीं। ऐसी किसी भी व्यवस्था से बचें जो कोई विशेष वर्ज़न सिर्फ़ क्रॉलर्स को दिखाए
- अलग URL पर टेस्ट के लिए rel="canonical" इस्तेमाल करें: जब रीडायरेक्ट टेस्ट की तरह कई URL पर टेस्ट हो, तो टेस्ट URL में rel="canonical" (एक टैग जो सर्च इंजन को पसंदीदा URL बताता है) जोड़ें, ताकि पता चले कि मूल URL ही प्राथमिकता वाला पेज है। इस मकसद के लिए Google noindex की जगह rel="canonical" की सलाह देता है
- रीडायरेक्ट के लिए अस्थायी रीडायरेक्ट (302) इस्तेमाल करें: मूल URL से टेस्ट URL पर रीडायरेक्ट करते समय, स्थायी रीडायरेक्ट बताने वाले 301 की जगह अस्थायी रीडायरेक्ट बताने वाला 302 इस्तेमाल करें। JavaScript रीडायरेक्ट को भी ठीक बताया जाता है
- टेस्ट सिर्फ़ उतनी ही देर चलाएँ जितनी ज़रूरत हो: पर्याप्त डेटा जमा होते ही टेस्ट खत्म करें और टेस्ट URL, स्क्रिप्ट आदि को जल्द से जल्द हटा दें। Google समझाता है कि ज़रूरत से ज़्यादा देर तक टेस्ट चलाने को सर्च इंजन को धोखा देने की कोशिश माना जा सकता है
दूसरे शब्दों में, टेस्ट्स को चालू न छोड़ना सिर्फ़ आँकड़ों के लिए नहीं बल्कि सर्च के लिए भी ज़रूरी है। पूरी प्रक्रिया खत्म करें: पूरे हो चुके टेस्ट्स को साफ़ करें, और जो वर्ज़न आपने अपनाया उसे साइट पर ही लागू करें।
ध्यान दें कि यहाँ जो बताया गया है वह Google के प्रकाशित मार्गदर्शन का एक सार है। सर्च रैंकिंग पर असर साइट के हिसाब से बदलता है, इसलिए किसी बड़े बदलाव वाला टेस्ट चलाने से पहले, हम मूल दस्तावेज़ और अपने टूल का डॉक्युमेंटेशन भी देख लेने का सुझाव देते हैं।
कम ट्रैफ़िक वाली साइट पर क्या करें
जैसा हमने सैंपल साइज़ वाले सेक्शन में देखा, A/B टेस्टिंग के लिए काफ़ी डेटा चाहिए। तो क्या कुछ हज़ार मासिक विज़िटर्स वाली साइट्स के लिए A/B टेस्टिंग बेमानी है? ज़रूरी नहीं। तरीका बदलने से आपको ज़्यादा ठोस आधार मिल सकता है।
बड़े बदलाव टेस्ट करें। जितना बड़ा अंतर आप खोजना चाहते हैं, उतने कम डेटा की ज़रूरत होती है। बटन के शब्द बदलने जैसे छोटे बदलावों की बजाय ऐसे बदलावों पर ध्यान दें जो बड़ा अंतर पैदा कर सकते हैं: मुख्य आकर्षण बदलना, पेज का ढाँचा नए सिरे से बनाना, या फ़ॉर्म के फ़ील्ड्स को भारी मात्रा में घटाना।
ज़्यादा ट्रैफ़िक वाले पेजों पर टेस्ट चलाएँ। पूरी साइट पर ट्रैफ़िक कम हो तब भी, ऐसे पेज होने चाहिए जहाँ विज़िटर्स केंद्रित होते हैं। सबसे ज़्यादा विज़िटर्स वाली जगहें चुनें, जैसे होम पेज या वे पेज जिन पर विज्ञापन का ट्रैफ़िक आता है।
पहले चरण की मेट्रिक इस्तेमाल करें। खरीदारी और अनुबंध कम होते हैं, इसलिए अंतर पकड़ने में समय लगता है। "फ़ॉर्म तक पहुँचना" या "प्राइसिंग पेज पर जाना" जैसी ज़्यादा बार होने वाली पहले की कार्रवाई को प्राइमरी मेट्रिक बनाने से ज़रूरी डेटा कम रहता है। बस यह याद रखें कि पहले की मेट्रिक में सुधार से अंतिम नतीजे में सुधार होना ज़रूरी नहीं।
खुद को दो वेरिएशन तक सीमित रखें। तीसरा और चौथा जोड़ने से हर वेरिएशन के लिए डेटा घटता है। जब तक ट्रैफ़िक कम है, सिर्फ़ A और B की तुलना करें।
ट्रैफ़िक आवंटन 100% और A/B स्प्लिट आधा-आधा रखें। दर्शकों को सीमित करने या असमान बँटवारे से अवधि लंबी हो जाती है।
लंबी अवधि दें, और अगर फिर भी काफ़ी न हो तो सीमाएँ स्वीकार करें। अगर लगभग 4 से 8 हफ़्ते देने के बाद भी आप ज़रूरी संख्या तक नहीं पहुँच सकते, तो आपको यह भी तय करना होगा कि इसे A/B टेस्ट से ही सुलझाने पर अड़े न रहें।
जब A/B टेस्टिंग उपयुक्त नहीं होती, तब दूसरे तरीके मदद कर सकते हैं।
- हीटमैप से व्यवहार को देखें: कम ट्रैफ़िक में भी आप समझ सकते हैं कि "लोग कहाँ नहीं पढ़ रहे" और "कहाँ क्लिक नहीं कर रहे"
- यूज़र्स से सीधे पूछें: बस कुछ लोगों से स्क्रीन इस्तेमाल करवाकर देखना कि वे कहाँ अटकते हैं, कई समस्याएँ सामने ले आता है
- स्पष्ट समस्याओं को बिना टेस्ट किए ठीक करें: टूटे हुए लिंक, पढ़ने में मुश्किल टेक्स्ट, काम न करने वाले बटन जैसी चीज़ें, जिन्हें ठीक करने से हालात बिगड़ने की कल्पना करना भी मुश्किल है, उन्हें जाँच का इंतज़ार नहीं करना चाहिए
A/B टेस्टिंग टूल्स के प्रकार और उन्हें कैसे चुनें
A/B टेस्ट चलाने के लिए आपको ऐसा टूल चाहिए जो ट्रैफ़िक बँटवारा, दिखाई जाने वाली चीज़ बदलना, मापन और रिपोर्टिंग संभाले। काम करने के तरीके के हिसाब से मोटे तौर पर दो प्रकार हैं।
क्लाइंट-साइड
- काम करने का तरीका: आप पेज में एक टैग (मापन के लिए कोड का छोटा टुकड़ा) जोड़ते हैं, और पेज का कुछ हिस्सा विज़िटर के ब्राउज़र में दोबारा लिखा जाता है
- मुख्य रूप से कौन संभालता है: मार्केटर्स और वेब स्टाफ़। कई टूल स्क्रीन पर ऑपरेशन करके बदलाव बनाने देते हैं
- किसके लिए उपयुक्त: विज़ुअल बदलाव, जैसे शब्द, इमेज, रंग और लेआउट
- किस बात का ध्यान रखें: "फ़्लिकर" हो सकता है, जिसमें दोबारा लिखे जाने से पहले कुछ पल के लिए मूल डिस्प्ले दिखता है
सर्वर-साइड
- काम करने का तरीका: सर्वर-साइड कोड हर विज़िटर को क्या दिखाना है यह बदलता है
- मुख्य रूप से कौन संभालता है: इंजीनियर्स। कोड में बदलाव ज़रूरी है
- किसके लिए उपयुक्त: बैक-एंड प्रोसेसिंग वाले बदलाव, जैसे कीमत की गणना, सर्च या ऑर्डरिंग का काम करने का तरीका, और ऐप फ़ीचर्स
- किस बात का ध्यान रखें: सेटअप और संचालन में डेवलपमेंट की मेहनत लगती है
इस लेख में जिस इस्तेमाल की कल्पना की गई है, यानी वेब पेजों पर हेडलाइन और बटन आज़माना, उसके लिए क्लाइंट-साइड टूल पहली पसंद हैं।
टूल चुनते समय इन बातों की जाँच करें।
- क्या आप स्क्रीन पर ऑपरेशन करके बदलाव बना सकते हैं या कोड लिखना पड़ता है
- परखने के लिए वह कौन-सा स्टैटिस्टिकल तरीका इस्तेमाल करता है और नतीजे कैसे दिखाता है
- क्या आप ट्रैफ़िक आवंटन और A/B स्प्लिट अलग-अलग सेट कर सकते हैं
- क्या वह रीडायरेक्ट टेस्ट्स को सपोर्ट करता है
- कीमत किस पर निर्भर करती है (विज़िटर्स की संख्या, ट्रैक किए गए इवेंट्स की संख्या, यूज़र्स की संख्या आदि)
- क्या आप इसे उस डेटा के साथ देख सकते हैं जिससे आप हाइपोथेसिस बनाते हैं, जैसे हीटमैप
Google Optimize का अंत
Google Optimize, जो मुफ़्त A/B टेस्टिंग टूल के रूप में व्यापक रूप से इस्तेमाल होता था, सितंबर 2023 में बंद कर दिया गया। जो साइट्स Google Optimize इस्तेमाल करती थीं उन्हें दूसरे टूल्स पर जाना पड़ा है।
आज अलग-अलग विकल्प हैं: Optimizely, VWO और AB Tasty जैसे समर्पित A/B टेस्टिंग टूल; हीटमैप और A/B टेस्टिंग को जोड़ने वाले टूल, जैसे जापान के Ptengine और SiTest; और डेवलपर्स के लिए एक्सपेरिमेंटेशन प्लेटफ़ॉर्म। आपको कौन-सी सुविधाएँ और कितना बजट चाहिए, यह आपकी साइट के आकार के साथ बहुत बदलता है, इसलिए वही चुनना ज़रूरी है जो आपके अपने इस्तेमाल से मेल खाए। प्रमुख टूल्स के बीच कीमत के दायरों और तरीकों के अंतर के लिए A/B टेस्टिंग टूल्स का परिदृश्य 2026 देखें।
हीटमैप और ऑन-साइट एंगेजमेंट को जोड़कर सुधार जारी रखें
A/B टेस्टिंग अकेले इस्तेमाल करने की तुलना में दूसरे टूल्स के साथ जोड़ने पर ज़्यादा फ़ायदा देती है।
सुधार का प्रवाह "खोजें → सुधार बनाएँ → जाँचें" का दोहराया जाने वाला चक्र है।
- खोजें: समस्या वाले पेज पहचानने के लिए वेब एनालिटिक्स और पेज के भीतर समस्या वाली जगहें ठीक-ठीक पकड़ने के लिए हीटमैप इस्तेमाल करें
- सुधार बनाएँ: मिली समस्या से हाइपोथेसिस बनाएँ और बदलाव तैयार करें
- जाँचें: A/B टेस्ट से देखें कि बदलाव सचमुच नतीजे सुधारता है या नहीं
- लागू करें और आगे बढ़ें: जिस वर्ज़न ने बेहतर किया उसे लागू करें, और बदले हुए पेज को फिर से हीटमैप से देखें
A/B टेस्ट के नतीजे आने के बाद हीटमैप देखना भी उपयोगी है। जब B जीतता है, तो यह जाँचना कि विज़िटर्स का व्यवहार कैसे बदला (क्या लोग और नीचे तक पढ़ते हैं, क्या उनके क्लिक करने की जगहें खिसकीं) आपको "यह बेहतर क्यों था" के संकेत देता है और अगली हाइपोथेसिस तक ले जाता है।
A/B टेस्टिंग की सोच ऑन-साइट एंगेजमेंट के उपायों पर भी ज्यों की त्यों लागू होती है, जहाँ पेज को खुद बदलने की बजाय आप पॉपअप या स्टिकी बार में मार्गदर्शन दिखाते हैं। चाहे आप दिखाने बनाम न दिखाने की तुलना कर रहे हों, शब्दों की, या दिखाने के समय की, सिद्धांत वही है: विज़िटर्स को रैंडम तरीके से बाँटें और एक ही अवधि में तुलना करें। ऑन-साइट एंगेजमेंट की बुनियादी बातें वेब एंगेजमेंट क्या है? में समझाई गई हैं।
HeatMapX के बारे में
HeatMapX एक ऐसा टूल है जो आपकी साइट पर टैग जोड़कर हीटमैप मापने देता है, और आप मुफ़्त Free प्लान से शुरू कर सकते हैं (प्लान की जानकारी के लिए प्राइसिंग पेज देखें)। A/B टेस्टिंग फ़ीचर चरणबद्ध तरीके से जारी किया जा रहा है। पहले हीटमैप से समझें कि आपकी साइट कैसे देखी जाती है, और यह हाइपोथेसिस तैयार रखें कि कहाँ प्रयोग करना है, तो A/B टेस्टिंग शुरू करते समय आप तेज़ी से आगे बढ़ पाएँगे।
अगर आप चुनने से पहले हीटमैप टूल्स की तुलना दूसरे प्रोडक्ट्स से करना चाहते हैं, तो हीटमैप टूल तुलना भी देखें।
A/B टेस्टिंग FAQ
आसान शब्दों में A/B टेस्टिंग क्या है?
यह एक ऐसा तरीका है जिसमें आप विज़िटर्स को एक ही अवधि में रैंडम तरीके से पेज के दो वर्ज़न दिखाते हैं और आँकड़ों से तुलना करते हैं कि कौन-सा बेहतर प्रदर्शन करता है। बदलाव से पहले और बाद की तुलना के विपरीत, यह आपको बदलाव के असर को मौसम और विज्ञापनों जैसे दूसरे कारकों से अलग करके जाँचने देता है।
A/B टेस्ट कितने समय तक चलना चाहिए?
ज़रूरी सैंपल साइज़ को रोज़ के विज़िटर्स की संख्या से भाग देकर इसका अनुमान लगाएँ। सप्ताह के दिन के पूर्वाग्रह से बचने के लिए 7 दिनों के गुणकों का इस्तेमाल करें; आम नियम यह है कि कम से कम 1 से 2 हफ़्ते चलाएँ। ज़्यादा ट्रैफ़िक वाली साइट कुछ ही दिनों में ज़रूरी संख्या तक पहुँच जाए, तब भी हम एक हफ़्ते तक जारी रखने का सुझाव देते हैं। इसके विपरीत, अगर अनुमान 2 महीने से काफ़ी ऊपर है, तो डिज़ाइन पर दोबारा विचार करें।
A/B टेस्ट चलाने के लिए कितना ट्रैफ़िक चाहिए?
कोई एक मानक नहीं है। यह आपके मौजूदा कन्वर्ज़न रेट और उस अंतर के आकार पर निर्भर करता है जिसे आप पकड़ना चाहते हैं। इस लेख के गणना उदाहरण में, 2.0% कन्वर्ज़न रेट वाले पेज पर 20% सापेक्ष सुधार की पुष्टि के लिए हर वेरिएशन पर लगभग 21,100 विज़िटर्स चाहिए थे। अगर आपका ट्रैफ़िक कम है, तो बड़े बदलावों पर ध्यान देकर या पहले चरण की मेट्रिक इस्तेमाल करके आप ज़रूरी संख्या घटा सकते हैं।
अगर कोई सिग्निफिकेंट अंतर न हो तो क्या करें?
योजनाबद्ध अवधि के बाद टेस्ट को सिग्निफिकेंट होने तक बढ़ाने से बचें। दर्ज करें कि "इस बदलाव ने उस आकार का अंतर नहीं दिखाया जिसे हम पकड़ना चाहते थे", और पीछे देखें कि हाइपोथेसिस गलत थी या बदलाव बहुत छोटा था। अगर दोनों तरफ़ नतीजे एक जैसे हैं, तो जो चलाने में आसान हो उसे चुनना ठीक है। कोई सिग्निफिकेंट अंतर न होना असफलता नहीं है; यह एक तरह का नतीजा है।
अगर p-value 0.05 से नीचे है, तो क्या मैं कह सकता हूँ कि B बेहतर है?
नहीं। p-value "अगर सचमुच कोई अंतर न होता, तो संयोग से देखे गए अंतर जितना या उससे बड़ा अंतर दिखने की संभावना" है, "B के बेहतर होने की संभावना" नहीं। 5% सिग्निफिकेंस लेवल पर परखने पर, ऐसे हर 20 बदलावों में से लगभग 1, जिनका कोई असर नहीं है, फिर भी सिग्निफिकेंट अंतर दिखाएगा। अंतर के आकार, कॉन्फ़िडेंस इंटरवल और गार्डरेल मेट्रिक्स को भी जाँचें, और ज़रूरी बदलावों के लिए लागू करने के बाद भी आँकड़ों पर नज़र रखें।
क्या A/B टेस्टिंग SEO को नुकसान पहुँचाती है?
Google ने मार्गदर्शन प्रकाशित किया है जिसमें कहा गया है कि उसका पालन करने पर सर्च पर असर सीमित रखा जा सकता है। चार मुख्य बिंदु ये हैं: क्रॉलर्स और लोगों को अलग कंटेंट न दिखाएँ, अलग URL पर टेस्ट में rel="canonical" जोड़ें, रीडायरेक्ट के लिए 302 इस्तेमाल करें, और ज़रूरी अवधि बीतने पर टेस्ट खत्म करके सेटिंग्स साफ़ करें। विवरण के लिए ऊपर का "A/B टेस्टिंग और SEO" सेक्शन देखें।
सारांश: एक हाइपोथेसिस से शुरू करें
A/B टेस्टिंग विज़िटर्स को रैंडम तरीके से बाँटकर एक ही अवधि में उनकी तुलना करने का तरीका है, ताकि आप किसी बदलाव के असर को दूसरे कारकों से अलग करके पक्का कर सकें। इस लेख के मुख्य बिंदु ये हैं।
- यह कैसे काम करती है: विज़िटर्स को रैंडम तरीके से तय करें, दोनों वर्ज़न एक ही अवधि में चलाएँ, और एक ही व्यक्ति को वही वर्ज़न दिखाते रहें। इससे किसी भी अंतर का कारण "आपने जो बदला" तक सिमट जाता है
- कैसे आगे बढ़ें: लक्ष्य और मेट्रिक → हाइपोथेसिस → वेरिएशन बनाना → चलाना → परखना → लागू करना, ये 6 चरण। चलाने से पहले मेट्रिक, डेटा की मात्रा, अवधि और परखने के मापदंड तय करें
- डेटा और अवधि: जितना छोटा अंतर पक्का करना चाहेंगे, उतने ज़्यादा डेटा की ज़रूरत होगी। 7 दिनों के गुणकों का इस्तेमाल करें, कम से कम 1 से 2 हफ़्ते
- सिग्निफिकेंस: इस बात का पैमाना कि कोई अंतर संयोग से समझाना कितना मुश्किल है। p-value "B के जीतने की संभावना" नहीं है, और "सिग्निफिकेंट नहीं" का मतलब "कोई अंतर नहीं" नहीं है
- गलतियों से बचना: बीच के नतीजों पर न रुकें, बदलावों को एक हाइपोथेसिस जितने तक सीमित रखें, और एक प्राइमरी मेट्रिक इस्तेमाल करें
- जब ट्रैफ़िक कम हो: बड़े बदलावों, ज़्यादा ट्रैफ़िक वाले पेजों और पहले चरण की मेट्रिक्स पर ध्यान दें, और अगर वह काफ़ी न हो तो कमियाँ अवलोकन और इंटरव्यू से भरें
अगले कदम के तौर पर, हम सुझाते हैं कि अपनी साइट का वह एक पेज चुनें जो नतीजों के सबसे क़रीब हो और जिस पर बहुत विज़िटर आते हों, और पहले डेटा से उस पेज की समस्याएँ जाँचें। हीटमैप और वेब एनालिटिक्स से खोजें कि "कहाँ समस्या लगती है", फिर एक हाइपोथेसिस लिखें जो चार बातें साफ़ बताए: तथ्य, समस्या, बदलाव और मेट्रिक। एक हाइपोथेसिस हाथ में होने पर, आप ज़रूरी डेटा और अवधि का अनुमान लगा सकते हैं और अपना पहला A/B टेस्ट डिज़ाइन कर सकते हैं।
एक टेस्ट से ज़रूरी नहीं कि आपके आँकड़े नाटकीय रूप से बदल जाएँ। लेकिन एक-एक करके जाँचे हुए तथ्य जोड़ते जाना, अंदाज़े पर भरोसा किए बिना साइट सुधारने की बुनियाद है।