A/B टेस्ट में "ट्रैफ़िक आवंटन" और "A/B स्प्लिट" में क्या फ़र्क है? सही डिज़ाइन की सोच

इस लेख का सार

"ट्रैफ़िक आवंटन" = कुल विज़िटर में से कितने प्रतिशत को एक्सपेरिमेंट में शामिल किया जाए

"A/B स्प्लिट" = एक्सपेरिमेंट में शामिल विज़िटर में से A और B को किस अनुपात में दिखाया जाए

ये दोनों अलग-अलग चीज़ें हैं। इन्हें अलग-अलग समझने से जोखिम कम करते हुए वैलिडेशन किया जा सकता है

A/B टेस्ट सेट करते समय "प्रतिशत" से जुड़ी दो सेटिंग्स सामने आती हैं, जिससे उलझन हो सकती है — "ट्रैफ़िक आवंटन (एक्सपेरिमेंट में शामिल करने का प्रतिशत)" और "A/B स्प्लिट"। इन दोनों का मतलब बिल्कुल अलग है। इन्हें अलग-अलग समझ लें, तो सुरक्षित तरीके से वैलिडेशन आगे बढ़ाया जा सकता है।

"ट्रैफ़िक आवंटन" क्या है: कितने लोगों को एक्सपेरिमेंट में शामिल करें

ट्रैफ़िक आवंटन (एक्सपेरिमेंट में शामिल करने का प्रतिशत) का मतलब है, कुल विज़िटर में से कितने प्रतिशत को एक्सपेरिमेंट में शामिल किया जाए।

अगर इसे 100% कर दिया जाए, तो सभी विज़िटर या तो A देखेंगे या B।
अगर इसे 20% किया जाए, तो सिर्फ़ 20% विज़िटर एक्सपेरिमेंट में शामिल होंगे, बाकी 80% को सामान्य पेज (मूल जैसा) दिखेगा।

ट्रैफ़िक आवंटन को सीमित रखने का मक़सद है जोखिम प्रबंधन। जिस बदलाव का असर अभी पता नहीं है, उसे सीधे सभी को दिखाना जोखिम भरा हो सकता है। पहले कुछ हिस्से में टेस्ट करें, और अगर सब ठीक लगे तो धीरे-धीरे बढ़ाएँ — यह तरीका अपनाया जा सकता है।

"A/B स्प्लिट" क्या है: A और B को किस अनुपात में दिखाएँ

A/B स्प्लिट का मतलब है, एक्सपेरिमेंट में शामिल विज़िटर में से A और B को किस अनुपात में दिखाया जाए।

50% बनाम 50% सामान्य तरीका है। इससे तुलना निष्पक्ष होती है और ज़रूरी डेटा भी जल्दी इकट्ठा हो जाता है।
अगर बदलाव को लेकर कुछ आशंका हो, तो A (मूल) को ज़्यादा और B (बदला हुआ वर्ज़न) को कम रखकर सावधानी से दिखाया जा सकता है।

दोनों को मिलाने पर क्या होता है?

उदाहरण के लिए, "ट्रैफ़िक आवंटन 20% और A/B स्प्लिट 50:50" होने पर, स्थिति कुछ इस तरह होगी।

विज़िटर	प्रतिशत
एक्सपेरिमेंट से बाहर (सामान्य पेज = मूल जैसा)	80%
एक्सपेरिमेंट में शामिल और A (Control) देखने वाले	10%
एक्सपेरिमेंट में शामिल और B (Variant B) देखने वाले	10%

इस तरह, "कितने लोगों को शामिल करें (ट्रैफ़िक आवंटन)" और "शामिल किए गए लोगों में कैसे दिखाएँ (A/B स्प्लिट)" को अलग-अलग तय किया जा सकना ही इसकी खासियत है।

अलग-अलग रखना क्यों बेहतर है

अगर ट्रैफ़िक आवंटन और A/B स्प्लिट को एक ही सेटिंग में मिला दिया जाए, तो "जोखिम कम करना" और "निष्पक्ष तुलना करना" जैसे दो अलग-अलग मक़सद आपस में गड्डमड्ड हो जाते हैं, और सेटिंग समझना मुश्किल हो जाता है।

इन दोनों को अलग रखने पर,

ट्रैफ़िक आवंटन से जोखिम का स्तर तय किया जा सकता है, और
A/B स्प्लिट से तुलना की निष्पक्षता बनाए रखी जा सकती है,

इस तरह हर मक़सद के हिसाब से सीधी और आसान सेटिंग की जा सकती है। यही सोच प्रमुख A/B टेस्टिंग टूल्स में भी अपनाई जाती है।

HeatMapX का डिज़ाइन

HeatMapX के A/B टेस्ट में भी "एक्सपेरिमेंट में शामिल करने का प्रतिशत (ट्रैफ़िक आवंटन)" और "A/B स्प्लिट" को अलग-अलग सेट किया जा सकता है। पहले ट्रैफ़िक आवंटन कम रखकर सुरक्षित तरीके से टेस्ट करें, और नतीजे देखते हुए धीरे-धीरे बढ़ाते जाएँ — यह तरीका अपनाया जा सकता है।

सारांश

"ट्रैफ़िक आवंटन" यह तय करता है कि कितने लोगों को एक्सपेरिमेंट में शामिल किया जाए, और "A/B स्प्लिट" यह तय करता है कि शामिल किए गए लोगों में A और B को कैसे दिखाया जाए। इन दोनों को अलग-अलग समझना ही जोखिम कम करते हुए सही तरीके से वैलिडेशन करने की कुंजी है।