एक A/B परीक्षण और प्रयोगात्मक प्लेटफ़ॉर्म विकसित करें

हमारे पास एक बढ़ता हुआ वेब उत्पाद है और हम यह अनुमान लगाना बंद करना चाहते हैं कि कौन से परिवर्तन वास्तव में मैट्रिक्स को प्रभावित करते हैं। लक्ष्य एक पूर्ण विशेषताओं वाला प्रयोगात्मक प्लेटफ़ॉर्म है जो उत्पाद और विपणन टीमों को प्रत्येक बार बैकएंड पुनर्लेखन के बिना नियंत्रित परीक्षण चलाने की अनुमति देता है। एक प्रयोग को लक्षित दर्शकों का चयन करके, दो या अधिक विविधताओं का वर्णन करके, ट्रैफ़िक वितरण (जैसे, 50/50 या भारित) असाइन करके, और एक या अधिक रूपांतरण लक्ष्यों का चयन करके परिभाषित किया जाता है: साइनअप, क्लिक, पूर्ण खरीदारी। लॉन्च के बाद, सिस्टम को प्रत्येक आगंतुक को सत्रों के बीच उसी विविधता में बनाए रखना चाहिए ताकि परिणाम साफ रहें।

दिल सांख्यिकी इंजन और परिणाम डैशबोर्ड है। प्रत्येक सक्रिय प्रयोग के लिए, आपको विविधता के अनुसार आगंतुकों, रूपांतरणों और रूपांतरण दर को देखना होगा, साथ ही सही महत्व की गणना करनी होगी ताकि यह समझ सकें कि परिणाम कब विश्वसनीय हैं और कब यह केवल शोर है। हम आत्मविश्वास अंतराल, नियंत्रण के मुकाबले लिफ्ट, और यह स्पष्ट संकेतक मांगते हैं कि क्या परीक्षण ने महत्व प्राप्त किया और पर्याप्त नमूना आकार इकट्ठा किया। हम पूर्ववर्ती निष्कर्षों से भी सुरक्षा चाहते हैं: डैशबोर्ड हमें बताना चाहिए कि निर्णय लेने के लिए कब बहुत जल्दी है। यह एक प्रयोगात्मक उपकरण है, न कि एक विशेषता ध्वज स्विच और न ही मानक वेब विश्लेषण — ध्यान नियंत्रित परीक्षणों और ईमानदार महत्व गणना पर है।

साइट टैगिंग के लिए, हमें एक हल्का SDK चाहिए, सबसे अच्छा ब्राउज़र के लिए जावास्क्रिप्ट और एक सरल सर्वर संस्करण जो असाइन की गई विविधता प्राप्त करता है और रूपांतरण घटनाओं को वापस भेजता है। यह तेज होना चाहिए, असाइनमेंट को कैश करना चाहिए, और धीरे-धीरे गिरना चाहिए ताकि एक टूटा हुआ प्रयोग कभी भी पृष्ठ को न तोड़े। परिणाम उत्पादन के लिए तैयार और प्रलेखित होना चाहिए ताकि हमारी टीम हस्तांतरण के बाद स्वतंत्र रूप से प्रयोग चला सके।

— प्रयोग निर्माता: विविधताएँ, भारित ट्रैफ़िक विभाजन, दर्शक लक्ष्यीकरण, कई लक्ष्य
— प्रति आगंतुक स्थिर असाइनमेंट, सत्रों और आदर्श रूप से उपकरणों में सुसंगत
— सांख्यिकी इंजन: रूपांतरण दर, आत्मविश्वास अंतराल, लिफ्ट, महत्व जांच और नमूना आकार
— परिणाम डैशबोर्ड विविधता मैट्रिक्स के साथ और जारी रखने या रोकने के लिए स्पष्ट सिफारिश
— विविधता असाइनमेंट और घटना ट्रैकिंग के लिए क्लाइंट और सर्वर SDK के साथ सुचारू फॉलबैक
— प्रलेखन और संक्षिप्त हस्तांतरण ताकि टीम स्वतंत्र रूप से प्रयोग चला सके