परियोजना का विवरण
अनुवादितहमारे पास एक मध्यम आकार की ऑनलाइन स्टोर है और हम लगातार मार्जिन खोते हैं क्योंकि हम प्रतिस्पर्धी मूल्य परिवर्तनों के बारे में बहुत देर से सीखते हैं। हमें एक अलग मूल्य निगरानी स्क्रैपर की आवश्यकता है जो लगभग एक दर्जन रिटेल स्टोर वेबसाइटों पर उत्पाद पृष्ठों की एक दी गई सूची को ट्रैक करता है और, एक निश्चित कार्यक्रम पर, दिन में कई बार, वर्तमान मूल्य को रिकॉर्ड करता है। प्रत्येक ट्रैक किए गए उत्पाद के लिए, उपकरण को मूल्य, उपलब्धता स्थिति और टाइमस्टैम्प को सहेजना चाहिए, और फिर पूरी इतिहास को स्टोर करना चाहिए ताकि हम देख सकें कि मूल्य सप्ताहों में कैसे बदला, न कि केवल एक स्नैपशॉट। यह कूपन या प्रोमो कोड के बारे में एक परियोजना नहीं है और न ही एक सामान्य डेटा पाइपलाइन है: पूरा ध्यान प्रतिस्पर्धी कीमतों को स्क्रैप करने और समय के साथ उनके परिवर्तनों को ट्रैक करने पर है।
स्क्रैपर को सामान्य वास्तविक बाधाओं का सामना करना चाहिए: पृष्ठ जहां मूल्य जावास्क्रिप्ट के माध्यम से प्रस्तुत किया जाता है, सॉफ्ट बॉट सुरक्षा, बदलती लेआउट और उत्पाद पृष्ठ संरचना में समय-समय पर परिवर्तन। मैं प्रत्येक साइट के लिए अनुकूलन योग्य चयनकर्ताओं की इच्छा करता हूं ताकि जब एक स्टोर फिर से डिज़ाइन करता है, तो आप कोड को फिर से लिखने के बजाय एक लक्ष्य को ठीक कर सकें। शेड्यूलर को विश्वसनीय और विनम्र होना चाहिए, समय के साथ अनुरोधों को फैलाना चाहिए ताकि यह एक साइट को न दबाए, पुनः प्रयास और लोड विफलताओं पर स्पष्ट लॉगिंग के साथ। जब एक ट्रैक की गई कीमत एक नियम को पार करती है जो मैंने सेट की है (एक सीमा से नीचे गिरती है, हमारी कीमत से नीचे है या एक निर्दिष्ट प्रतिशत से अधिक बदलती है), तो सिस्टम को उत्पाद, पुराने और नए मान और एक सीधा लिंक के साथ ईमेल और मैसेंजर के माध्यम से एक अलर्ट भेजना चाहिए।
मुझे एक सरल डैशबोर्ड की भी आवश्यकता है जहां मैं प्रत्येक उत्पाद के मूल्य इतिहास को चार्ट के रूप में देख सकूं, हमारे मूल्य की तुलना प्रतिस्पर्धियों के साथ कर सकूं और खरीद विभाग के लिए डेटा को CSV में निर्यात कर सकूं। कृपया स्क्रैपर स्थिरता के लिए अपने दृष्टिकोण का वर्णन करें, आप उन साइटों के साथ कैसे काम करते हैं जो स्वचालित पहुंच को अवरुद्ध करती हैं, और आप ट्रैक किए गए उत्पादों की सूची को गैर-तकनीकी प्रबंधक के लिए संपादित करना कितना आसान बनाएंगे।
— प्रतिस्पर्धी उत्पाद लिंक की अनुकूलन योग्य सूची पर एक कार्यक्रम के अनुसार स्क्रैपिंग
— मूल्य, उपलब्धता स्थिति और टाइमस्टैम्प का संग्रह; पूरी इतिहास को स्टोर करना
— नियमों द्वारा अलर्ट (सीमा, प्रतिशत परिवर्तन, हमारी कीमत से नीचे) ईमेल और चैट के लिए
— मूल्य इतिहास चार्ट और बगल में प्रतिस्पर्धी तुलना
— CSV निर्यात और गैर-तकनीकी कर्मचारियों के लिए संपादनीय उत्पाद सूची
— पुनः प्रयास, विनम्र अनुरोध गति और स्पष्ट विफलता लॉगिंग
स्क्रैपर को सामान्य वास्तविक बाधाओं का सामना करना चाहिए: पृष्ठ जहां मूल्य जावास्क्रिप्ट के माध्यम से प्रस्तुत किया जाता है, सॉफ्ट बॉट सुरक्षा, बदलती लेआउट और उत्पाद पृष्ठ संरचना में समय-समय पर परिवर्तन। मैं प्रत्येक साइट के लिए अनुकूलन योग्य चयनकर्ताओं की इच्छा करता हूं ताकि जब एक स्टोर फिर से डिज़ाइन करता है, तो आप कोड को फिर से लिखने के बजाय एक लक्ष्य को ठीक कर सकें। शेड्यूलर को विश्वसनीय और विनम्र होना चाहिए, समय के साथ अनुरोधों को फैलाना चाहिए ताकि यह एक साइट को न दबाए, पुनः प्रयास और लोड विफलताओं पर स्पष्ट लॉगिंग के साथ। जब एक ट्रैक की गई कीमत एक नियम को पार करती है जो मैंने सेट की है (एक सीमा से नीचे गिरती है, हमारी कीमत से नीचे है या एक निर्दिष्ट प्रतिशत से अधिक बदलती है), तो सिस्टम को उत्पाद, पुराने और नए मान और एक सीधा लिंक के साथ ईमेल और मैसेंजर के माध्यम से एक अलर्ट भेजना चाहिए।
मुझे एक सरल डैशबोर्ड की भी आवश्यकता है जहां मैं प्रत्येक उत्पाद के मूल्य इतिहास को चार्ट के रूप में देख सकूं, हमारे मूल्य की तुलना प्रतिस्पर्धियों के साथ कर सकूं और खरीद विभाग के लिए डेटा को CSV में निर्यात कर सकूं। कृपया स्क्रैपर स्थिरता के लिए अपने दृष्टिकोण का वर्णन करें, आप उन साइटों के साथ कैसे काम करते हैं जो स्वचालित पहुंच को अवरुद्ध करती हैं, और आप ट्रैक किए गए उत्पादों की सूची को गैर-तकनीकी प्रबंधक के लिए संपादित करना कितना आसान बनाएंगे।
— प्रतिस्पर्धी उत्पाद लिंक की अनुकूलन योग्य सूची पर एक कार्यक्रम के अनुसार स्क्रैपिंग
— मूल्य, उपलब्धता स्थिति और टाइमस्टैम्प का संग्रह; पूरी इतिहास को स्टोर करना
— नियमों द्वारा अलर्ट (सीमा, प्रतिशत परिवर्तन, हमारी कीमत से नीचे) ईमेल और चैट के लिए
— मूल्य इतिहास चार्ट और बगल में प्रतिस्पर्धी तुलना
— CSV निर्यात और गैर-तकनीकी कर्मचारियों के लिए संपादनीय उत्पाद सूची
— पुनः प्रयास, विनम्र अनुरोध गति और स्पष्ट विफलता लॉगिंग
प्रशासन नकद, बैंक ट्रांसफर
