परियोजना का विवरण
अनुवादितहम एक इंजीनियर की तलाश कर रहे हैं जो हमारे मौजूदा सामग्री पर एक अर्थपूर्ण (वेक्टर) खोज प्रणाली बनाए। इसका मतलब है: प्रत्येक अनुक्रमित वस्तु के लिए एम्बेडिंग उत्पन्न करना, इन वेक्टरों को एक उचित वेक्टर डेटाबेस में संग्रहीत करना और स्पष्ट एपीआई के माध्यम से प्रश्नों की सेवा करना जिसे हमारे अनुप्रयोग कॉल कर सकें। हम हाइब्रिड रैंकिंग की अपेक्षा करते हैं जो क्लासिक कीवर्ड मिलान को वेक्टर समानता के साथ जोड़ती है—ताकि जब उपयुक्त हो, सटीक मिलान शीर्ष पर रहें, लेकिन जब शब्द भिन्न होते हैं तो अर्थपूर्ण निकट परिणाम ऊपर आएं। प्रासंगिकता ट्यूनिंग हमारे लिए महत्वपूर्ण है: हम वास्तविक प्रश्न लॉग को पार्स करना चाहते हैं, वजन और थ्रेशोल्ड को समायोजित करना चाहते हैं और यह मापना चाहते हैं कि शीर्ष परिणाम वास्तव में बेहतर हैं या नहीं।
स्पष्टता के लिए: यह एक खोज और रैंकिंग प्रणाली है, चैटबॉट नहीं—एक जनरेटिव सहायक जो अपने उत्तर स्वयं लिखता है, हमें इसकी आवश्यकता नहीं है। हमें अर्थ-जानकारी रैंकिंग, प्रलेखित एपीआई, एक अनुक्रमण पाइपलाइन की आवश्यकता है जो सामग्री बदलने पर एम्बेडिंग को अद्यतित रखे, और एक सिफारिश कि कौन सा एम्बेडिंग मॉडल और वेक्टर स्टोर हमारे मात्रा और बजट के अनुकूल हैं।
हम क्या प्राप्त करना चाहते हैं:
— कैटलॉग और दस्तावेज़ों के लिए एक एम्बेडिंग पाइपलाइन;
— हाइब्रिड रैंकिंग (कीवर्ड + वेक्टर) के साथ एक वेक्टर डेटाबेस;
— फ़िल्टर, पृष्ठांकन और प्रासंगिकता नियंत्रण के साथ एक खोज एपीआई।