परियोजना का विवरण
अनुवादितमल्टीथ्रेडेड पार्सर सामग्री टैग शीर्षक सूची URL txt.file से।
सूचियों में साइटें मौजूद हो सकती हैं या नहीं।
PHP या किसी सर्वर भाषा में कार्यान्वयन करना वांछनीय है ताकि VDS के साथ चल सके।
यदि यह हवा के तहत अच्छी तरह से काम करता है, तो यह मायने नहीं रखता कि क्या।
सेटिंग्स:
- आने वाली डेटा फ़ाइल
- जाने वाली डेटा फ़ाइल
- 100-1000 स्ट्रीम
- 3-10 सेकंड टाइमआउट
-
- एक चरण के साथ फ़ाइल (यदि अचानक यह रुक जाता है, तो शुरुआत से पार्स न करें, बल्कि इस चरण से)
पार्सर को पृष्ठ कोड का 100% डाउनलोड नहीं करना चाहिए, बल्कि केवल सेटिंग्स में निर्दिष्ट वर्णों से।
उदाहरण के लिए, फ़ाइल की शुरुआत से, हम 183 वर्णों को छोड़ देते हैं और केवल 34 वर्णों को उस चर में लिखते हैं, जो पार्सिम हैं।
कुछ ऐसा जैसे $info = file_get_contents ($url, NULL, NULL, 138, 34)।
आने वाले बेस में कुल 50 मिलियन हो सकते हैं। लिंक।