Ray पर Python का स्केलिंग: लैपटॉप से क्लस्टर तक

मैं Ray पर Python कार्यभार को स्केल करता हूं ताकि भारी कार्य सभी उपलब्ध कोर का उपयोग करें बजाय एक मशीन के। मैं पूरे पथ का मालिक हूं: वितरित प्रशिक्षण और हाइपरपैरामीटर खोज, बैच और स्ट्रीमिंग डेटा प्रोसेसिंग, कम-लेटेंसी मॉडल सेवा, और क्लस्टर में मौजूदा कोड को समानांतर करना। सिद्धांत सरल है: आप लैपटॉप से क्लस्टर तक बिना फिर से लिखे जाते हैं। मौजूदा कार्य दूरस्थ कार्य और अभिनेता बन जाते हैं, लॉजिक वही रहता है।

आमतौर पर मुझे ऐसा कोड मिलता है जो काम करता है लेकिन बहुत धीमा चलता है या बहुत कम डेटा पर। मैं प्रोफाइल करता हूं कि समय वास्तव में कहां जाता है, तय करता हूं कि क्या कार्य, अभिनेता, या डेटासेट होना चाहिए। मैं आपके हार्डवेयर पर या क्लाउड में Ray को तैनात करता हूं, ऑटोस्केलिंग जोड़ता हूं ताकि निष्क्रिय नोड्स का कोई खर्च न हो, और विफलताओं को पुनर्प्राप्त करने योग्य बनाता हूं। प्रशिक्षण के लिए मैं Ray Train और Ray Tune का उपयोग करता हूं, पाइपलाइन्स के लिए Ray Data, ऑनलाइन अनुमान के लिए Ray Serve स्मार्ट बैचिंग और प्रतिकृतियों के साथ।

आपको पठनीय कोड, एक तैनाती मिलती है जो मेरे बिना चलती है, और लागत और स्केलिंग सीमाओं पर स्पष्ट नोट्स मिलते हैं। मैं एक बोतलनेक को ठीक करूंगा बजाय एक ढांचे को जोड़ने के: यदि मल्टीप्रोसेसिंग पर्याप्त है, तो मैं ऐसा कहूंगा।