सेवा के बारे में
अनुवादितमैं कार्यशील मशीन लर्निंग मॉडल लेता हूं और उन्हें उत्पादन के लिए बिना सटीकता का त्याग किए काफी तेज और हल्का बनाता हूं। यदि एक मॉडल नोटबुक में सही भविष्यवाणी करता है लेकिन लोड के तहत सेवा देने के लिए बहुत धीमा, बहुत मेमोरी-खपत करने वाला, या बहुत महंगा है, तो यही समस्या है जिसे मैं हल करता हूं। वर्षों में मैंने दर्जनों शोध प्रोटोटाइप को सेवाओं में बदल दिया है जो सेकंड के बजाय मिलीसेकंड में प्रतिक्रिया करती हैं, और हर परियोजना में मैं एक सिद्धांत का पालन करता हूं: पहले मापें, फिर बदलें, फिर उन संख्याओं के साथ परिणाम साबित करें जिन पर आप भरोसा कर सकते हैं।
मैं पूर्ण अनुकूलन पथ का मालिक हूं। मैं मॉडलों को पोर्टेबल रनटाइम जैसे ONNX और TensorRT में परिवर्तित करता हूं, int8 या fp16 क्वांटाइजेशन लागू करता हूं, प्रूनिंग के साथ अतिरिक्त वजन और सिर हटा देता हूं, कंप्यूट ग्राफ को फ्यूज और सरल करता हूं, आपके विशिष्ट हार्डवेयर के लिए तैनाती को ट्यून करता हूं - चाहे CPU सर्वर, डेटा-सेंटर GPU, या एज डिवाइस। प्रत्येक कदम आपके परीक्षण सेट पर मान्य किया जाता है, इसलिए सटीकता आपके सहिष्णुता के भीतर रहती है। मैं कभी भी एक तेज मॉडल नहीं सौंपता जो चुपचाप खराब हो गया: मैं पहले और बाद में विलंबता, थ्रूपुट, और गुणवत्ता को बगल में मापता हूं।
आपको एक स्पष्ट रिपोर्ट मिलती है: आधारभूत संख्याएं, पोस्ट-ऑप्टिमाइजेशन संख्याएं, परिवर्तनों की सटीक सूची, और एक पुनरुत्पादनीय पाइपलाइन जिसे आप नए मॉडल संस्करणों पर फिर से चला सकते हैं। सामान्य परिणाम - विलंबता में दो से आठ गुना कमी और समान लागत की बचत के साथ सटीकता को बनाए रखा गया। ढांचे का नाम बताएं, लक्षित हार्डवेयर, और विलंबता बजट, और मैं ईमानदारी से कहूंगा कि हम शुरू करने से पहले क्या संभव है।
— ONNX, TensorRT, और अन्य रनटाइम में रूपांतरण
— क्वांटाइजेशन (int8, fp16) और संरचित या असंरचित प्रूनिंग
— ग्राफ अनुकूलन, ऑपरेटर फ्यूजन, और लेआउट ट्यूनिंग
— CPU, GPU, और एज पर बेंचमार्क के साथ पुनरुत्पादनीय रिपोर्ट
मैं पूर्ण अनुकूलन पथ का मालिक हूं। मैं मॉडलों को पोर्टेबल रनटाइम जैसे ONNX और TensorRT में परिवर्तित करता हूं, int8 या fp16 क्वांटाइजेशन लागू करता हूं, प्रूनिंग के साथ अतिरिक्त वजन और सिर हटा देता हूं, कंप्यूट ग्राफ को फ्यूज और सरल करता हूं, आपके विशिष्ट हार्डवेयर के लिए तैनाती को ट्यून करता हूं - चाहे CPU सर्वर, डेटा-सेंटर GPU, या एज डिवाइस। प्रत्येक कदम आपके परीक्षण सेट पर मान्य किया जाता है, इसलिए सटीकता आपके सहिष्णुता के भीतर रहती है। मैं कभी भी एक तेज मॉडल नहीं सौंपता जो चुपचाप खराब हो गया: मैं पहले और बाद में विलंबता, थ्रूपुट, और गुणवत्ता को बगल में मापता हूं।
आपको एक स्पष्ट रिपोर्ट मिलती है: आधारभूत संख्याएं, पोस्ट-ऑप्टिमाइजेशन संख्याएं, परिवर्तनों की सटीक सूची, और एक पुनरुत्पादनीय पाइपलाइन जिसे आप नए मॉडल संस्करणों पर फिर से चला सकते हैं। सामान्य परिणाम - विलंबता में दो से आठ गुना कमी और समान लागत की बचत के साथ सटीकता को बनाए रखा गया। ढांचे का नाम बताएं, लक्षित हार्डवेयर, और विलंबता बजट, और मैं ईमानदारी से कहूंगा कि हम शुरू करने से पहले क्या संभव है।
— ONNX, TensorRT, और अन्य रनटाइम में रूपांतरण
— क्वांटाइजेशन (int8, fp16) और संरचित या असंरचित प्रूनिंग
— ग्राफ अनुकूलन, ऑपरेटर फ्यूजन, और लेआउट ट्यूनिंग
— CPU, GPU, और एज पर बेंचमार्क के साथ पुनरुत्पादनीय रिपोर्ट
