दीपसेक का $ 1.6B विकास: सामर्थ्य मिथक को डिबंकिंग करना

दीपसेक की नई चैटबॉट एक आश्चर्यजनक क्षमता का दावा करती है: वस्तुतः किसी भी सवाल का जवाब देना। यह AI, चीनी स्टार्टअप का एक उत्पाद, तेजी से एक प्रमुख बाजार खिलाड़ी बन गया है, यहां तक ​​कि NVIDIA के शेयर मूल्य में महत्वपूर्ण गिरावट का कारण बनता है।

दीपसेक की सफलता अपने अभिनव वास्तुकला और प्रशिक्षण विधियों से उपजी है। प्रमुख प्रौद्योगिकियों में शामिल हैं:

• मल्टी-टोकन भविष्यवाणी (एमटीपी): व्यक्तिगत रूप से शब्दों की भविष्यवाणी करने के बजाय, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, सटीकता और दक्षता को बढ़ाता है।
• विशेषज्ञों का मिश्रण (एमओई): यह वास्तुकला कई तंत्रिका नेटवर्क का उपयोग करता है, प्रशिक्षण में तेजी और प्रदर्शन में सुधार करता है। दीपसेक वी 3 256 नेटवर्क का उपयोग करता है, प्रत्येक टोकन के लिए आठ को सक्रिय करता है।
• मल्टी-हेड लेटेंट ध्यान (एमएलए): एमएलए महत्वपूर्ण वाक्य भागों पर ध्यान केंद्रित करता है, बार-बार सूचना हानि को कम करने और बारीक अर्थ को कैप्चर करने के लिए महत्वपूर्ण विवरण निकालता है।

दीपसेक ने शुरू में केवल 2048 जीपीयू का उपयोग करके अपने शक्तिशाली दीपसेक वी 3 मॉडल के लिए $ 6 मिलियन की उल्लेखनीय रूप से कम प्रशिक्षण लागत का दावा किया था।

हालांकि, सेमियालिसिस ने डीपसेक के लगभग 50,000 एनवीडिया हॉपर जीपीयू के उपयोग का खुलासा किया - जिसमें 10,000 एच 800, 10,000 एच 100 और अतिरिक्त एच 20 यूनिट्स शामिल हैं - कई डेटा सेंटर। यह लगभग $ 1.6 बिलियन के कुल सर्वर निवेश और $ 944 मिलियन के परिचालन खर्च का प्रतिनिधित्व करता है।

हाई-फ्लाइर हेज फंड की सहायक कंपनी दीपसेक अपने डेटा सेंटरों का मालिक है, जो अनुकूलन और तेजी से नवाचार पर नियंत्रण प्रदान करती है। इसकी स्व-वित्त पोषित स्थिति लचीलेपन को बढ़ाती है। इसके अलावा, दीपसेक शीर्ष प्रतिभा को आकर्षित करता है, कुछ शोधकर्ताओं ने मुख्य रूप से चीनी विश्वविद्यालयों से सालाना $ 1.3 मिलियन से अधिक कमाई की।

दीपसेक का प्रारंभिक $ 6 मिलियन प्रशिक्षण लागत का दावा भ्रामक है; यह केवल पूर्व-प्रशिक्षण GPU उपयोग को कवर करता है, अनुसंधान, शोधन, डेटा प्रसंस्करण और बुनियादी ढांचे को छोड़कर। कंपनी का कुल एआई विकास निवेश $ 500 मिलियन से अधिक है। इसकी दुबली संरचना, हालांकि, बड़ी, अधिक नौकरशाही कंपनियों की तुलना में कुशल नवाचार के लिए अनुमति देती है।

दीपसेक की सफलता उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने के लिए अच्छी तरह से वित्त पोषित स्वतंत्र एआई कंपनियों की क्षमता पर प्रकाश डालती है। जबकि इसके "क्रांतिकारी बजट" के दावे अतिरंजित हैं, इसकी सफलता निर्विवाद है, जिसके परिणामस्वरूप पर्याप्त निवेश, तकनीकी सफलता और एक मजबूत टीम है। लागत अंतर स्टार्क है: दीपसेक के आर 1 मॉडल की लागत $ 5 मिलियन को प्रशिक्षित करने के लिए है, जो कि चैटगेट 4 के $ 100 मिलियन की तुलना में है। हालांकि, यह अभी भी अपने प्रतिद्वंद्वियों की तुलना में सस्ता है।