After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
कोर्स विवरण
डेटासेट अक्सर उपलब्ध RAM से बड़े होते हैं, जिससे R प्रोग्रामर्स को दिक्कत होती है क्योंकि डिफ़ॉल्ट रूप से सभी वैरिएबल मेमोरी में स्टोर होते हैं। आप यह सीखेंगे कि डेटा को सीधे डिस्क से प्रोसेस, एक्सप्लोर और विश्लेषण कैसे करें। आप split-apply-combine अप्रोच लागू करेंगे और bigmemory और iotools पैकेज का उपयोग करके स्केलेबल कोड लिखना सीखेंगे। इस कोर्स में, आप Federal Housing Finance Agency के डेटा का उपयोग करेंगे — यह एक सार्वजनिक रूप से उपलब्ध डेटासेट है जिसमें 2009-2015 के बीच Federal National Mortgage Association (Fannie Mae) और Federal Home Loan Mortgage Corporation (Freddie Mac) द्वारा होल्ड या सिक्योरिटाइज़ किए गए सभी मॉर्टगेज दर्ज हैं।
पूर्वापेक्षाएँ
पाठ्यक्रम
कोर्स रूपरेखा
1
लगातार बड़े होते डेटा सेट के साथ काम करना
इस अध्याय में, हम उन कारणों पर चर्चा करेंगे जिनकी वजह से आपको नई तकनीकें अपनानी पड़ती हैं जब डेटा सेट उपलब्ध RAM से बड़े हों। हम दिखाएँगे कि base R फंक्शंस से डेटा इम्पोर्ट और एक्सपोर्ट करना धीमा हो सकता है और इसे ठीक करने के कुछ आसान तरीके क्या हैं। अंत में, हम bigmemory पैकेज का परिचय देंगे।
- Scalable Data Processing क्या है?50 XP
- आपका कोड धीमा क्यों है?50 XP
- डेटा साइज़ के साथ प्रोसेसिंग समय कैसे बदलता है?100 XP
- Bigmemory प्रोजेक्ट का उपयोग करके "Out-of-Core" ऑब्जेक्ट्स के साथ काम करना50 XP
- big.matrix ऑब्जेक्ट पढ़ना100 XP
- big.matrix ऑब्जेक्ट को अटैच करना100 XP
- big.matrix ऑब्जेक्ट्स के साथ टेबल बनाना100 XP
- bigsummary का उपयोग करके डेटा सारांश100 XP
- रेफरेंसेज़ बनाम कॉपीज़50 XP
- मेट्रिक्स और बिग मेट्रिक्स की कॉपी करना100 XP
2
bigmemory के साथ डेटा प्रोसेसिंग और विश्लेषण
अब जबकि आपने bigmemory का कुछ अनुभव ले लिया है, हम कुछ सरल डेटा एक्सप्लोरेशन और विश्लेषण तकनीकों से गुजरेंगे। खासतौर पर, हम देखेंगे कि टेबल कैसे बनानी हैं और split-apply-combine अप्रोच कैसे लागू करनी है।
3
iotools के साथ काम करना
हम iotools पैकेज का उपयोग करेंगे जो numeric और string दोनों तरह के डेटा को प्रोसेस कर सकता है, और chunk-wise प्रोसेसिंग की अवधारणा का परिचय देंगे。
4
केस स्टडी: हाउसिंग डेटा का प्रारंभिक विश्लेषण
पिछले अध्यायों में, हमने हाउसिंग डेटा का परिचय दिया और दिखाया कि एक सिंगल मशीन की RAM जितना या उससे बड़ा डेटा कैसे प्रोसेस करें। इस अध्याय में, हम डेटा का एक प्रारंभिक विश्लेषण करेंगे और समय के साथ विभिन्न ट्रेंड्स की तुलना करेंगे।
R
R में Scalable Data Processing
कोर्स
पूरा
