R सह सहसंबंध ट्यूटोरियल

पृष्ठभूमि

आज के ट्यूटोरियल में, आप Kaggle से प्राप्त फिल्मों के डेटा सेट के साथ काम करेंगे ताकि यह जाना जा सके कि चर के बीच संबंधों को बेहतर ढंग से कैसे समझा जा सकता है।

मैंने डेटा को हल्के-फुल्के रूप में संवार दिया है ताकि हमारी विश्लेषणात्मक तुलना एक जैसी इकाइयों पर आधारित हो, जैसे कि मुद्रा एक ही यूनिट में हो। इस चरण के बिना, gross, budget और profit जैसे चरों का हमारा सांख्यिकीय विश्लेषण भ्रामक हो सकता था। आप मूल डेटा सेट तक पहुंच सकते हैं।

डेटा आयात करना

movies डेटा सेट तक पहुंचने और उसका उपयोग करने के लिए, आप read.csv() फ़ंक्शन का उपयोग करके अपने डेटा को एक डेटा फ्रेम में आयात कर सकते हैं और उसे movies जैसे अत्यंत मौलिक नाम वाले वेरिएबल में स्टोर कर सकते हैं!

movies <- read.csv(url("http://s3.amazonaws.com/dcwoods2717/movies.csv"))संचालित द्वारा

शुरू करने के लिए बस इतना ही काफी है!

str(movies)संचालित द्वारा

## 'data.frame':    2961 obs. of  11 variables:
##  $ title              : Factor w/ 2907 levels "10 Cloverfield Lane",..: 1560 2143 34 2687 1405 1896 2633 894 1604 665 ...
##  $ genre              : Factor w/ 17 levels "Action","Adventure",..: 6 12 5 5 5 3 2 8 3 8 ...
##  $ director           : Factor w/ 1366 levels "Aaron Schneider",..: 474 472 781 828 175 1355 1328 1328 968 747 ...
##  $ year               : int  1920 1929 1933 1935 1936 1937 1939 1939 1940 1946 ...
##  $ duration           : int  110 100 89 81 87 83 102 226 88 144 ...
##  $ gross              : int  3000000 2808000 2300000 3000000 163245 184925485 22202612 198655278 84300000 20400000 ...
##  $ budget             : int  100000 379000 439000 609000 1500000 2000000 2800000 3977000 2600000 8000000 ...
##  $ cast_facebook_likes: int  4 109 995 824 352 229 2509 1862 1178 2037 ...
##  $ votes              : int  5 4546 7921 13269 143086 133348 291875 215340 90360 6304 ...
##  $ reviews            : int  2 107 162 164 331 349 746 863 252 119 ...
##  $ rating             : num  4.8 6.3 7.7 7.8 8.6 7.7 8.1 8.2 7.5 6.9 ...संचालित द्वारा

summary(movies)संचालित द्वारा

##                          title            genre    
##  Home                       :   3   Comedy   :848  
##  A Nightmare on Elm Street  :   2   Action   :738  
##  Across the Universe        :   2   Drama    :498  
##  Alice in Wonderland        :   2   Adventure:288  
##  Aloha                      :   2   Crime    :202  
##  Around the World in 80 Days:   2   Biography:135  
##  (Other)                    :2948   (Other)  :252  
##               director         year         duration    
##  Steven Spielberg :  23   Min.   :1920   Min.   : 37.0  
##  Clint Eastwood   :  19   1st Qu.:1999   1st Qu.: 95.0  
##  Martin Scorsese  :  16   Median :2004   Median :106.0  
##  Tim Burton       :  16   Mean   :2003   Mean   :109.6  
##  Spike Lee        :  15   3rd Qu.:2010   3rd Qu.:119.0  
##  Steven Soderbergh:  15   Max.   :2016   Max.   :330.0  
##  (Other)          :2857                                 
##      gross               budget          cast_facebook_likes
##  Min.   :      703   Min.   :      218   Min.   :     0     
##  1st Qu.: 12276810   1st Qu.: 11000000   1st Qu.:  2241     
##  Median : 34703228   Median : 26000000   Median :  4604     
##  Mean   : 58090401   Mean   : 40619384   Mean   : 12394     
##  3rd Qu.: 75590286   3rd Qu.: 55000000   3rd Qu.: 16926     
##  Max.   :760505847   Max.   :300000000   Max.   :656730     
##                                                             
##      votes            reviews           rating     
##  Min.   :      5   Min.   :   2.0   Min.   :1.600  
##  1st Qu.:  19918   1st Qu.: 199.0   1st Qu.:5.800  
##  Median :  55749   Median : 364.0   Median :6.500  
##  Mean   : 109308   Mean   : 503.3   Mean   :6.389  
##  3rd Qu.: 133348   3rd Qu.: 631.0   3rd Qu.:7.100  
##  Max.   :1689764   Max.   :5312.0   Max.   :9.300  
## संचालित द्वारा

फ़ीचर इंजीनियरिंग: लाभ की गणना

उपलब्ध चरों की समीक्षा करने पर, लगता है कि कुछ संख्यात्मक चरों में हेर-फेर करके हमारे डेटा फ्रेम के बारे में नए निष्कर्ष निकाले जा सकते हैं।

उदाहरण के लिए, आपके पास gross और budget चर हैं, तो क्यों न थोड़ा सबसेटिंग करके हर फिल्म का लाभ निकाल लिया जाए?

आप सूत्र profit = gross - budget का उपयोग करके लाभ की गणना कर सकते हैं। नीचे दिए गए DataCamp Light खंड में इसे आज़माएँ!

# Fill in the appropriate variable names to subset!
profit <- movies$..... - movies$.....

# Check the result
summary(profit)

कमाल!

आप देख सकते हैं कि हमारे डेटा फ्रेम में काफी कमाने वाली और काफी डुबाने वाली दोनों तरह की फिल्में हैं।

हमारी फिल्मों का profit आगे कुछ दिलचस्प विश्लेषणों में काम आ सकता है, तो आइए profit को हमारे डेटा फ्रेम में एक नए कॉलम के रूप में जोड़ दें।

# Add a column for `profit` to `movies` 
movies$..... <- movies$..... - movies$.....

सहसंबंध

अब जब profit को हमारे डेटा फ्रेम में एक नए कॉलम के रूप में जोड़ दिया गया है, तो आपके डेटा सेट के चरों के बीच संबंधों पर करीब से नज़र डालने का समय है।

आइए देखें कि प्रत्येक फिल्म की rating के सापेक्ष profit कैसे बदलता है।

इसके लिए, आप R के अंतर्निहित plot और abline फ़ंक्शनों का उपयोग कर सकते हैं, जहाँ plot एक स्कैटर प्लॉट बनाएगा और abline एक प्रतिगमन रेखा या “line of best fit” जोड़ेगा, क्योंकि हमने नीचे दिखाए अनुसार लीनियर मॉडल आर्ग्यूमेंट शामिल किया है।

# Create the scatter plot with `ratings` on the x-axis and `profit` on the y-axis
plot(movies$...., movies$....)

# Add a regression linewith the form `abline(lm(y ~ x))`

abline(lm(movies$.... ~ movies$....))

क्या आउटपुट लगभग वैसा ही था जैसा आपने सोचा था?

आम तौर पर, लगता है कि जिन फिल्मों की rating अधिक है, उनका profit भी अधिक होता है। इस कथन को दूसरे तरीके से कहें तो कम से कम हमारे डेटा फ्रेम में rating और profit के बीच एक सकारात्मक सहसंबंध मौजूद है।

यह कहा जाए तो भी, प्लॉट पर एक सरसरी नज़र डालते ही दिखता है कि बहुत-सी उच्च रेटिंग वाली फिल्में भी ब्लॉकबस्टर नहीं थीं, और कई बहुत लाभदायक फिल्में तुलनात्मक रूप से कम रेटिंग पाईं।

Correlation का अर्थ Causation नहीं होता!

सहसंबंध बनाम कारणता को समझने में मदद के लिए एक किस्सा: मैं समुद्र तट पर आइसक्रीम स्टॉल चलाता हूँ। शहर में जेवॉकर्स की औसत संख्या तब बढ़ती है जब मेरी आइसक्रीम की बिक्री बढ़ती है, पर क्या मेरी आइसक्रीम लोगों को ट्रैफिक नियम तोड़ने पर मजबूर कर रही है, या कोई और कारक काम कर रहा है? मेरी आइसक्रीम यकीनन बेहतरीन है, लेकिन बाहर की धूप शायद लोगों की आइसक्रीम चाहत और क्रॉसवॉक पर धूप में खड़े रहने से बचने की आदत दोनों में भूमिका निभाती है। मेरी आइसक्रीम बिक्री और जेवॉकर्स की संख्या के बीच एक संबंध (सहसंबंध) तो है, लेकिन आप इसे निर्णायक रूप से कारणात्मक नहीं कह सकते।

जैसे-जैसे आप इस ट्यूटोरियल में आगे बढ़ें, इस तर्क को ध्यान में रखें!

R में सहसंबंध की गणना

तो movies के चरों के बीच किस प्रकार के संबंध मौजूद हैं, और आप उन्हें मात्रात्मक रूप से कैसे आंक सकते हैं?

पहला तरीका है cor() के साथ सहसंबंध और सहसंबंध मैट्रिक्स बनाना:

# Compute Pearson correlation
cor(movies$rating, movies$profit)

# Correlation Matrix
cor(movies[,4:10])

ध्यान दें कि आप method भी निर्दिष्ट कर सकते हैं ताकि यह बताया जा सके कि आप कौन-सा सहसंबंध गुणांक निकालना चाहते हैं। सावधान रहें, क्योंकि इन सहसंबंधों के साथ कुछ मान्यताएँ हमेशा जुड़ी होती हैं: Kendall और Spearman विधियाँ केवल क्रमबद्ध इनपुट के लिए ही समझ में आती हैं। इसका मतलब है कि सहसंबंध गुणांक की गणना करने से पहले आपको अपने डेटा को क्रमबद्ध करना होगा।

इसके अलावा, डिफ़ॉल्ट विधि Pearson सहसंबंध मानती है कि आपके चर सामान्य रूप से वितरित हैं, प्रत्येक चर के बीच एक सीधी रेखीय संबंध है, और डेटा प्रतिगमन रेखा के आसपास सामान्य रूप से वितरित है।

यह भी ध्यान दें कि आप rcorr() का उपयोग कर सकते हैं, जो Hmisc पैकेज का हिस्सा है, Pearson और Spearman सहसंबंधों के महत्व स्तरों की गणना करने के लिए।

आप यह भी देखेंगे कि सहसंबंध मैट्रिक्स वास्तव में एक तालिका है जो चरों के समूहों के बीच सहसंबंध गुणांक दिखाती है। यह पहले से ही यह समझने का एक अच्छा तरीका है कि आपके डेटा सेट के चरों के बीच कौन-से संबंध मौजूद हैं, लेकिन अगले खंड में इसे थोड़ा और गहराई से देखते हैं।

दृश्य रूप से सहसंबंध का अन्वेषण: R सहसंबंध मैट्रिक्स

अगले अन्वेषण में, आप अपने movies डेटा फ्रेम में उपलब्ध चरों का उपयोग करके एक सहसंबंध मैट्रिक्स प्लॉट करेंगे। यह साधारण प्लॉट आपको तेजी से दिखा देगा कि किन चरों का अन्य चरों के साथ नकारात्मक, सकारात्मक, कमजोर या मजबूत सहसंबंध है।

इसे करने के लिए, आप GGally नामक एक बढ़िया पैकेज और ggcorr() नामक फ़ंक्शन का उपयोग करेंगे।

इस फ़ंक्शन कॉल का रूप ggcorr(df) होगा, जहाँ df उस डेटा फ्रेम का नाम है जिस पर आप फ़ंक्शन चला रहे हैं। इस फ़ंक्शन का आउटपुट एक त्रिकोणीय, रंग-कोडित मैट्रिक्स होगा जिस पर हमारे चर के नाम लेबल होंगे। प्रत्येक चर का अन्य चरों के सापेक्ष सहसंबंध गुणांक मैट्रिक्स में उसकी स्थिति के अनुसार क्षैतिज और/या लंबवत पढ़कर पाया जा सकता है।

यह सुनने में उलझन भरा लग सकता है, लेकिन व्यवहार में यह बहुत सरल है, तो नीचे दिए गए कोड खंड में इसे आज़माएँ!

# Replace the "....." with the name of the data frame 
ggcorr(.....)

तो अभी आपने जो सहसंबंध मैट्रिक्स बनाया है (वैसे शानदार काम!), उसमें आप किसी भी चर जैसे year से संबद्ध पंक्ति या स्तंभ में जा सकते हैं और दूसरे चर के साथ संबद्ध सेल के रंग से उसका सहसंबंध गुणांक देख सकते हैं।

उदाहरण के लिए, year की जाँच में, आप देख सकते हैं कि budget के साथ एक कमजोर, सकारात्मक सहसंबंध है और rating के साथ इसी तरह एक कमजोर, नकारात्मक सहसंबंध है।

सहसंबंध गुणांक हमेशा -1 और 1 के बीच (दोनों सहित) होते हैं। -1 का सहसंबंध गुणांक एक परिपूर्ण, नकारात्मक फिट को इंगित करता है जिसमें x-वैल्यू बढ़ने पर y-वैल्यू उसी दर से घटती हैं। 1 का सहसंबंध गुणांक एक परिपूर्ण, सकारात्मक फिट को इंगित करता है जिसमें y-वैल्यू उसी दर से बढ़ती हैं जिस दर से x-वैल्यू बढ़ती हैं।

अधिकांश मामलों में, जैसे आपके ऊपर दिए year उदाहरण में, सहसंबंध गुणांक -1 और 1 के बीच कहीं होगा।

क्या आपने सहसंबंध मैट्रिक्स में दिखाए गए चरों के बारे में कुछ अजीब सा नोटिस किया?

movies के सभी चर मौजूद नहीं हैं!

ऐसा इसलिए है क्योंकि movies के सभी चर संख्यात्मक नहीं हैं। ggcorr फ़ंक्शन स्वतः ही गैर-संख्यात्मक चरों को अलग रख देता है, जिससे मैट्रिक्स बनाने से पहले ऐसे चरों को “सबसेट करके निकालने” की ज़रूरत उपयोगकर्ता को नहीं पड़ती और समय बचता है।

यदि आप चाहते हैं कि आपका सहसंबंध मैट्रिक्स सचमुच “उभरकर” दिखे (या आप मेरी तरह थोड़ा कलरब्लाइंड हैं), तो कुछ सरल ट्यूनिंग से आप और अधिक दृष्टि-पकड़ने वाले, डेटा-सम्पन्न मैट्रिक्स बना सकते हैं।

अगले कोड खंड में, आपने label आर्ग्यूमेंट शामिल किया है, जिसे TRUE या FALSE पर सेट किया जा सकता है। डिफ़ॉल्ट सेटिंग FALSE है, लेकिन यदि आप label = TRUE जोड़ते हैं, तो प्रत्येक संबंध का सहसंबंध गुणांक उपयुक्त सेल में शामिल हो जाता है। इससे आपको रंग स्केल के आधार पर प्रत्येक गुणांक का मान अनुमान लगाने की ज़रूरत नहीं पड़ती।

label_alpha आर्ग्यूमेंट आपको सहसंबंध गुणांक की ताकत के आधार पर प्रत्येक लेबल की अपारदर्शिता बढ़ाने या घटाने देता है। यह तेज़, दृश्य डेटा विश्लेषण में बहुत उपयोगी है।

मेरी बात पर न जाएँ, खुद आज़माएँ!

अब एक बेहतर सहसंबंध मैट्रिक्स प्लॉट करते हैं:

# Fill in "TRUE" or "FALSE" to see how the correlation matrix changes
ggcorr(movies, 
       label = ....., 
       label_alpha = .....)

आगे के प्लॉट्स में, आप देखेंगे कि जब “मजबूत” सहसंबंध वाला प्लॉट बनता है, तो उसकी प्रतिगमन रेखा (x/y) का ढाल 1/1 या -1/1 के अधिक करीब होता है, जबकि “कमजोर” सहसंबंध वाले प्लॉट में प्रतिगमन रेखा का ढाल बहुत कम हो सकता है। 1/1 या -1/1 के करीब ढाल का अर्थ है कि प्लॉट किए गए दोनों चर एक-दूसरे से काफ़ी निकटता से संबंधित हैं।

हमारे movies डेटा फ्रेम के मामले में, ऐसी प्रतिगमन रेखा आपके चरों की प्रकृति के बारे में उपयोगी अंतर्दृष्टि दे सकती है और उनके परस्पर निर्भर होने का संकेत दे सकती है।

उदाहरण के लिए, आपके पिछले rating पर profit के प्लॉट में आपने देखा कि प्रतिगमन रेखा का ढाल मध्यम और सकारात्मक था। अपने सहसंबंध मैट्रिक्स पर एक नज़र डालें, तो आप देखेंगे कि इन दोनों चरों का सहसंबंध गुणांक 0.3 है।

समझ में आता है, है न?

सहसंबंध के प्रकार

अब पिछले खंड में देखे गए विभिन्न प्रकार के सहसंबंधों को दर्शाने वाले अतिरिक्त प्लॉट देखते हैं!

# Plot votes vs reviews
qplot(movies$....., 
      movies$....., 
      data = ....., 
      geom = c("point", "smooth"), 
      method = "lm", 
      alpha = I(1 / 5), 
      se = FALSE)

# Plot profit over years
qplot(movies$year, 
      movies$profit, 
      data = movies, 
      geom = c("point", "smooth"), 
      alpha = I(1 / 5))

# Plot the years on the x-axis, profit on the y-axis
qplot(movies$....., 
      movies$....., 
      data = ....., 
      geom = c("point", "smooth"), 
      method = "lm", 
      alpha = I(1 / 5), 
      se = FALSE)

सब कुछ जोड़ते हुए

अब GGally में उपलब्ध एक और शक्तिशाली फ़ंक्शन ggpairs पर नज़र डालते हैं। यह फ़ंक्शन बढ़िया है क्योंकि यह उपयोगकर्ताओं को एक ऐसा मैट्रिक्स बनाने देता है जो कई चरों के सहसंबंध गुणांक को एक स्कैटरप्लॉट (confidence interval के साथ best fit रेखा सहित) और एक डेंसिटी प्लॉट के साथ दिखाता है।

सिर्फ इस एक फ़ंक्शन का उपयोग करके, आप इस ट्यूटोरियल में कवर की गई हर चीज़ को सुसंगत और आसानी से समझ आने वाले तरीके से जोड़ सकते हैं।

नीचे दिए गए कोड खंड में, डेटा फ्रेम से अपने तीन पसंदीदा चर चुनें (कोई सबसेटिंग जरूरी नहीं!), उन्हें प्लग करें, और खेलें!

# Plug in your three favorite variables and tinker away!
ggpairs(movies, 
        columns = c(".....", ".....", "....."), 
        upper = list(continuous = wrap("cor", 
                                       size = 10)), 
        lower = list(continuous = "smooth"))

जैसा कि आपने अनुमान लगाया होगा, ऐसे कई परिदृश्य हैं जहाँ एक प्रकार का प्लॉट आदर्श होता है — कुंजी यह है कि कौन-सी विज़ुअलाइज़ेशन तकनीकें उपलब्ध हैं, उनका उपयोग कैसे करना है, और अंतिम परिणाम का क्या अर्थ है!

आगे की राह

आपने इस ट्यूटोरियल में काफी कुछ कवर किया है, तो अंत तक पहुँचने के लिए बधाई!

आशा है आप इन अवधारणाओं को अपनी विश्लेषणात्मक यात्राओं में इस्तेमाल कर पाएँगे! ये R में डेटा अन्वेषण की सच में बुनियादी बातें हैं और विश्लेषण व मॉडलिंग शुरू करने से पहले अपने डेटा को समझने के लिए आप और भी बहुत कुछ कर सकते हैं। क्यों न अपने प्रयासों को एक पायदान ऊपर ले जाएँ और DataCamp का Exploratory Data Analysis कोर्स शुरू करें?

इसी बीच, यदि आप movies डेटा सेट के साथ जारी नहीं रखना चाहते, तो मैं आपको Kaggle पर जाकर अपने लिए कोई समृद्ध और रोचक डेटा सेट ढूँढने के लिए प्रोत्साहित करता हूँ जिसे आप अन्वेषित कर सकें!