Python में प्रिंसिपल कॉम्पोनेंट एनालिसिस (PCA) कैसे करें
PCA के बारे में जानें और यह कैसे दो लोकप्रिय डेटासेट्स—Breast Cancer और CIFAR-10—का उपयोग करके बिना किसी सुपरविज़न के डेटा से जानकारी निकालने में काम आ सकता है।
Principal component analysis (PCA) एक रैखिक आयामीय घटाव तकनीक है, जिसका उपयोग उच्च-आयामी स्पेस से जानकारी निकालने के लिए किया जा सकता है, उसे कम-आयामी उप-स्पेस पर प्रोजेक्ट करके। यदि आप रैखिक बीजगणित की भाषा से परिचित हैं, तो आप यह भी कह सकते हैं कि principal component analysis डेटा में अधिकतम विचरण की दिशाओं की पहचान करने के लिए सह-प्रसरण मैट्रिक्स के eigenvectors ढूंढना है।
PCA के बारे में एक महत्वपूर्ण बात यह है कि यह एक अनियंत्रित (unsupervised) आयामीय घटाव तकनीक है, इसलिए आप बिना किसी निगरानी (या लेबल) के, उनके बीच के सह-संबंध के आधार पर समान डेटा बिंदुओं को क्लस्टर कर सकते हैं।
ध्यान दें: Features, Dimensions, और Variables एक ही चीज़ को दर्शाते हैं। आप पाएंगे कि इन्हें परस्पर बदलकर इस्तेमाल किया जाता है।
आप PCA कहाँ लागू कर सकते हैं?
डेटा विज़ुअलाइज़ेशन: किसी भी डेटा-संबंधी समस्या पर काम करते समय, आज की दुनिया में चुनौती डेटा की बहुतायत और उसे परिभाषित करने वाले वेरिएबल्स/फीचर्स की संख्या है। जहाँ डेटा कुंजी है, वहाँ समस्या हल करने के लिए व्यापक डेटा खोज-परख की ज़रूरत होती है, जैसे वेरिएबल्स के सह-संबंध को खोजना या कुछ वेरिएबल्स के वितरण को समझना। यह देखते हुए कि डेटा बहुत से वेरिएबल्स या आयामों के साथ वितरित है, विज़ुअलाइज़ेशन एक चुनौती बन सकता है और लगभग असंभव भी।
ऐसे में, PCA आपके लिए यह काम कर सकता है क्योंकि यह डेटा को कम आयाम में प्रोजेक्ट करता है, जिससे आप 2D या 3D स्पेस में उसे सहज रूप से देख सकते हैं।
मशीन लर्निंग (ML) एल्गोरिदम को तेज़ करना: चूँकि PCA का मुख्य विचार आयाम घटाना है, यदि आपके डेटा में बहुत सारे फीचर्स हैं और ML एल्गोरिदम की सीखने की प्रक्रिया बहुत धीमी है, तो आप प्रशिक्षण और परीक्षण समय को तेज़ करने के लिए PCA का लाभ उठा सकते हैं।
सार स्तर पर, आप अनेक फीचर्स वाले डेटा सेट को लेते हैं, और मूल फीचर्स में से कुछ Principal Components चुनकर उस डेटा सेट को सरल बनाते हैं।
Principal Component क्या है?
Principal components, PCA का मूल हैं; वे आपके डेटा के भीतर छिपी संरचना का प्रतिनिधित्व करते हैं। सरल शब्दों में, जब डेटा को उच्च आयाम से कम आयाम (मान लें तीन आयाम) में प्रोजेक्ट किया जाता है, तो वे तीन आयाम दरअसल तीन principal components ही होते हैं, जो आपके डेटा के अधिकांश विचरण (जानकारी) को कैप्चर करते हैं।
Principal components में दिशा और परिमाण दोनों होते हैं। दिशा यह दर्शाती है कि किस principal अक्ष के entlang डेटा सबसे अधिक फैला हुआ है या जिसमें सबसे अधिक विचरण है, और परिमाण यह बताता है कि उस अक्ष पर प्रोजेक्शन करने पर वह principal component डेटा के कितने विचरण को कैप्चर करता है। Principal components सीधी रेखाएँ होती हैं, और पहला principal component डेटा में सबसे अधिक विचरण को धारण करता है। प्रत्येक अगला principal component पिछले के लंबवत (orthogonal) होता है और उसमें कम विचरण होता है। इस प्रकार, y सैंपल्स पर दिए गए x सह-संबद्ध वेरिएबल्स के सेट से, आप उसी y सैंपल्स पर u असह-संबद्ध principal components का सेट प्राप्त करते हैं।
आपको मूल फीचर्स से असह-संबद्ध principal components इसलिए मिलते हैं क्योंकि सह-संबद्ध फीचर्स एक ही principal component में योगदान करते हैं, जिससे मूल डेटा फीचर्स घटकर असह-संबद्ध principal components में बदल जाते हैं; प्रत्येक, अलग-अलग सह-संबद्ध फीचर्स के सेट और विभिन्न मात्रा के परिवर्तनशीलता का प्रतिनिधित्व करता है। प्रत्येक principal component डेटा से कैप्चर की गई कुल परिवर्तनशीलता का एक प्रतिशत दर्शाता है।
आज के ट्यूटोरियल में, हम डेटा विज़ुअलाइज़ेशन के ज़रिए अंतर्दृष्टियाँ प्राप्त करने के लिए PCA लागू करेंगे, और हम अपने मशीन लर्निंग एल्गोरिदम को तेज़ करने के उद्देश्य से भी PCA लागू करेंगे। ऊपर बताए गए दोनों कार्यों को पूरा करने के लिए, आप दो प्रसिद्ध डेटा सेट इस्तेमाल करेंगे: Breast Cancer और CIFAR - 10। पहला संख्यात्मक डेटा सेट है; दूसरा इमेज डेटा सेट है।
डेटा को समझना
डेटा लोड करने से पहले, यह समझना और देखना अच्छा है कि आप किस डेटा पर काम करने वाले हैं!
Breast Cancer
Breast Cancer डेटा सेट एक वास्तविक-मूल्य बहु-वेरिएट डेटा है जिसमें दो क्लास हैं, जहाँ प्रत्येक क्लास यह बताती है कि किसी मरीज को स्तन कैंसर है या नहीं। दो श्रेणियाँ हैं: malignant और benign।
malignant क्लास में 212 सैंपल हैं, जबकि benign क्लास में 357 सैंपल हैं।
इसमें सभी क्लास में साझा 30 फीचर्स हैं: radius, texture, perimeter, area, smoothness, fractal dimension, आदि।
आप breast cancer डेटा सेट को यहाँ से डाउनलोड कर सकते हैं, या और आसान तरीका है कि इसे sklearn लाइब्रेरी की मदद से लोड करें।
CIFAR - 10
CIFAR-10 (Canadian Institute For Advanced Research) डेटा सेट में 60000 इमेज होती हैं, प्रत्येक 32x32x3 रंगीन इमेज, और दस क्लास, प्रत्येक श्रेणी में 6000 इमेज।
डेटा सेट में 50000 प्रशिक्षण इमेज और 10000 परीक्षण इमेज होती हैं।
अब आप numpy इम्पोर्ट करेंगे क्योंकि आप breast_labels को पुनर्रूपित (reshaping) करके breast_data के साथ जोड़ेंगे (concatenate), ताकि अंततः आप एक DataFrame बना सकें जिसमें डेटा और लेबल दोनों हों।
यदि आप features ऐरे पर ध्यान दें, तो label फ़ील्ड गायब है। इसलिए, आपको इसे मैन्युअल रूप से features ऐरे में जोड़ना होगा क्योंकि आप इस ऐरे को अपने breast_dataset डेटा फ्रेम के कॉलम नामों के बराबर करेंगे।
features_labels = np.append(features,'label')संचालित द्वारा
बहुत बढ़िया! अब आप breast_dataset डेटा फ्रेम में कॉलम नाम सेट करेंगे।
चूँकि मूल लेबल 0,1 फॉर्मेट में हैं, आप .replace फ़ंक्शन का इस्तेमाल करके लेबल को benign और malignant में बदल देंगे। आप inplace=True का उपयोग करेंगे, जो डेटा फ्रेम breast_dataset को संशोधित करेगा।
breast_dataset['label'].replace(0,'Benign',inplace=True)
breast_dataset['label'].replace(1,'Malignant',inplace=True)संचालित द्वारा
आइए breast_dataset की अंतिम कुछ पंक्तियाँ प्रिंट करें।
इम्पोर्ट करने के बाद, आप डेटा डाउनलोड करने के लिए .load_data() मेथड का उपयोग करेंगे, यह आपके Keras डायरेक्टरी में डेटा डाउनलोड और स्टोर कर देगा। आपकी इंटरनेट गति के आधार पर इसमें कुछ समय लग सकता है।
(x_train, y_train),(x_test, y_test)= cifar10.load_data()संचालित द्वारा
ऊपर दी गई कोड लाइन प्रशिक्षण और परीक्षण इमेज के साथ उनके लेबल लौटाती है।
आइए प्रशिक्षण और परीक्षण इमेज का आकार जल्दी से प्रिंट करें।
print('Traning data shape:', x_train.shape)print('Testing data shape:', x_test.shape)संचालित द्वारा
Traning data shape:(50000,32,32,3)
Testing data shape:(10000,32,32,3)संचालित द्वारा
आइए कुल लेबल्स की संख्या और डेटा में मौजूद विभिन्न प्रकार की क्लास भी जान लें।
# Find the unique numbers from the train labels
classes = np.unique(y_train)
nClasses =len(classes)print('Total number of outputs : ', nClasses)print('Output classes : ', classes)संचालित द्वारा
Total number ofoutputs:10
Output classes :[0123456789]संचालित द्वारा
अब CIFAR-10 इमेज को प्लॉट करने के लिए, आप matplotlib इम्पोर्ट करेंगे और एक मैजिक (%) कमांड %matplotlib inline का उपयोग करेंगे ताकि जूपिटर नोटबुक आउटपुट को यहीं दिखाए!
import matplotlib.pyplot as plt
%matplotlib inline
संचालित द्वारा
बेहतर समझ के लिए, चलिए एक डिक्शनरी बनाते हैं जिसमें क्लास नाम उनके संबंधित श्रेणीबद्ध क्लास लेबल्स के साथ होंगे।
label_dict ={0:'airplane',1:'automobile',2:'bird',3:'cat',4:'deer',5:'dog',6:'frog',7:'horse',8:'ship',9:'truck',}संचालित द्वारा
plt.figure(figsize=[5,5])# Display the first image in training data
plt.subplot(121)
curr_img = np.reshape(x_train[0],(32,32,3))
plt.imshow(curr_img)print(plt.title("(Label: "+str(label_dict[y_train[0][0]])+")"))# Display the first image in testing data
plt.subplot(122)
curr_img = np.reshape(x_test[0],(32,32,3))
plt.imshow(curr_img)print(plt.title("(Label: "+str(label_dict[y_test[0][0]])+")"))संचालित द्वारा
Text(0.5,1.0,'(Label: frog)')Text(0.5,1.0,'(Label: cat)')संचालित द्वारा
ऊपर की दोनों इमेज धुंधली होने के बावजूद, आप फिर भी देख सकते हैं कि पहली इमेज एक मेंढक की है जिसका लेबल frog है, जबकि दूसरी इमेज एक बिल्ली की है जिसका लेबल cat है।
PCA के जरिए डेटा विज़ुअलाइज़ेशन
अब आता है इस ट्यूटोरियल का सबसे रोचक भाग। जैसा कि आपने पहले सीखा, PCA उच्च-आयामी डेटा को कम-आयामी principal component में प्रोजेक्ट करता है; अब समय है इसे Python की मदद से विज़ुअलाइज़ करने का!
Breast cancer डेटा का विज़ुअलाइज़ेशन
आप डेटा को Standardizing करके शुरू करेंगे क्योंकि PCA का आउटपुट डेटा के फीचर्स के स्केल से प्रभावित होता है।
किसी भी मशीन लर्निंग एल्गोरिदम को देने से पहले अपने डेटा को normalize करना आम प्रथा है।
Normalization लागू करने के लिए, आप sklearn लाइब्रेरी से StandardScaler मॉड्यूल इम्पोर्ट करेंगे और Data Exploration चरण में बनाए गए breast_dataset से केवल फीचर्स का चयन करेंगे। फीचर्स मिलने के बाद, आप फीचर डेटा पर fit_transform करके स्केलिंग लागू करेंगे।
StandardScaler लागू करते समय, आपके डेटा का प्रत्येक फीचर सामान्य वितरण (normally distributed) होना चाहिए ताकि यह वितरण को शून्य माध्य (mean) और एक मानक विचलन (standard deviation) पर स्केल कर दे।
from sklearn.preprocessing import StandardScaler
x = breast_dataset.loc[:, features].values
x = StandardScaler().fit_transform(x)# normalizing the featuresसंचालित द्वारा
अब आता है महत्वपूर्ण भाग; अगली कुछ कोड लाइनों में तीस-आयामी Breast Cancer डेटा को दो-आयामी principal components में प्रोजेक्ट किया जाएगा।
आप sklearn लाइब्रेरी का उपयोग करके PCA मॉड्यूल इम्पोर्ट करेंगे, और PCA मेथड में आप कंपोनेंट्स की संख्या (n_components=2) पास करेंगे और अंत में समग्र डेटा पर fit_transform कॉल करेंगे। यहाँ, components की संख्या उस कम आयाम का प्रतिनिधित्व करती है जिसमें आप अपने उच्च-आयामी डेटा को प्रोजेक्ट करेंगे।
from sklearn.decomposition import PCA
pca_breast = PCA(n_components=2)
principalComponents_breast = pca_breast.fit_transform(x)संचालित द्वारा
अगला, एक DataFrame बनाते हैं जिसमें सभी 569 सैंपल्स के principal component मान होंगे।
एक बार आपके पास principal components आ जाएँ, तो आप explained_variance_ratio निकाल सकते हैं। यह आपको यह बताएगा कि डेटा को कम-आयामी उप-स्पेस में प्रोजेक्ट करने के बाद प्रत्येक principal component में कितनी जानकारी या विचरण निहित है।
print('Explained variability per principal component: {}'.format(pca_breast.explained_variance_ratio_))संचालित द्वारा
Explained variability per principal component:[0.442720260.18971182]संचालित द्वारा
ऊपर के आउटपुट से आप देख सकते हैं कि principal component 1 44.2% जानकारी रखता है, जबकि principal component 2 केवल 19% जानकारी रखता है। एक और बात ध्यान देने की है कि तीस-आयामी डेटा को दो-आयामी डेटा में प्रोजेक्ट करते समय 36.8% जानकारी खो गई।
आइए 569 सैंपल्स का principal component - 1 और principal component - 2 अक्षों के entlang विज़ुअलाइज़ेशन प्लॉट करें। इससे आपको इस बात की अच्छी समझ मिलेगी कि आपके सैंपल्स दो क्लास में कैसे वितरित हैं।
plt.figure()
plt.figure(figsize=(10,10))
plt.xticks(fontsize=12)
plt.yticks(fontsize=14)
plt.xlabel('Principal Component - 1',fontsize=20)
plt.ylabel('Principal Component - 2',fontsize=20)
plt.title("Principal Component Analysis of Breast Cancer Dataset",fontsize=20)
targets =['Benign','Malignant']
colors =['r','g']for target, color inzip(targets,colors):
indicesToKeep = breast_dataset['label']== target
plt.scatter(principal_breast_Df.loc[indicesToKeep,'principal component 1'], principal_breast_Df.loc[indicesToKeep,'principal component 2'], c = color, s =50)
plt.legend(targets,prop={'size':15})संचालित द्वारा
<matplotlib.legend.Legend at 0x14552a630><Figure size 432x288 with0 Axes>संचालित द्वारा
ऊपर के ग्राफ से आप देख सकते हैं कि benign और malignant ये दो क्लास, जब दो-आयामी स्पेस में प्रोजेक्ट की जाती हैं, तो कुछ हद तक रैखिक रूप से विभेद्य (linearly separable) हो सकती हैं। एक अन्य अवलोकन यह हो सकता है कि benign क्लास, malignant क्लास की तुलना में अधिक फैली हुई है।
CIFAR - 10 डेटा का विज़ुअलाइज़ेशन
CIFAR-10 डेटा को विज़ुअलाइज़ करने के लिए निम्नलिखित कोड लाइनें, Breast Cancer डेटा के PCA विज़ुअलाइज़ेशन के काफ़ी समान हैं।
आइए जल्दी से CIFAR-10 प्रशिक्षण इमेज के अधिकतम और न्यूनतम मान जाँचें और पिक्सेल को 0 और 1 (समावेशी) के बीच normalize करें।
अगला, आप PCA मेथड बनाएँगे और कंपोनेंट्स की संख्या दो देंगे और प्रशिक्षण डेटा पर fit_transform लागू करेंगे; इसमें कुछ सेकंड लग सकते हैं क्योंकि 50,000 सैंपल हैं
pca_cifar = PCA(n_components=2)
principalComponents_cifar = pca_cifar.fit_transform(df_cifar.iloc[:,:-1])संचालित द्वारा
उसके बाद आप 50,000 इमेज में से प्रत्येक के principal components को numpy ऐरे से pandas DataFrame में बदल देंगे।
आइए जल्दी से जानें कि principal components कितनी जानकारी या variance धारण करते हैं।
print('Explained variability per principal component: {}'.format(pca_cifar.explained_variance_ratio_))संचालित द्वारा
Explained variability per principal component:[0.29076630.11253144]संचालित द्वारा
ठीक है, ऐसा लगता है कि principal components 1 और 2 ने ठीक-ठाक मात्रा में जानकारी बरकरार रखी है, जबकि डेटा को 3072 आयामों से घटाकर केवल दो principal components में प्रोजेक्ट किया गया था।
अब समय है CIFAR-10 डेटा को दो-आयामी स्पेस में विज़ुअलाइज़ करने का। याद रखें कि इस डेटा सेट में कुछ सार्थक क्लास-ओवरलैप है, जिसका मतलब है कि मेंढक का आकार बिल्ली या हिरण का कुत्ते से थोड़ा मिलता-जुलता हो सकता है; खासकर जब दो-आयामी स्पेस में प्रोजेक्ट किया जाए। उनके बीच के अंतर उतने अच्छे से कैप्चर नहीं हो सकते।
import seaborn as sns
plt.figure(figsize=(16,10))
sns.scatterplot(
x="principal component 1", y="principal component 2",
hue="y",
palette=sns.color_palette("hls",10),
data=principal_cifar_Df,
legend="full",
alpha=0.3)संचालित द्वारा
<matplotlib.axes._subplots.AxesSubplot at 0x12a5ba8d0>संचालित द्वारा
ऊपर दी गई फ़िगर से आप देख सकते हैं कि principal components ने कुछ विचरण कैप्चर किया है क्योंकि दो principal component अक्षों के entlang प्रोजेक्ट करने पर बिंदुओं में कुछ संरचना दिखाई देती है। एक ही क्लास के बिंदु एक-दूसरे के क़रीब हैं, और जो बिंदु या इमेज अर्थगत रूप से बहुत भिन्न हैं, वे एक-दूसरे से दूर हैं।
CIFAR-10 डेटा सेट के साथ PCA का उपयोग करके डीप लर्निंग प्रशिक्षण तेज़ करें
ट्यूटोरियल के इस अंतिम हिस्से में, आप सीखेंगे कि आप PCA का उपयोग करके अपने Deep Learning मॉडल के प्रशिक्षण को कैसे तेज़ कर सकते हैं।
नोट: इस खंड में उपयोग होने वाली बुनियादी पारिभाषिक शब्दावली सीखने के लिए, निःसंकोच यह ट्यूटोरियल देखें।
सबसे पहले, प्रशिक्षण और परीक्षण इमेज को normalize करें। यदि आपको याद हो, प्रशिक्षण इमेज को PCA विज़ुअलाइज़ेशन भाग में normalize किया गया था, इसलिए अब केवल परीक्षण इमेज को normalize करने की आवश्यकता है। तो, इसे जल्दी से कर लेते हैं!
यहाँ, आप यह भी पास कर सकते हैं कि PCA कितनी variance कैप्चर करे। आइए PCA मॉडल को पैरामीटर के रूप में 0.9 पास करें, जिसका अर्थ है कि PCA 90% variance को रखेगा और 90% variance कैप्चर करने के लिए आवश्यक number of components का उपयोग किया जाएगा।
ध्यान दें कि पहले आपने पैरामीटर के रूप में n_components पास किया था और तब आप पता लगा सकते थे कि उन दो कॉम्पोनेंट्स ने कितनी variance कैप्चर की। लेकिन यहाँ हम स्पष्ट रूप से बताते हैं कि PCA कितनी variance कैप्चर करे, और इसलिए n_components variance पैरामीटर के आधार पर बदलता रहेगा।
यदि आप कोई variance पास नहीं करते हैं, तो कॉम्पोनेंट्स की संख्या डेटा के मूल डायमेंशन के बराबर होगी।
ऊपर के आउटपुट से आप देख सकते हैं कि 90% variance हासिल करने के लिए, मूल 3072 डायमेंशंस से घटाकर 99 प्रिंसिपल कॉम्पोनेंट्स तक डायमेंशन कम कर दिया गया।
अंत में, आप fit मेथड से जनरेट पैरामीटर्स के आधार पर ट्रांसफॉर्म्ड डेटासेट बनाने के लिए प्रशिक्षण और परीक्षण दोनों सेट पर transform लागू करेंगे।
train_img_pca = pca.transform(x_train_flat)
test_img_pca = pca.transform(x_test_flat)संचालित द्वारा
आगे, डीप लर्निंग मॉडल चलाने के लिए आवश्यक लाइब्रेरीज़ को जल्दी से इंपोर्ट करें।
from keras.models import Sequential
from keras.layers import Dense
from keras.utils import np_utils
from keras.optimizers import RMSprop
संचालित द्वारा
अब, आप अपने प्रशिक्षण और परीक्षण लेबल्स को one-hot एन्कोडिंग वेक्टर में बदलेंगे।
y_train = np_utils.to_categorical(y_train)
y_test = np_utils.to_categorical(y_test)संचालित द्वारा
आइए अपने मॉडल के लिए epochs की संख्या, क्लासेस की संख्या, और batch size परिभाषित करें।
batch_size =128
num_classes =10
epochs =20संचालित द्वारा
अब, आप अपना Sequential मॉडल परिभाषित करेंगे!
model = Sequential()
model.add(Dense(1024, activation='relu', input_shape=(99,)))
model.add(Dense(1024, activation='relu'))
model.add(Dense(512, activation='relu'))
model.add(Dense(256, activation='relu'))
model.add(Dense(num_classes, activation='softmax'))संचालित द्वारा
आखिरकार, मॉडल को compile और train करने का समय आ गया है!
model.compile(loss='categorical_crossentropy',
optimizer=RMSprop(),
metrics=['accuracy'])
history = model.fit(train_img_pca, y_train,batch_size=batch_size,epochs=epochs,verbose=1,
validation_data=(test_img_pca, y_test))संचालित द्वारा
ऊपर के आउटपुट से आप देख सकते हैं कि CPU पर प्रत्येक epoch को ट्रेन करने में केवल 7 seconds लगे। मॉडल ने प्रशिक्षण डेटा पर ठीक-ठाक प्रदर्शन किया, जहाँ उसने 70% सटीकता हासिल की, जबकि परीक्षण डेटा पर केवल 56% सटीकता मिली। इसका अर्थ है कि इसने प्रशिक्षण डेटा पर overfit किया। फिर भी याद रखें कि डेटा को 3072 डायमेंशंस से घटाकर 99 डायमेंशंस पर प्रोजेक्ट किया गया था, और इसके बावजूद इसने अच्छा काम किया!
अंत में, देखते हैं कि वही डीप लर्निंग मॉडल मूल डेटासेट पर ट्रेन होने में कितना समय लेता है और कितनी सटीकता प्राप्त कर सकता है।
model = Sequential()
model.add(Dense(1024, activation='relu', input_shape=(3072,)))
model.add(Dense(1024, activation='relu'))
model.add(Dense(512, activation='relu'))
model.add(Dense(256, activation='relu'))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy',
optimizer=RMSprop(),
metrics=['accuracy'])
history = model.fit(x_train_flat, y_train,batch_size=batch_size,epochs=epochs,verbose=1,
validation_data=(x_test_flat, y_test))संचालित द्वारा
Voilà! ऊपर के आउटपुट से यह स्पष्ट है कि CPU पर प्रत्येक epoch को ट्रेन करने में लगभग 23 seconds लगे, जो PCA आउटपुट पर ट्रेंड मॉडल की तुलना में लगभग तीन गुना अधिक था।
साथ ही, प्रशिक्षण और परीक्षण—दोनों—की सटीकता, उन 99 प्रिंसिपल कॉम्पोनेंट्स को इनपुट देने पर मिली सटीकता से कम रही।
तो, प्रशिक्षण डेटा पर PCA लागू करके, आप अपने डीप लर्निंग एल्गोरिथ्म को न केवल तेजी से ट्रेन कर पाए, बल्कि मूल प्रशिक्षण डेटा पर ट्रेंड डीप लर्निंग एल्गोरिथ्म की तुलना में परीक्षण डेटा पर बेहतर सटीकता भी हासिल की।
और आगे बढ़ें!
ट्यूटोरियल पूरा करने पर बधाई।
यह ट्यूटोरियल Python में PCA का उत्कृष्ट और विस्तृत परिचय था, जिसमें सैद्धांतिक और व्यावहारिक—दोनों—पहलुओं को शामिल किया गया।
यदि आप dimensionality reduction तकनीकों में और गहराई से जाना चाहते हैं, तो t-distributed Stochastic Neighbor Embedding, जिसे आमतौर पर tSNE कहा जाता है, के बारे में पढ़ें; यह एक non-linear probabilistic dimensionality reduction तकनीक है।
यदि आप PCA जैसी unsupervised learning तकनीकों के बारे में और सीखना चाहते हैं, तो DataCamp का Unsupervised Learning in Python कोर्स करें।
फैक्टर एनालिसिस और प्रिंसिपल कॉम्पोनेंट एनालिसिस में क्या अंतर है?⌄
फैक्टर एनालिसिस (FA) और प्रिंसिपल कॉम्पोनेंट एनालिसिस (PCA) दोनों ही dimensionality reduction के लिए उपयोग की जाने वाली तकनीकें हैं, पर इनके उद्देश्य अलग हैं। PCA डेटा में कुल परिवर्तनशीलता (variability) को सुरक्षित रखने पर केंद्रित है और उसे असंबद्ध (uncorrelated) नए वेरिएबल्स के सेट (प्रिंसिपल कॉम्पोनेंट्स) में बदल देता है, जिन्हें उनके द्वारा समझाई गई variance के क्रम में व्यवस्थित किया जाता है। इसके विपरीत, FA का लक्ष्य प्रेक्षित वेरिएबल्स के बीच अन्तर्निहित संबंधों की पहचान करना है, जिसके लिए वह कुछ छुपे हुए (latent) फैक्टर्स के साथ डेटा को मॉडल करता है जो वेरिएबल्स के बीच correlations को समझाते हैं।
प्रिंसिपल कॉम्पोनेंट एनालिसिस क्या है?⌄
प्रिंसिपल कॉम्पोनेंट एनालिसिस वह प्रक्रिया है जिसमें डेटा के covariance मैट्रिक्स के eigenvectors निकाले जाते हैं, ताकि उसे प्रिंसिपल कॉम्पोनेंट्स (यानी जिनके eigenvalues सबसे बड़े हैं) द्वारा परिभाषित निम्न-आयामी स्पेस पर प्रोजेक्ट किया जा सके।
Python के साथ डेटा विश्लेषण की बुनियादी बातें सिर्फ चार घंटे में सीखें। यह ऑनलाइन पाठ्यक्रम Python इंटरफ़ेस का परिचय देगा और लोकप्रिय पैकेजों का अन्वेषण करेगा।
Principal component analysis (PCA) एक रैखिक आयामीय घटाव तकनीक है, जिसका उपयोग उच्च-आयामी स्पेस से जानकारी निकालने के लिए किया जा सकता है, उसे कम-आयामी उप-स्पेस पर प्रोजेक्ट करके। यदि आप रैखिक बीजगणित की भाषा से परिचित हैं, तो आप यह भी कह सकते हैं कि principal component analysis डेटा में अधिकतम विचरण की दिशाओं की पहचान करने के लिए सह-प्रसरण मैट्रिक्स के eigenvectors ढूंढना है।
PCA के बारे में एक महत्वपूर्ण बात यह है कि यह एक अनियंत्रित (unsupervised) आयामीय घटाव तकनीक है, इसलिए आप बिना किसी निगरानी (या लेबल) के, उनके बीच के सह-संबंध के आधार पर समान डेटा बिंदुओं को क्लस्टर कर सकते हैं।
ध्यान दें: Features, Dimensions, और Variables एक ही चीज़ को दर्शाते हैं। आप पाएंगे कि इन्हें परस्पर बदलकर इस्तेमाल किया जाता है।
आप PCA कहाँ लागू कर सकते हैं?
डेटा विज़ुअलाइज़ेशन: किसी भी डेटा-संबंधी समस्या पर काम करते समय, आज की दुनिया में चुनौती डेटा की बहुतायत और उसे परिभाषित करने वाले वेरिएबल्स/फीचर्स की संख्या है। जहाँ डेटा कुंजी है, वहाँ समस्या हल करने के लिए व्यापक डेटा खोज-परख की ज़रूरत होती है, जैसे वेरिएबल्स के सह-संबंध को खोजना या कुछ वेरिएबल्स के वितरण को समझना। यह देखते हुए कि डेटा बहुत से वेरिएबल्स या आयामों के साथ वितरित है, विज़ुअलाइज़ेशन एक चुनौती बन सकता है और लगभग असंभव भी।
ऐसे में, PCA आपके लिए यह काम कर सकता है क्योंकि यह डेटा को कम आयाम में प्रोजेक्ट करता है, जिससे आप 2D या 3D स्पेस में उसे सहज रूप से देख सकते हैं।
मशीन लर्निंग (ML) एल्गोरिदम को तेज़ करना: चूँकि PCA का मुख्य विचार आयाम घटाना है, यदि आपके डेटा में बहुत सारे फीचर्स हैं और ML एल्गोरिदम की सीखने की प्रक्रिया बहुत धीमी है, तो आप प्रशिक्षण और परीक्षण समय को तेज़ करने के लिए PCA का लाभ उठा सकते हैं।
सार स्तर पर, आप अनेक फीचर्स वाले डेटा सेट को लेते हैं, और मूल फीचर्स में से कुछ
Principal Componentsचुनकर उस डेटा सेट को सरल बनाते हैं।Principal Component क्या है?
Principal components, PCA का मूल हैं; वे आपके डेटा के भीतर छिपी संरचना का प्रतिनिधित्व करते हैं। सरल शब्दों में, जब डेटा को उच्च आयाम से कम आयाम (मान लें तीन आयाम) में प्रोजेक्ट किया जाता है, तो वे तीन आयाम दरअसल तीन principal components ही होते हैं, जो आपके डेटा के अधिकांश विचरण (जानकारी) को कैप्चर करते हैं।
Principal components में दिशा और परिमाण दोनों होते हैं। दिशा यह दर्शाती है कि किस principal अक्ष के entlang डेटा सबसे अधिक फैला हुआ है या जिसमें सबसे अधिक विचरण है, और परिमाण यह बताता है कि उस अक्ष पर प्रोजेक्शन करने पर वह principal component डेटा के कितने विचरण को कैप्चर करता है। Principal components सीधी रेखाएँ होती हैं, और पहला principal component डेटा में सबसे अधिक विचरण को धारण करता है। प्रत्येक अगला principal component पिछले के लंबवत (orthogonal) होता है और उसमें कम विचरण होता है। इस प्रकार, y सैंपल्स पर दिए गए x सह-संबद्ध वेरिएबल्स के सेट से, आप उसी y सैंपल्स पर u असह-संबद्ध principal components का सेट प्राप्त करते हैं।
आपको मूल फीचर्स से असह-संबद्ध principal components इसलिए मिलते हैं क्योंकि सह-संबद्ध फीचर्स एक ही principal component में योगदान करते हैं, जिससे मूल डेटा फीचर्स घटकर असह-संबद्ध principal components में बदल जाते हैं; प्रत्येक, अलग-अलग सह-संबद्ध फीचर्स के सेट और विभिन्न मात्रा के परिवर्तनशीलता का प्रतिनिधित्व करता है। प्रत्येक principal component डेटा से कैप्चर की गई कुल परिवर्तनशीलता का एक प्रतिशत दर्शाता है।
आज के ट्यूटोरियल में, हम डेटा विज़ुअलाइज़ेशन के ज़रिए अंतर्दृष्टियाँ प्राप्त करने के लिए PCA लागू करेंगे, और हम अपने मशीन लर्निंग एल्गोरिदम को तेज़ करने के उद्देश्य से भी PCA लागू करेंगे। ऊपर बताए गए दोनों कार्यों को पूरा करने के लिए, आप दो प्रसिद्ध डेटा सेट इस्तेमाल करेंगे: Breast Cancer और CIFAR - 10। पहला संख्यात्मक डेटा सेट है; दूसरा इमेज डेटा सेट है।
डेटा को समझना
डेटा लोड करने से पहले, यह समझना और देखना अच्छा है कि आप किस डेटा पर काम करने वाले हैं!
Breast Cancer
Breast Cancer डेटा सेट एक वास्तविक-मूल्य बहु-वेरिएट डेटा है जिसमें दो क्लास हैं, जहाँ प्रत्येक क्लास यह बताती है कि किसी मरीज को स्तन कैंसर है या नहीं। दो श्रेणियाँ हैं: malignant और benign।
malignant क्लास में 212 सैंपल हैं, जबकि benign क्लास में 357 सैंपल हैं।
इसमें सभी क्लास में साझा 30 फीचर्स हैं: radius, texture, perimeter, area, smoothness, fractal dimension, आदि।
आप breast cancer डेटा सेट को यहाँ से डाउनलोड कर सकते हैं, या और आसान तरीका है कि इसे
sklearnलाइब्रेरी की मदद से लोड करें।CIFAR - 10
CIFAR-10 (Canadian Institute For Advanced Research) डेटा सेट में 60000 इमेज होती हैं, प्रत्येक 32x32x3 रंगीन इमेज, और दस क्लास, प्रत्येक श्रेणी में 6000 इमेज।
डेटा सेट में 50000 प्रशिक्षण इमेज और 10000 परीक्षण इमेज होती हैं।
डेटा सेट में क्लास हैं: airplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck।
आप CIFAR डेटा सेट को यहाँ से डाउनलोड कर सकते हैं, या
Kerasजैसी किसी डीप लर्निंग लाइब्रेरी की मदद से इसे ऑन-द-फ्लाई भी लोड कर सकते हैं।PCA के साथ डेटा अन्वेषण
अब आप
Breast CancerऔरCIFAR-10डेटा सेट लोड और विश्लेषित करेंगे। अब तक आपको दोनों डेटा सेट की आयामीयता के बारे में एक विचार हो गया होगा।तो, आइए दोनों डेटा सेट को जल्दी से एक्सप्लोर करते हैं।
Breast cancer डेटा अन्वेषण
पहले
Breast Cancerडेटा सेट को एक्सप्लोर करते हैं।आप
sklearnके मॉड्यूलdatasetsका उपयोग करेंगे और उसमें सेBreast Cancerडेटा सेट इम्पोर्ट करेंगे।load_breast_cancerआपको लेबल और डेटा दोनों देगा। डेटा प्राप्त करने के लिए आप.dataऔर लेबल प्राप्त करने के लिए.targetकॉल करेंगे।डेटा में 569 सैंपल और तीस फीचर्स हैं, और प्रत्येक सैंपल के साथ एक लेबल जुड़ा है। इस डेटा सेट में दो लेबल हैं।
आइए डेटा का आकार जाँचें।
हालाँकि इस ट्यूटोरियल के लिए आपको लेबल की ज़रूरत नहीं है, फिर भी बेहतर समझ के लिए लेबल लोड करते हैं और उनका आकार देखते हैं।
अब आप
numpyइम्पोर्ट करेंगे क्योंकि आपbreast_labelsको पुनर्रूपित (reshaping) करकेbreast_dataके साथ जोड़ेंगे (concatenate), ताकि अंततः आप एकDataFrameबना सकें जिसमें डेटा और लेबल दोनों हों।reshapingके बाद, आप डेटा और लेबल को दूसरे अक्ष के entlangconcatenateकरेंगे, जिसका मतलब है कि ऐरे का अंतिम आकार569 x 31होगा।अब आप
pandasइम्पोर्ट करेंगे ताकि अंतिम डेटा काDataFrameबनाया जा सके और डेटा को सारणीबद्ध रूप में प्रस्तुत किया जा सके।आइए जल्दी से वे फीचर्स प्रिंट करें जो breast cancer डेटा सेट में हैं!
यदि आप
featuresऐरे पर ध्यान दें, तोlabelफ़ील्ड गायब है। इसलिए, आपको इसे मैन्युअल रूप सेfeaturesऐरे में जोड़ना होगा क्योंकि आप इस ऐरे को अपनेbreast_datasetडेटा फ्रेम के कॉलम नामों के बराबर करेंगे।बहुत बढ़िया! अब आप
breast_datasetडेटा फ्रेम में कॉलम नाम सेट करेंगे।आइए डेटा फ्रेम की शुरुआती कुछ पंक्तियाँ प्रिंट करें।
5 पंक्तियाँ × 31 कॉलम
चूँकि मूल लेबल
0,1फॉर्मेट में हैं, आप.replaceफ़ंक्शन का इस्तेमाल करके लेबल कोbenignऔरmalignantमें बदल देंगे। आपinplace=Trueका उपयोग करेंगे, जो डेटा फ्रेमbreast_datasetको संशोधित करेगा।आइए
breast_datasetकी अंतिम कुछ पंक्तियाँ प्रिंट करें।5 पंक्तियाँ × 31 कॉलम
CIFAR - 10 डेटा अन्वेषण
अब, आप
CIFAR - 10इमेज डेटा सेट को एक्सप्लोर करेंगेआप
Kerasनामक एक डीप लर्निंग लाइब्रेरी का उपयोग करकेCIFAR - 10डेटा सेट लोड कर सकते हैं।इम्पोर्ट करने के बाद, आप डेटा डाउनलोड करने के लिए
.load_data()मेथड का उपयोग करेंगे, यह आपकेKerasडायरेक्टरी में डेटा डाउनलोड और स्टोर कर देगा। आपकी इंटरनेट गति के आधार पर इसमें कुछ समय लग सकता है।ऊपर दी गई कोड लाइन प्रशिक्षण और परीक्षण इमेज के साथ उनके लेबल लौटाती है।
आइए प्रशिक्षण और परीक्षण इमेज का आकार जल्दी से प्रिंट करें।
आइए लेबल्स का आकार भी प्रिंट करें।
आइए कुल लेबल्स की संख्या और डेटा में मौजूद विभिन्न प्रकार की क्लास भी जान लें।
अब
CIFAR-10इमेज को प्लॉट करने के लिए, आपmatplotlibइम्पोर्ट करेंगे और एकमैजिक (%)कमांड%matplotlib inlineका उपयोग करेंगे ताकि जूपिटर नोटबुक आउटपुट को यहीं दिखाए!बेहतर समझ के लिए, चलिए एक डिक्शनरी बनाते हैं जिसमें क्लास नाम उनके संबंधित श्रेणीबद्ध क्लास लेबल्स के साथ होंगे।
ऊपर की दोनों इमेज धुंधली होने के बावजूद, आप फिर भी देख सकते हैं कि पहली इमेज एक मेंढक की है जिसका लेबल
frogहै, जबकि दूसरी इमेज एक बिल्ली की है जिसका लेबलcatहै।PCA के जरिए डेटा विज़ुअलाइज़ेशन
अब आता है इस ट्यूटोरियल का सबसे रोचक भाग। जैसा कि आपने पहले सीखा, PCA उच्च-आयामी डेटा को कम-आयामी principal component में प्रोजेक्ट करता है; अब समय है इसे Python की मदद से विज़ुअलाइज़ करने का!
Breast cancer डेटा का विज़ुअलाइज़ेशन
आप डेटा को
Standardizingकरके शुरू करेंगे क्योंकि PCA का आउटपुट डेटा के फीचर्स के स्केल से प्रभावित होता है।किसी भी मशीन लर्निंग एल्गोरिदम को देने से पहले अपने डेटा को normalize करना आम प्रथा है।
Normalization लागू करने के लिए, आप sklearn लाइब्रेरी से
StandardScalerमॉड्यूल इम्पोर्ट करेंगे और Data Exploration चरण में बनाए गएbreast_datasetसे केवल फीचर्स का चयन करेंगे। फीचर्स मिलने के बाद, आप फीचर डेटा परfit_transformकरके स्केलिंग लागू करेंगे।StandardScaler लागू करते समय, आपके डेटा का प्रत्येक फीचर सामान्य वितरण (normally distributed) होना चाहिए ताकि यह वितरण को शून्य माध्य (mean) और एक मानक विचलन (standard deviation) पर स्केल कर दे।
आइए जाँचें कि normalized डेटा का माध्य शून्य और मानक विचलन एक है या नहीं।
आइए normalized फीचर्स को DataFrame की मदद से सारणीबद्ध रूप में बदलें।
5 पंक्तियाँ × 30 कॉलम
अब आता है महत्वपूर्ण भाग; अगली कुछ कोड लाइनों में तीस-आयामी Breast Cancer डेटा को दो-आयामी
principal componentsमें प्रोजेक्ट किया जाएगा।आप sklearn लाइब्रेरी का उपयोग करके
PCAमॉड्यूल इम्पोर्ट करेंगे, और PCA मेथड में आप कंपोनेंट्स की संख्या (n_components=2) पास करेंगे और अंत में समग्र डेटा पर fit_transform कॉल करेंगे। यहाँ, components की संख्या उस कम आयाम का प्रतिनिधित्व करती है जिसमें आप अपने उच्च-आयामी डेटा को प्रोजेक्ट करेंगे।अगला, एक DataFrame बनाते हैं जिसमें सभी 569 सैंपल्स के principal component मान होंगे।
explained_variance_ratioनिकाल सकते हैं। यह आपको यह बताएगा कि डेटा को कम-आयामी उप-स्पेस में प्रोजेक्ट करने के बाद प्रत्येक principal component में कितनी जानकारी या विचरण निहित है।ऊपर के आउटपुट से आप देख सकते हैं कि
principal component 144.2% जानकारी रखता है, जबकिprincipal component 2केवल 19% जानकारी रखता है। एक और बात ध्यान देने की है कि तीस-आयामी डेटा को दो-आयामी डेटा में प्रोजेक्ट करते समय 36.8% जानकारी खो गई।आइए 569 सैंपल्स का
principal component - 1औरprincipal component - 2अक्षों के entlang विज़ुअलाइज़ेशन प्लॉट करें। इससे आपको इस बात की अच्छी समझ मिलेगी कि आपके सैंपल्स दो क्लास में कैसे वितरित हैं।ऊपर के ग्राफ से आप देख सकते हैं कि
benignऔरmalignantये दो क्लास, जब दो-आयामी स्पेस में प्रोजेक्ट की जाती हैं, तो कुछ हद तक रैखिक रूप से विभेद्य (linearly separable) हो सकती हैं। एक अन्य अवलोकन यह हो सकता है किbenignक्लास,malignantक्लास की तुलना में अधिक फैली हुई है।CIFAR - 10 डेटा का विज़ुअलाइज़ेशन
CIFAR-10 डेटा को विज़ुअलाइज़ करने के लिए निम्नलिखित कोड लाइनें, Breast Cancer डेटा के PCA विज़ुअलाइज़ेशन के काफ़ी समान हैं।
normalizeकरें।अगला, आप एक DataFrame बनाएँगे जो इमेज के पिक्सेल मानों और उनके संबंधित लेबल्स को पंक्ति-कॉलम प्रारूप में रखेगा।
लेकिन उससे पहले, आइए इमेज आयामों को तीन से एक में बदलें (इमेज को flatten करें)।
उत्तम! डेटा फ्रेम का आकार सही है क्योंकि 50,000 प्रशिक्षण इमेज हैं, प्रत्येक में 3072 पिक्सेल हैं और लेबल के लिए एक अतिरिक्त कॉलम, यानी कुल 3073।
PCA सभी कॉलम्स पर लागू होगा, सिवाय अंतिम के, जो प्रत्येक इमेज का लेबल है।
5 पंक्तियाँ × 3073 कॉलम
fit_transformलागू करेंगे; इसमें कुछ सेकंड लग सकते हैं क्योंकि 50,000 सैंपल हैंउसके बाद आप 50,000 इमेज में से प्रत्येक के principal components को numpy ऐरे से pandas DataFrame में बदल देंगे।
varianceधारण करते हैं।ठीक है, ऐसा लगता है कि principal components 1 और 2 ने ठीक-ठाक मात्रा में जानकारी बरकरार रखी है, जबकि डेटा को 3072 आयामों से घटाकर केवल दो principal components में प्रोजेक्ट किया गया था।
अब समय है CIFAR-10 डेटा को दो-आयामी स्पेस में विज़ुअलाइज़ करने का। याद रखें कि इस डेटा सेट में कुछ सार्थक क्लास-ओवरलैप है, जिसका मतलब है कि मेंढक का आकार बिल्ली या हिरण का कुत्ते से थोड़ा मिलता-जुलता हो सकता है; खासकर जब दो-आयामी स्पेस में प्रोजेक्ट किया जाए। उनके बीच के अंतर उतने अच्छे से कैप्चर नहीं हो सकते।
ऊपर दी गई फ़िगर से आप देख सकते हैं कि principal components ने कुछ विचरण कैप्चर किया है क्योंकि दो principal component अक्षों के entlang प्रोजेक्ट करने पर बिंदुओं में कुछ संरचना दिखाई देती है। एक ही क्लास के बिंदु एक-दूसरे के क़रीब हैं, और जो बिंदु या इमेज अर्थगत रूप से बहुत भिन्न हैं, वे एक-दूसरे से दूर हैं।
CIFAR-10 डेटा सेट के साथ PCA का उपयोग करके डीप लर्निंग प्रशिक्षण तेज़ करें
ट्यूटोरियल के इस अंतिम हिस्से में, आप सीखेंगे कि आप PCA का उपयोग करके अपने Deep Learning मॉडल के प्रशिक्षण को कैसे तेज़ कर सकते हैं।
नोट: इस खंड में उपयोग होने वाली बुनियादी पारिभाषिक शब्दावली सीखने के लिए, निःसंकोच यह ट्यूटोरियल देखें।
सबसे पहले, प्रशिक्षण और परीक्षण इमेज को normalize करें। यदि आपको याद हो, प्रशिक्षण इमेज को PCA विज़ुअलाइज़ेशन भाग में normalize किया गया था, इसलिए अब केवल परीक्षण इमेज को normalize करने की आवश्यकता है। तो, इसे जल्दी से कर लेते हैं!
आइए परीक्षण डेटा को
reshapeकरें।अब, आप PCA मॉडल का इंस्टैंस बनाएंगे।
यहाँ, आप यह भी पास कर सकते हैं कि PCA कितनी variance कैप्चर करे। आइए PCA मॉडल को पैरामीटर के रूप में 0.9 पास करें, जिसका अर्थ है कि PCA 90% variance को रखेगा और 90% variance कैप्चर करने के लिए आवश्यक
number of componentsका उपयोग किया जाएगा।ध्यान दें कि पहले आपने पैरामीटर के रूप में
n_componentsपास किया था और तब आप पता लगा सकते थे कि उन दो कॉम्पोनेंट्स ने कितनी variance कैप्चर की। लेकिन यहाँ हम स्पष्ट रूप से बताते हैं कि PCA कितनी variance कैप्चर करे, और इसलिएn_componentsvariance पैरामीटर के आधार पर बदलता रहेगा।यदि आप कोई variance पास नहीं करते हैं, तो कॉम्पोनेंट्स की संख्या डेटा के मूल डायमेंशन के बराबर होगी।
इसके बाद आप प्रशिक्षण इमेज पर
PCAइंस्टैंस को fit करेंगे।अब देखते हैं कि 0.9 variance कैप्चर करने के लिए PCA ने कितने
n_componentsउपयोग किए।ऊपर के आउटपुट से आप देख सकते हैं कि 90% variance हासिल करने के लिए, मूल
3072डायमेंशंस से घटाकर99प्रिंसिपल कॉम्पोनेंट्स तक डायमेंशन कम कर दिया गया।अंत में, आप
fitमेथड से जनरेट पैरामीटर्स के आधार पर ट्रांसफॉर्म्ड डेटासेट बनाने के लिए प्रशिक्षण और परीक्षण दोनों सेट परtransformलागू करेंगे।आगे, डीप लर्निंग मॉडल चलाने के लिए आवश्यक लाइब्रेरीज़ को जल्दी से इंपोर्ट करें।
अब, आप अपने प्रशिक्षण और परीक्षण लेबल्स को one-hot एन्कोडिंग वेक्टर में बदलेंगे।
आइए अपने मॉडल के लिए epochs की संख्या, क्लासेस की संख्या, और batch size परिभाषित करें।
अब, आप अपना
Sequentialमॉडल परिभाषित करेंगे!मॉडल सारांश प्रिंट करें।
आखिरकार, मॉडल को compile और train करने का समय आ गया है!
ऊपर के आउटपुट से आप देख सकते हैं कि CPU पर प्रत्येक epoch को ट्रेन करने में केवल
7 secondsलगे। मॉडल ने प्रशिक्षण डेटा पर ठीक-ठाक प्रदर्शन किया, जहाँ उसने70%सटीकता हासिल की, जबकि परीक्षण डेटा पर केवल56%सटीकता मिली। इसका अर्थ है कि इसने प्रशिक्षण डेटा पर overfit किया। फिर भी याद रखें कि डेटा को 3072 डायमेंशंस से घटाकर 99 डायमेंशंस पर प्रोजेक्ट किया गया था, और इसके बावजूद इसने अच्छा काम किया!अंत में, देखते हैं कि वही डीप लर्निंग मॉडल मूल डेटासेट पर ट्रेन होने में कितना समय लेता है और कितनी सटीकता प्राप्त कर सकता है।
Voilà! ऊपर के आउटपुट से यह स्पष्ट है कि CPU पर प्रत्येक epoch को ट्रेन करने में लगभग
23 secondsलगे, जो PCA आउटपुट पर ट्रेंड मॉडल की तुलना में लगभग तीन गुना अधिक था।साथ ही, प्रशिक्षण और परीक्षण—दोनों—की सटीकता, उन 99 प्रिंसिपल कॉम्पोनेंट्स को इनपुट देने पर मिली सटीकता से कम रही।
तो, प्रशिक्षण डेटा पर PCA लागू करके, आप अपने डीप लर्निंग एल्गोरिथ्म को न केवल
तेजीसे ट्रेन कर पाए, बल्कि मूल प्रशिक्षण डेटा पर ट्रेंड डीप लर्निंग एल्गोरिथ्म की तुलना में परीक्षण डेटा पर बेहतरसटीकताभी हासिल की।और आगे बढ़ें!
ट्यूटोरियल पूरा करने पर बधाई।
यह ट्यूटोरियल Python में PCA का उत्कृष्ट और विस्तृत परिचय था, जिसमें सैद्धांतिक और व्यावहारिक—दोनों—पहलुओं को शामिल किया गया।
यदि आप dimensionality reduction तकनीकों में और गहराई से जाना चाहते हैं, तो t-distributed Stochastic Neighbor Embedding, जिसे आमतौर पर tSNE कहा जाता है, के बारे में पढ़ें; यह एक non-linear probabilistic dimensionality reduction तकनीक है।
यदि आप PCA जैसी unsupervised learning तकनीकों के बारे में और सीखना चाहते हैं, तो DataCamp का Unsupervised Learning in Python कोर्स करें।
आगे सीखने के लिए संदर्भ: