Python pandas ट्यूटोरियल: शुरुआती के लिए सम्पूर्ण मार्गदर्शिका

pandas इंस्टॉल करें

pandas इंस्टॉल करना सीधा-सादा है; बस अपने टर्मिनल में pip install कमांड का उपयोग करें। 

pip install pandasसंचालित द्वारा

वैकल्पिक रूप से, आप इसे conda के जरिए भी इंस्टॉल कर सकते हैं:

conda install pandasसंचालित द्वारा

pandas इंस्टॉल करने के बाद, यह जांच लेना अच्छा अभ्यास है कि इंस्टॉल किया गया वर्ज़न सही तरह काम कर रहा है:

import pandas as pd
print(pd.__version__)  # Prints the pandas versionसंचालित द्वारा

यह पुष्टि करता है कि pandas सही तरह इंस्टॉल हुआ है और आपको अन्य पैकेजों के साथ अनुकूलता सत्यापित करने देता है।

pandas में डेटा इंपोर्ट करना

pandas के साथ काम शुरू करने के लिए, नीचे दिखाए अनुसार pandas Python पैकेज इंपोर्ट करें। pandas इंपोर्ट करते समय, सबसे आम उपनाम pd होता है।

import pandas as pdसंचालित द्वारा

CSV फाइलें इंपोर्ट करना

कॉमा-सेपरेटेड वैल्यूज़ फाइल पढ़ने के लिए read_csv() का उपयोग करें और CSV फाइल का पथ दें (विस्तार से जानने के लिए हमारा read_csv() से डेटा इंपोर्ट ट्यूटोरियल देखें)।

df = pd.read_csv("diabetes.csv")संचालित द्वारा

यह read ऑपरेशन CSV फाइल diabetes.csv को लोड करके एक pandas DataFrame ऑब्जेक्ट df बनाता है। इस ट्यूटोरियल में आगे, आप देखेंगे कि ऐसे DataFrame ऑब्जेक्ट्स को कैसे मैनिपुलेट करते हैं। 

टेक्स्ट फाइलें इंपोर्ट करना

टेक्स्ट फाइलें पढ़ना CSV फाइलों जैसा ही है। फर्क बस इतना है कि आपको sep आर्गुमेंट के साथ सेपरेटर बताना होता है, जैसा नीचे दिखाया गया है। सेपरेटर आर्गुमेंट उस चिन्ह को संदर्भित करता है जिसका उपयोग DataFrame में पंक्तियों को अलग करने के लिए किया जाता है। कॉमा (sep = ","), whitespace(sep = "\s"), टैब (sep = "\t") और कॉलन(sep = ":") आमतौर पर प्रयुक्त सेपरेटर हैं। यहाँ \s एक single whitespace कैरेक्टर को दर्शाता है।

df = pd.read_csv("diabetes.txt", sep="\s")संचालित द्वारा

Excel फाइलें इंपोर्ट करना (एक शीट)

Excel फाइलें (XLS और XLSX दोनों) पढ़ना read_excel() फ़ंक्शन जितना आसान है, जिसमें फाइल पथ इनपुट के रूप में दिया जाता है।

df = pd.read_excel('diabetes.xlsx')संचालित द्वारा

आप अन्य आर्गुमेंट्स भी निर्दिष्ट कर सकते हैं, जैसे header यह बताने के लिए कि कौन-सी row DataFrame का हेडर बनेगी। इसका डिफॉल्ट मान 0 है, जो पहली row को headers या कॉलम नाम मानता है। आप names आर्गुमेंट में सूची के रूप में कॉलम नाम भी दे सकते हैं। यदि फाइल में row index है तो index_col (डिफॉल्ट None) आर्गुमेंट का उपयोग किया जा सकता है।

नोट: pandas DataFrame या Series में, index वह पहचानकर्ता है जो DataFrame में row या column के स्थान को इंगित करता है। संक्षेप में, index DataFrame की row या column को लेबल करता है और आपको उसके index का उपयोग करके किसी विशिष्ट row या column तक पहुँचने देता है (आप इसे आगे देखेंगे)। किसी DataFrame का row index एक range (जैसे, 0 से 303), एक time series (तारीखें या timestamps), एक unique identifier (जैसे employee_ID एक employees टेबल में), या अन्य प्रकार का डेटा हो सकता है। कॉलम्स के लिए, यह आमतौर पर एक स्ट्रिंग होता है (जो कॉलम नाम दर्शाता है)।

Excel फाइलें इंपोर्ट करना (कई शीट्स)

कई शीट्स वाली Excel फाइलें पढ़ना बहुत अलग नहीं है। आपको बस एक अतिरिक्त आर्गुमेंट sheet_name बताना होता है, जहाँ आप शीट का नाम एक स्ट्रिंग के रूप में या शीट की पोज़िशन एक इंटिजर के रूप में पास कर सकते हैं (ध्यान दें कि Python 0-इंडेक्सिंग का उपयोग करता है, जहाँ पहली शीट sheet_name = 0 से एक्सेस की जा सकती है)

# Extracting the second sheet since Python uses 0-indexing
df = pd.read_excel('diabetes_multi.xlsx', sheet_name=1)संचालित द्वारा

JSON फाइल इंपोर्ट करना

read_csv() फ़ंक्शन की तरह, आप JSON फाइल टाइप्स के लिए read_json() का उपयोग कर सकते हैं और JSON फाइल का नाम आर्गुमेंट के रूप में दे सकते हैं (अधिक जानकारी के लिए pandas में JSON और HTML डेटा इंपोर्ट करने पर यह ट्यूटोरियल पढ़ें)। नीचे दिया कोड डिस्क से JSON फाइल पढ़ता है और df नामक DataFrame ऑब्जेक्ट बनाता है।

df = pd.read_json("diabetes.json")संचालित द्वारा

यदि आप pandas के साथ डेटा इंपोर्ट करने के बारे में और सीखना चाहते हैं, तो विभिन्न फाइल टाइप्स को Python से इंपोर्ट करने पर यह चीट शीट देखें। 

SQL डेटाबेस से डेटा इंपोर्ट करना

रिलेशनल डेटाबेस से डेटा लोड करने के लिए, pd.read_sql() का उपयोग डेटाबेस कनेक्शन के साथ करें।

import sqlite3

# Establish a connection to an SQLite database
conn = sqlite3.connect("my_database.db")

# Read data from a table
df = pd.read_sql("SELECT * FROM my_table", conn)संचालित द्वारा

बड़े डेटासेट्स के लिए, क्वेरीज़ को ऑप्टिमाइज़ करने हेतु SQLAlchemy का उपयोग करने पर विचार करें।

API से डेटा इंपोर्ट करना (JSON फ़ॉर्मैट)

यदि आपका डेटा किसी वेब API से आ रहा है, तो pandas इसे सीधे pd.read_json() के जरिए पढ़ सकता है:

df = pd.read_json("https://api.example.com/data.json")संचालित द्वारा

यदि API response पेजिनेटेड है, या nested JSON फ़ॉर्मैट में है, तो आपको pandas.io.json के json_normalize() का उपयोग करके अतिरिक्त प्रोसेसिंग की आवश्यकता हो सकती है।

pandas में डेटा आउटपुट करना

जिस तरह pandas विभिन्न फाइल टाइप्स से डेटा इंपोर्ट कर सकता है, उसी तरह यह डेटा को विभिन्न फ़ॉर्मैट्स में एक्सपोर्ट भी करने देता है। ऐसा विशेषकर तब होता है जब डेटा pandas का उपयोग करके ट्रांसफॉर्म किया गया हो और उसे आपकी मशीन पर लोकली सेव करने की आवश्यकता हो। नीचे बताया गया है कि pandas DataFrames को अलग-अलग फ़ॉर्मैट्स में कैसे आउटपुट करें।

DataFrame को CSV फाइल में आउटपुट करना

एक pandas DataFrame (यहाँ हम df का उपयोग कर रहे हैं) को .to_csv() मेथड से CSV फाइल के रूप में सेव किया जाता है। आर्गुमेंट्स में फाइलनेम (पथ सहित) और index शामिल हैं – जहाँ index = True का अर्थ है DataFrame का index लिखना।

df.to_csv("diabetes_out.csv", index=False)संचालित द्वारा

DataFrame को JSON फाइल में आउटपुट करना

.to_json() मेथड कॉल करके DataFrame ऑब्जेक्ट को JSON फाइल में एक्सपोर्ट करें।

df.to_json("diabetes_out.json")संचालित द्वारा

नोट: JSON फाइल DataFrame जैसे टेब्यूलर ऑब्जेक्ट को key-value जोड़ों के रूप में स्टोर करती है। इसलिए आप JSON फाइल में दोहराए गए कॉलम हेडर्स देखेंगे।

DataFrame को टेक्स्ट फाइल में आउटपुट करना

जैसे DataFrames को CSV फाइलों में लिखते हैं, आप .to_csv() कॉल कर सकते हैं। फर्क बस इतना है कि आउटपुट फाइल फ़ॉर्मैट .txt होगा, और आपको sep आर्गुमेंट का उपयोग करके सेपरेटर बताना होगा।

df.to_csv('diabetes_out.txt', header=df.columns, index=None, sep=' ')संचालित द्वारा

DataFrame को Excel फाइल में आउटपुट करना

DataFrame ऑब्जेक्ट से .to_excel() कॉल करके इसे “.xls” या “.xlsx” फाइल के रूप में सेव करें।

df.to_excel("diabetes_out.xlsx", index=False)संचालित द्वारा

pandas के साथ DataFrames को देखना और समझना 

टेब्यूलर डेटा को DataFrame के रूप में पढ़ने के बाद, आपको डेटा पर एक नज़र डालने की जरूरत होगी। आप या तो डेटासेट का छोटा सैंपल देख सकते हैं या summary statistics के रूप में डेटा का सारांश।

.head() और .tail() का उपयोग करके डेटा कैसे देखें

आप क्रमशः .head() या .tail() मेथड्स का उपयोग करके DataFrame की शुरुआती कुछ या अंतिम कुछ rows देख सकते हैं। आप n आर्गुमेंट (डिफॉल्ट मान 5) से rows की संख्या निर्धारित कर सकते हैं।

df.head()संचालित द्वारा

DataFrame की पहली पाँच पंक्तियाँ 

df.tail(n = 10)संचालित द्वारा

DataFrame की अंतिम 10 पंक्तियाँ 

.describe() का उपयोग करके डेटा समझना

.describe() मेथड सभी न्यूमेरिक कॉलम्स की summary statistics प्रिंट करता है, जैसे count, mean, standard deviation, range, और quartiles।

df.describe()संचालित द्वारा

.describe() के साथ summary statistics प्राप्त करें

यह न्यूमेरिक डेटा के scale, skew और range पर त्वरित नज़र देता है।

आप percentiles आर्गुमेंट का उपयोग करके quartiles को संशोधित भी कर सकते हैं। यहाँ, उदाहरण के लिए, हम DataFrame df के न्यूमेरिक कॉलम्स के 30%, 50% और 70% पर्सेंटाइल देख रहे हैं।

df.describe(percentiles=[0.3, 0.5, 0.7])संचालित द्वारा

विशिष्ट पर्सेंटाइल्स के साथ summary statistics प्राप्त करें 

आप include आर्गुमेंट का उपयोग करके अपने summary आउटपुट में विशिष्ट डेटा टाइप्स को अलग भी कर सकते हैं। यहाँ, उदाहरण के लिए, हम केवल integer डेटा टाइप वाले कॉलम्स का सारांश दे रहे हैं। 

df.describe(include=[int])संचालित द्वारा

केवल integer कॉलम्स की summary statistics प्राप्त करें 

इसी तरह, आप exclude आर्गुमेंट का उपयोग करके कुछ डेटा टाइप्स को बाहर भी कर सकते हैं।

df.describe(exclude=[int])संचालित द्वारा

केवल non-integer कॉलम्स की summary statistics प्राप्त करें 

अक्सर, प्रैक्टिशनर्स इन्हें .T एट्रिब्यूट से transpose करके देखना आसान पाते हैं।

df.describe().Tसंचालित द्वारा

.T के साथ summary statistics transpose करें

DataFrames को describe करने पर अधिक जानने के लिए, निम्नलिखित चीट शीट देखें।

.info() का उपयोग करके डेटा समझना

.info() मेथड DataFrame के डेटा टाइप्स, missing values और डेटा साइज़ पर त्वरित नज़र डालने का तरीका है। यहाँ, हम show_counts आर्गुमेंट को True पर सेट कर रहे हैं, जो प्रत्येक कॉलम में कुल non-missing values की गिनती दिखाता है। हम memory_usage को भी True पर सेट कर रहे हैं, जो DataFrame एलिमेंट्स की कुल मेमोरी उपयोग दिखाता है। जब verbose को True पर सेट किया जाता है, तो यह .info() का पूरा सारांश प्रिंट करता है। 

df.info(show_counts=True, memory_usage=True, verbose=True)संचालित द्वारा

.shape का उपयोग करके अपने डेटा को समझना

DataFrame की पंक्तियों और स्तंभों की संख्या DataFrame के .shape एट्रिब्यूट से पहचानी जा सकती है। यह एक ट्यूपल (row, column) लौटाता है और केवल rows या केवल columns की गिनती पाने के लिए इंडेक्स किया जा सकता है।

df.shape # Get the number of rows and columns
df.shape[0] # Get the number of rows only
df.shape[1] # Get the number of columns onlyसंचालित द्वारा

(768,9)
768
9संचालित द्वारा

सभी कॉलम और कॉलम नाम प्राप्त करना

किसी DataFrame ऑब्जेक्ट के .columns एट्रिब्यूट को कॉल करने से कॉलम नाम Index ऑब्जेक्ट के रूप में मिलते हैं। याद दिला दें, pandas index row या column का address/label होता है।

df.columnsसंचालित द्वारा

इसे list() फ़ंक्शन का उपयोग करके सूची में बदला जा सकता है।

list(df.columns)संचालित द्वारा

.isnull() के साथ pandas में missing values की जाँच

सैंपल DataFrame में कोई missing values नहीं हैं। आइए कुछ शामिल करके इसे रोचक बनाते हैं। .copy() मेथड मूल DataFrame की एक प्रति बनाता है। यह इसलिए किया जाता है ताकि कॉपी में किए गए बदलाव मूल DataFrame में परिलक्षित न हों। .loc (जिसे आगे चर्चा करेंगे) का उपयोग करके, आप Pregnancies कॉलम की rows दो से पाँच तक को NaN वैल्यूज़ (जो missing values को दर्शाती हैं) सेट कर सकते हैं।

df2 = df.copy()
df2.loc[2:5,'Pregnancies'] = None
df2.head(7)संचालित द्वारा

आप देख सकते हैं कि अब rows 2 से 5 NaN हैं

आप .isnull() मेथड का उपयोग करके यह जाँच सकते हैं कि DataFrame में प्रत्येक एलिमेंट missing है या नहीं।

df2.isnull().head(7)संचालित द्वारा

अक्सर यह जानना अधिक उपयोगी होता है कि आपके पास कितना missing डेटा है, आप .isnull() को .sum() के साथ मिलाकर प्रत्येक कॉलम में nulls की संख्या गिन सकते हैं।

df2.isnull().sum()संचालित द्वारा

Pregnancies                 4
Glucose                     0
BloodPressure               0
SkinThickness               0
Insulin                     0
BMI                         0
DiabetesPedigreeFunction    0
Age                         0
Outcome                     0
dtype: int64संचालित द्वारा

आप DataFrame में कुल nulls की संख्या पाने के लिए double sum भी कर सकते हैं।

df2.isnull().sum().sum()संचालित द्वारा

4संचालित द्वारा

pandas में Sorting, Slicing और डेटा एक्सट्रैक्ट करना

pandas पैकेज आपके DataFrames में डेटा को sort, subset, filter, और isolate करने के कई तरीके प्रदान करता है। यहाँ, हम सबसे सामान्य तरीकों को देखेंगे।

डेटा sort करना

किसी विशिष्ट कॉलम के आधार पर DataFrame को sort करने के लिए:

df.sort_values(by="Age", ascending=False, inplace=True)  # Sort by Age in descending orderसंचालित द्वारा

आप कई कॉलम्स के आधार पर भी sort कर सकते हैं:

df.sort_values(by=["Age", "Glucose"], ascending=[False, True], inplace=True)संचालित द्वारा

इंडेक्स रीसेट करना

यदि आप किसी DataFrame को filter या sort करते हैं, तो आपका index असंतुलित हो सकता है। इसे ठीक करने के लिए .reset_index() का उपयोग करें:

df.reset_index(drop=True, inplace=True)  # Resets index and removes old index columnसंचालित द्वारा

शर्तों का उपयोग करके डेटा filter करना

किसी शर्त के आधार पर डेटा निकालने के लिए:

df[df["BloodPressure"] > 100]  # Selects rows where BloodPressure is greater than 100संचालित द्वारा

[ ] का उपयोग करके एक कॉलम isolate करना 

आप एक कॉलम को isolate करने के लिए square bracket [ ] में कॉलम नाम देकर निकाल सकते हैं। आउटपुट एक pandas Series ऑब्जेक्ट होता है। pandas Series एक-आयामी array है जिसमें किसी भी प्रकार का डेटा हो सकता है, जैसे integer, float, string, boolean, Python objects, आदि। एक DataFrame कई series से मिलकर बना होता है जो कॉलम के रूप में कार्य करती हैं।

df['Outcome']संचालित द्वारा

pandas में एक कॉलम isolate करना

[[ ]] का उपयोग करके दो या अधिक कॉलम isolate करना 

आप एक से अधिक कॉलम लाने के लिए square brackets के अंदर कॉलम नामों की सूची भी दे सकते हैं। यहाँ, square brackets दो अलग-अलग तरीकों से उपयोग किए गए हैं। हम बाहरी square brackets का उपयोग DataFrame के subset को इंगित करने के लिए करते हैं, और अंदर वाले square brackets सूची बनाने के लिए।

df[['Pregnancies', 'Outcome']]संचालित द्वारा

pandas में दो कॉलम isolate करना

[ ] का उपयोग करके एक row isolate करना 

एक single row को एक boolean series पास करके निकाला जा सकता है जिसमें एक True वैल्यू हो। नीचे दिए उदाहरण में, index = 1 वाली दूसरी row लौटाई जाती है। यहाँ, .index DataFrame के row labels लौटाता है, और तुलना उसे एक Boolean एक-आयामी array में बदल देती है।

df[df.index==1]संचालित द्वारा

pandas में एक row isolate करना

[ ] का उपयोग करके दो या अधिक rows isolate करना 

इसी तरह, == ऑपरेटर की बजाय .isin() मेथड का उपयोग करके दो या अधिक rows लौटाई जा सकती हैं।

df[df.index.isin(range(2,10))]संचालित द्वारा

pandas में विशिष्ट rows isolate करना

rows लाने के लिए .loc[] और .iloc[] का उपयोग

आप .loc[] और .iloc[] ("location" और "integer location") का उपयोग करके labels या conditions से विशिष्ट rows ला सकते हैं। .loc[] label का उपयोग row, column या cell की ओर संकेत करने के लिए करता है, जबकि .iloc[] न्यूमेरिक पोज़िशन का उपयोग करता है। दोनों के बीच के अंतर को समझने के लिए, पहले बनाए गए df2 के index को संशोधित करते हैं।

df2.index = range(1,769)संचालित द्वारा

नीचे दिया उदाहरण DataFrame की बजाय एक pandas Series लौटाता है। 1 row index (label) को दर्शाता है, जबकि .iloc[] में 1 row पोज़िशन (पहली row) है।

df2.loc[1]संचालित द्वारा

Pregnancies                   6.000
Glucose                     148.000
BloodPressure                72.000
SkinThickness                35.000
Insulin                       0.000
BMI                          33.600
DiabetesPedigreeFunction      0.627
Age                          50.000
Outcome                       1.000
Name: 1, dtype: float64संचालित द्वारा

df2.iloc[1]संचालित द्वारा

Pregnancies                  1.000
Glucose                     85.000
BloodPressure               66.000
SkinThickness               29.000
Insulin                      0.000
BMI                         26.600
DiabetesPedigreeFunction     0.351
Age                         31.000
Outcome                      0.000
Name: 2, dtype: float64संचालित द्वारा

आप square brackets में range देकर कई rows भी ला सकते हैं।

df2.loc[100:110]संचालित द्वारा

.loc[] के साथ pandas में rows isolate करना

df2.iloc[100:110]संचालित द्वारा

.iloc[] के साथ pandas में rows isolate करना

आप range की बजाय सूची का उपयोग करके भी .loc[] और .iloc[] से subset बना सकते हैं।

df2.loc[[100, 200, 300]]संचालित द्वारा

सूची का उपयोग करके .loc[] के साथ pandas में rows isolate करना

df2.iloc[[100, 200, 300]]संचालित द्वारा

सूची का उपयोग करके .iloc[] के साथ pandas में rows isolate करना

आप rows के साथ-साथ विशिष्ट कॉलम्स भी चुन सकते हैं। यही वह जगह है जहाँ .iloc[] .loc[] से अलग है – इसे कॉलम labels नहीं, बल्कि कॉलम की पोज़िशन चाहिए।

df2.loc[100:110, ['Pregnancies', 'Glucose', 'BloodPressure']]संचालित द्वारा

.loc[] के साथ pandas में कॉलम्स isolate करना

df2.iloc[100:110, :3]संचालित द्वारा

.iloc[] के साथ कॉलम्स isolate करना

तेज़ वर्कफ़्लोज़ के लिए, आप row के शुरुआती index को range के रूप में पास कर सकते हैं।

df2.loc[760:, ['Pregnancies', 'Glucose', 'BloodPressure']]संचालित द्वारा

.loc[] के साथ pandas में कॉलम्स और rows isolate करना

df2.iloc[760:, :3]संचालित द्वारा

.iloc[] के साथ pandas में कॉलम्स और rows isolate करना

आप असाइनमेंट ऑपरेटर = का उपयोग करके कुछ वैल्यूज़ अपडेट/संशोधित कर सकते हैं

df2.loc[df['Age']==81, ['Age']] = 80संचालित द्वारा

कंडीशनल slicing (जो कुछ शर्तें पूरी करती है)

pandas आपको row/column वैल्यूज़ पर शर्तों के माध्यम से डेटा filter करने देता है। उदाहरण के लिए, नीचे दिया कोड वह row चुनता है जहाँ Blood Pressure बिल्कुल 122 है। यहाँ, हम पहले के सेक्शंस में देखे अनुसार brackets [ ] का उपयोग करके rows isolate कर रहे हैं। हालाँकि, row indices या कॉलम नामों के बजाय, हम एक शर्त इनपुट कर रहे हैं जहाँ BloodPressure कॉलम 122 के बराबर है। हम इस शर्त को df.BloodPressure == 122 का उपयोग करके दर्शाते हैं।

df[df.BloodPressure == 122]संचालित द्वारा

pandas में शर्त के आधार पर rows isolate करना 

नीचे दिया उदाहरण उन सभी rows को लाता है जहाँ Outcome 1 है। यहाँ df.Outcome वह कॉलम चुनता है, df.Outcome == 1 Boolean वैल्यूज़ की Series लौटाता है जो निर्धारित करती है कि कौन-से Outcomes 1 के बराबर हैं, फिर [] उस df का subset लेता है जहाँ वह Boolean Series True है।

df[df.Outcome == 1]संचालित द्वारा

pandas में शर्त के आधार पर rows isolate करना 

आप तुलना करने के लिए > ऑपरेटर का उपयोग कर सकते हैं। नीचे दिया कोड उन सभी रिकॉर्ड्स के लिए Pregnancies, Glucose, और BloodPressure लाता है जिनका BloodPressure 100 से अधिक है।

df.loc[df['BloodPressure'] > 100, ['Pregnancies', 'Glucose', 'BloodPressure']]संचालित द्वारा

pandas में शर्त के आधार पर rows और columns isolate करना 

pandas का उपयोग करके डेटा साफ़ करना 

डेटा क्लीनिंग डेटा साइंस में सबसे आम कार्यों में से एक है। pandas आपको किसी भी उपयोग के लिए डेटा को प्रीप्रोसेस करने देता है, जिनमें मशीन लर्निंग और डीप लर्निंग मॉडल्स को ट्रेन करना भी शामिल है लेकिन सीमित नहीं है। आइए पहले के df2 DataFrame (जिसमें चार missing values हैं) का उपयोग करके कुछ डेटा क्लीनिंग उपयोग मामलों को दर्शाते हैं। याद दिला दें, DataFrame में कितनी missing values हैं, यह ऐसे देख सकते हैं।

df2.isnull().sum()संचालित द्वारा

Pregnancies                 4
Glucose                     0
BloodPressure               0
SkinThickness               0
Insulin                     0
BMI                         0
DiabetesPedigreeFunction    0
Age                         0
Outcome                     0
dtype: int64संचालित द्वारा

Missing data से निपटने की तकनीक #1: Missing values को drop करना

Missing डेटा से निपटने का एक तरीका उसे drop करना है। यह विशेष रूप से तब उपयोगी है जब आपके पास भरपूर डेटा हो और थोड़े से डेटा का खोना downstream विश्लेषण को प्रभावित न करे। आप नीचे दिखाए अनुसार .dropna() मेथड का उपयोग कर सकते हैं। यहाँ, हम .dropna() के परिणामों को df3 DataFrame में सेव कर रहे हैं।

df3 = df2.copy()
df3 = df3.dropna()
df3.shapeसंचालित द्वारा

(764, 9) # this is 4 rows less than df2संचालित द्वारा

axis आर्गुमेंट आपको यह बताने देता है कि आप NaNs वाली rows को drop कर रहे हैं या columns को। डिफॉल्ट axis NaNs वाली rows को हटाता है। एक या अधिक NaN वैल्यूज़ वाले कॉलम्स को हटाने के लिए axis = 1 का उपयोग करें। साथ ही, ध्यान दें कि हम inplace=True आर्गुमेंट का उपयोग कर रहे हैं, जो आपको आउटपुट को नए DataFrame में सेव किए बिना .dropna() लागू करने देता है।  

df3 = df2.copy()
df3.dropna(inplace=True, axis=1)
df3.head()संचालित द्वारा

pandas में missing डेटा को drop करना

आप how आर्गुमेंट को 'all' पर सेट करके missing values वाली rows और columns दोनों को भी drop कर सकते हैं

df3 = df2.copy()
df3.dropna(inplace=True, how='all')संचालित द्वारा

Missing data से निपटने की तकनीक #2: Missing values को बदलना

Drop करने के बजाय, missing values को summary statistic या किसी विशिष्ट मान (use case पर निर्भर) से बदलना बेहतर हो सकता है। उदाहरण के लिए, यदि सप्ताह भर के तापमान दर्शाने वाले किसी कॉलम में एक row missing है, तो उस missing वैल्यू को उसी सप्ताह के औसत तापमान से बदलना, उसे पूरी तरह drop करने से अधिक प्रभावी हो सकता है। आप नीचे दिए कोड से row या column mean के साथ missing डेटा को बदल सकते हैं।

df3 = df2.copy()
# Get the mean of Pregnancies
mean_value = df3['Pregnancies'].mean()
# Fill missing values using .fillna()
df3 = df3.fillna(mean_value)संचालित द्वारा

डुप्लिकेट डेटा से निपटना

आइए मूल डेटा में कुछ डुप्लिकेट्स जोड़ते हैं ताकि सीख सकें कि DataFrame में डुप्लिकेट्स कैसे हटाते हैं। यहाँ, हम .concat() मेथड का उपयोग कर रहे हैं ताकि df2 DataFrame की rows को फिर से df2 के साथ जोड़ दें, जिससे df2 की हर row की परफेक्ट डुप्लिकेट जुड़ जाए। 

df3 = pd.concat([df2, df2])
df3.shapeसंचालित द्वारा

(1536, 9)संचालित द्वारा

आप DataFrame से सभी डुप्लिकेट rows (डिफॉल्ट) .drop_duplicates() मेथड का उपयोग कर हट सकते हैं।

df3 = df3.drop_duplicates()
df3.shapeसंचालित द्वारा

(768, 9)संचालित द्वारा

कॉलम्स का नाम बदलना

एक सामान्य डेटा क्लीनिंग कार्य कॉलम्स का नाम बदलना है। .rename() मेथड के साथ, आप विशिष्ट कॉलम्स का नाम बदलने के लिए columns को आर्गुमेंट के रूप में उपयोग कर सकते हैं। नीचे दिया कोड पुराने और नए कॉलम नामों के मैपिंग के लिए डिक्शनरी दिखाता है।

df3.rename(columns = {'DiabetesPedigreeFunction':'DPF'}, inplace = True)
df3.head()संचालित द्वारा

pandas में कॉलम्स का नाम बदलना

आप सीधे सूची के रूप में DataFrame को कॉलम नाम असाइन भी कर सकते हैं।

df3.columns = ['Glucose', 'BloodPressure', 'SkinThickness', 'Insulin', 'BMI', 'DPF', 'Age', 'Outcome', 'STF']
df3.head()संचालित द्वारा

pandas में कॉलम्स का नाम बदलना

डेटा क्लीनिंग पर अधिक जानकारी, और आसान, अधिक पूर्वानुमेय डेटा क्लीनिंग वर्कफ़्लोज़ के लिए, निम्नलिखित चेकलिस्ट देखें, जो आपको आम डेटा क्लीनिंग कार्यों का व्यापक सेट प्रदान करती है। 

pandas में डेटा विश्लेषण

pandas का मुख्य मूल्य प्रस्ताव इसकी तेज़ डेटा विश्लेषण फ़ंक्शनलिटी है। इस सेक्शन में, हम pandas में उपयोग की जा सकने वाली विश्लेषण तकनीकों के एक सेट पर ध्यान केंद्रित करेंगे।

Summary ऑपरेटर्स (mean, mode, median)

जैसा कि आपने पहले देखा, आप .mean() मेथड का उपयोग करके प्रत्येक कॉलम वैल्यू का mean प्राप्त कर सकते हैं।

df.mean()संचालित द्वारा

pandas में कॉलम्स का mean प्रिंट करना

इसी तरह .mode() मेथड का उपयोग करके mode भी निकाला जा सकता है। 

df.mode()संचालित द्वारा

pandas में कॉलम्स का mode प्रिंट करना

इसी प्रकार, प्रत्येक कॉलम का median .median() मेथड से निकाला जाता है

df.median()संचालित द्वारा

pandas में कॉलम्स का median प्रिंट करना

मौजूदा कॉलम्स के आधार पर नए कॉलम बनाना 

pandas दो या अधिक कॉलम्स को scalar वैरिएबल्स की तरह जोड़कर तेज़ और कुशल computation प्रदान करता है। नीचे दिया कोड Glucose कॉलम के प्रत्येक मान को Insulin कॉलम के संबंधित मान से विभाजित करता है ताकि Glucose_Insulin_Ratio नामक नया कॉलम निकले।

df2['Glucose_Insulin_Ratio'] = df2['Glucose']/df2['Insulin']
df2.head()संचालित द्वारा

pandas में मौजूदा कॉलम्स से नया कॉलम बनाएं

.value_counts() का उपयोग करके काउंटिंग

अक्सर आप श्रेणीबद्ध (categorical) वैल्यूज़ के साथ काम करेंगे, और आप किसी कॉलम में प्रत्येक श्रेणी के ऑब्ज़र्वेशंस की संख्या गिनना चाहेंगे। श्रेणी वैल्यूज़ को .value_counts() मेथड्स से गिना जा सकता है। यहाँ, उदाहरण के लिए, हम यह गिन रहे हैं कि Outcome diabetic (1) कब है और non-diabetic (0) कब है।

df['Outcome'].value_counts()संचालित द्वारा

pandas में .value_counts() का उपयोग

normalize आर्गुमेंट जोड़ने से absolute counts के बजाय proportions मिलते हैं।

df['Outcome'].value_counts(normalize=True)संचालित द्वारा

नॉर्मलाइज़ेशन के साथ pandas में .value_counts() का उपयोग

परिणामों की स्वत: sorting को sort आर्गुमेंट (डिफॉल्ट True) से बंद करें। डिफॉल्ट sorting counts के आधार पर descending क्रम में होती है।

df['Outcome'].value_counts(sort=False)संचालित द्वारा

sorting के साथ pandas में .value_counts() का उपयोग

आप किसी एक कॉलम की बजाय DataFrame ऑब्जेक्ट और उसके विशिष्ट कॉलम्स पर भी .value_counts() लागू कर सकते हैं। यहाँ, उदाहरण के लिए, हम subset आर्गुमेंट के साथ df पर value_counts() लागू कर रहे हैं, जो कॉलम्स की सूची लेता है। 

df.value_counts(subset=['Pregnancies', 'Outcome'])संचालित द्वारा

कॉलम्स को subset करते समय pandas में .value_counts() का उपयोग

pandas में .groupby() के साथ डेटा aggregate करना

pandas आपको विशिष्ट कॉलम वैल्यूज़ के आधार पर समूह बनाकर वैल्यूज़ aggregate करने देता है। आप यह .groupby() मेथड को अपनी पसंद के summary मेथड के साथ मिलाकर कर सकते हैं। नीचे दिया कोड Outcome के अनुसार समूह बनाकर प्रत्येक न्यूमेरिक कॉलम का mean दिखाता है।

df.groupby('Outcome').mean()संचालित द्वारा

pandas में एक कॉलम के अनुसार डेटा aggregate करना

.groupby() में कॉलम नामों की सूची पास करके एक से अधिक कॉलम्स के अनुसार समूह बनाना भी संभव है, जैसा नीचे दिखाया गया है।

df.groupby(['Pregnancies', 'Outcome']).mean()संचालित द्वारा

pandas में दो कॉलम्स के अनुसार डेटा aggregate करना

कोई भी summary मेथड .groupby() के साथ उपयोग किया जा सकता है, जिनमें .min(), .max(), .mean(), .median(), .sum(), .mode() आदि शामिल हैं।

पिवट टेबल्स 

pandas आपको पिवट टेबल्स के रूप में summary statistics भी निकालने देता है। इससे वैरिएबल्स के संयोजन के आधार पर निष्कर्ष निकालना आसान हो जाता है। नीचे दिया कोड rows के रूप में Pregnancies के यूनिक वैल्यूज़ लेता है, कॉलम वैल्यूज़ के रूप में Outcome के यूनिक वैल्यूज़, और cells में संबंधित समूह में BMI का औसत होता है।

उदाहरण के लिए, Pregnancies = 5 और Outcome = 0 के लिए, औसत BMI 31.1 निकलता है।

pd.pivot_table(df, values="BMI", index='Pregnancies', 
               columns=['Outcome'], aggfunc='mean')संचालित द्वारा

pandas के साथ पिवटिंग करके डेटा aggregate करना

pandas में डेटा विज़ुअलाइज़ेशन

pandas आपके DataFrames को visualize करना आसान बनाने के लिए Matplotlib plotting फ़ंक्शंस के सुविधाजनक wrappers प्रदान करता है। नीचे, आप pandas का उपयोग करके सामान्य डेटा विज़ुअलाइज़ेशन कैसे करें, यह देखेंगे।

pandas में लाइन प्लॉट्स

pandas आपको लाइन प्लॉट्स का उपयोग करके वैरिएबल्स के बीच संबंधों को चार्ट करने देता है। नीचे BMI और Glucose का row index के विरुद्ध लाइन प्लॉट दिया है।

df[['BMI', 'Glucose']].plot.line()संचालित द्वारा

pandas के साथ बेसिक लाइन प्लॉट

आप color आर्गुमेंट का उपयोग करके रंगों का चुनाव कर सकते हैं।

df[['BMI', 'Glucose']].plot.line(figsize=(20, 10), 
                                 color={"BMI": "red", "Glucose": "blue"})संचालित द्वारा

कस्टम रंगों के साथ pandas का बेसिक लाइन प्लॉट

आप subplots आर्गुमेंट का उपयोग करके df के सभी कॉलम्स को अलग-अलग स्केल और axes पर भी प्लॉट कर सकते हैं।

df.plot.line(subplots=True)संचालित द्वारा

pandas के साथ लाइन प्लॉट्स के लिए सबप्लॉट्स

pandas में बार प्लॉट्स

विसतृत (discrete) कॉलम्स के लिए, आप उनकी डिस्ट्रीब्यूशन visualize करने हेतु श्रेणी काउंट्स पर बार प्लॉट का उपयोग कर सकते हैं। बाइनरी वैल्यूज़ वाला Outcome वैरिएबल नीचे visualize किया गया है।

df['Outcome'].value_counts().plot.bar()संचालित द्वारा

pandas में बार प्लॉट्स

pandas में बॉक्स प्लॉट्स

लगातार (continuous) वैरिएबल्स के quartile डिस्ट्रीब्यूशन को बॉक्सप्लॉट से visualize किया जा सकता है। नीचे दिया कोड pandas से बॉक्सप्लॉट बनाने देता है।

df.boxplot(column=['BMI'], by='Outcome')संचालित द्वारा

pandas में बॉक्सप्लॉट्स

pandas के बारे में और जानें

ऊपर दिया ट्यूटोरियल pandas के साथ क्या-क्या संभव है, इसकी बस शुरुआत है। चाहे डेटा का विश्लेषण हो, उसका विज़ुअलाइज़ेशन, फ़िल्टरिंग या एग्रीगेशन—pandas एक अत्यंत समृद्ध फीचर सेट देता है जो किसी भी डेटा वर्कफ़्लो को तेज़ कर देता है। साथ ही, pandas को अन्य डेटा साइंस पैकेजों के साथ मिलाकर, आप इंटरैक्टिव डैशबोर्ड बना सकते हैं, मशीन लर्निंग का उपयोग करके प्रेडिक्टिव मॉडल तैयार कर सकते हैं, डेटा वर्कफ़्लोज़ को ऑटोमेट कर सकते हैं, और भी बहुत कुछ। अपनी pandas सीखने की यात्रा तेज़ करने के लिए नीचे दिए संसाधन देखें:

• [Cheat Sheets] आपके सीखने के दौरान रेफरेंस के लिए Python और pandas चीट शीट्स की भरमार 
• [Live trainings] हमारे नि:शुल्क live-code-along सेशंस देखें, जिनमें से कई pandas का लाभ उठाते हैं
• [More tutorials] pandas और PyData इकोसिस्टम पर हमारे अन्य ट्यूटोरियल देखें, जिनमें pandas में moving averages लागू करना और pandas की .apply() मेथड का उपयोग शामिल हैं