рдЗрд╕ рд▓реЗрдЦ рдореЗрдВ, рдореИрдВрдиреЗ рдкрд╛рдВрдбрд╛реЫ рд╕реЗ рдЬреБрдбрд╝реЗ рд╕рдмрд╕реЗ рдЕрдзрд┐рдХ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рдФрд░ рдЙрдирдХреЗ рдЙрддреНрддрд░ рд╕рдВрдХрд▓рд┐рдд рдХрд┐рдП рд╣реИрдВред рдХреБрдЫ рдкреНрд░рд╢реНрди Target рдореЗрдВ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдХреА рднреВрдорд┐рдХрд╛ рдХреЗ рд▓рд┐рдП рдореЗрд░реЗ рдЕрдкрдиреЗ рдЗрдВрдЯрд░рд╡реНрдпреВ рдЕрдиреБрднрд╡ рд╕реЗ рд╣реИрдВред рдЪрд▓рд┐рдП рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ!
Pandas рдХреЗ рдмреБрдирд┐рдпрд╛рджреА рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЖрдЗрдП рдкрд╛рдВрдбрд╛реЫ рдкрд░ рдХреБрдЫ рдмреБрдирд┐рдпрд╛рджреА рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рджреЗрдЦреЗрдВред рдХреБрдЫ рд╕рд╛рдХреНрд╖рд╛рддреНрдХрд╛рд░рдХрд░реНрддрд╛ рд╢реБрд░реБрдЖрдд рдореЗрдВ рдЖрдкрдХреЛ рд╕рд╣рдЬ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдпреЗ рд╕рд░рд▓ рдкреНрд░рд╢реНрди рдкреВрдЫрддреЗ рд╣реИрдВ, рдЬрдмрдХрд┐ рдЕрдиреНрдп рдЗрдиреНрд╣реЗрдВ рдЖрдкрдХреА рдЗрд╕ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреА рдмреБрдирд┐рдпрд╛рджреА рд╕рдордЭ рдкрд░рдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдкреВрдЫрддреЗ рд╣реИрдВред
1. Python рдореЗрдВ pandas рдХреНрдпрд╛ рд╣реИ?
pandas рдПрдХ рдУрдкрди-рд╕реЛрд░реНрд╕ Python рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИ рдЬрд┐рд╕рдореЗрдВ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЛ рдХреБрд╢рд▓рддрд╛ рд╕реЗ рд╕рд╛рдлрд╝ рдХрд░рдиреЗ, рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдФрд░ рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдмрд┐рд▓реНрдЯ-рдЗрди рдореЗрдердбреНрд╕ рд╣реИрдВред 2008 рдореЗрдВ Wes McKinney рджреНрд╡рд╛рд░рд╛ рд╡рд┐рдХрд╕рд┐рдд, рдпрд╣ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдкреИрдХреЗрдЬ Python рдХреА рдЕрдиреНрдп рдЕрдиреЗрдХ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдореЙрдбреНрдпреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЖрд╕рд╛рдиреА рд╕реЗ рдХрд╛рдо рдХрд░ рд╕рдХрддрд╛ рд╣реИред
рдореВрд▓ рд░реВрдк рд╕реЗ NumPy рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реЛрдиреЗ рдХреЗ рдмрд╛рд╡рдЬреВрдж, рдЖрдзреБрдирд┐рдХ pandas (v2.0+) PyArrow рдмреИрдХрдПрдВрдб рдХрд╛ рднреА рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред рдЗрд╕рд╕реЗ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд╛рдлреА рддреЗрдЬрд╝ рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВ, рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдорд┐рд▓рддреЗ рд╣реИрдВ, рдФрд░ рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ (nullable types) рдХрд╛ рдмреЗрд╣рддрд░ рдкреНрд░рдмрдВрдзрди рд╣реЛрддрд╛ рд╣реИ, рдЬреЛ рдкреБрд░рд╛рдиреЗ рдХреЗрд╡рд▓ NumPy рдЖрдзрд╛рд░рд┐рдд рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рд╕реЗ рдмреЗрд╣рддрд░ рд╣реИред
2. pandas DataFrame рдХреА рд╢реАрд░реНрд╖ 5 рдФрд░ рдЕрдВрддрд┐рдо 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдЬрд▓реНрджреА рд╕реЗ рдХреИрд╕реЗ рджреЗрдЦреЗрдВ?
pandas рдореЗрдВ head() рдореЗрдердб DataFrame рдХреА рдкрд╣рд▓реА 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджрд┐рдЦрд╛рддрд╛ рд╣реИ, рдФрд░ tail() рдореЗрдердб рдЕрдВрддрд┐рдо 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджрд┐рдЦрд╛рддрд╛ рд╣реИред
рд╢реАрд░реНрд╖ 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП: dataframe_name.head()
рдЕрдВрддрд┐рдо 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП: dataframe_name.tail()
3. DataFrame.shape рдореЗрдВ рдХреЛрд╖реНрдардХ рдХреНрдпреЛрдВ рдирд╣реАрдВ рд╣реЛрддреЗ?
pandas рдореЗрдВ shape рдПрдХ рдПрдЯреНрд░рд┐рдмреНрдпреВрдЯ рд╣реИ, рдореЗрдердб рдирд╣реАрдВред рдЗрд╕рд▓рд┐рдП рдЗрд╕реЗ рдмрд┐рдирд╛ рдХреЛрд╖реНрдардХреЛрдВ рдХреЗ рдПрдХреНрд╕реЗрд╕ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПред
DataFrame.shape рдПрдХ рдЯреНрдпреВрдкрд▓ рджреЗрддрд╛ рд╣реИ рдЬрд┐рд╕рдореЗрдВ DataFrame рдХреА рдкрдВрдХреНрддрд┐рдпреЛрдВ рдФрд░ рд╕реНрддрдВрднреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╣реЛрддреА рд╣реИред
4. Series рдФрд░ DataFrame рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ?
DataFrame: pandas DataFrame рд╕рд╛рд░рдгреА (рдЯреИрдмреНрдпреБрд▓рд░) рдкреНрд░рд╛рд░реВрдк рдореЗрдВ рд╣реЛрддрд╛ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ рдХрдИ рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдФрд░ рд╕реНрддрдВрдн рд╣реЛрддреЗ рд╣реИрдВ, рдФрд░ рдкреНрд░рддреНрдпреЗрдХ рд╕реНрддрдВрдн рдХрд╛ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдЕрд▓рдЧ рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
Series: Series рдПрдХ рдПрдХ-рдЖрдпрд╛рдореА рд▓реЗрдмрд▓рдпреБрдХреНрдд рдРрд░реЗ рд╣реИ рдЬреЛ рдХреЛрдИ рднреА рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддрд╛ рд╣реИ, рдкрд░ рдЗрд╕рдХреА рд╕рднреА рд╡реИрд▓реНрдпреВрдЬрд╝ рдХрд╛ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рд╕рдорд╛рди рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдПред Series рд╕рдВрд░рдЪрдирд╛ DataFrame рдХреЗ рдПрдХрд▓ рд╕реНрддрдВрдн рдЬреИрд╕реА рд╣реЛрддреА рд╣реИред
Series, DataFrame рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдХрдо рдореЗрдореЛрд░реА рд▓реЗрддреА рд╣реИред рдЗрд╕рд▓рд┐рдП рдХреБрдЫ рдбреЗрдЯрд╛ рдореИрдирд┐рдкреБрд▓реЗрд╢рди рдХрд╛рд░реНрдп рдЗрд╕ рдкрд░ рддреЗрдЬрд╝ рд╣реЛрддреЗ рд╣реИрдВред
рд╣рд╛рд▓рд╛рдБрдХрд┐, DataFrame рдмрдбрд╝реЗ рдФрд░ рдЬрдЯрд┐рд▓ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЛ рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддрд╛ рд╣реИ, рдЬрдмрдХрд┐ Series рдХреЗрд╡рд▓ рд╕рдорд░реВрдк (homogeneous) рдбреЗрдЯрд╛ рдХреЛ рд╕рдВрднрд╛рд▓рддреА рд╣реИред рдЗрд╕рд▓рд┐рдП DataFrame рдкрд░ рдХрд┐рдП рдЬрд╛ рд╕рдХрдиреЗ рд╡рд╛рд▓реЗ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд╛ рджрд╛рдпрд░рд╛ Series рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдХрд╣реАрдВ рдЕрдзрд┐рдХ рд╣реИред
5. pandas рдореЗрдВ index рдХреНрдпрд╛ рд╣реИ?
Index рдРрд╕реЗ рд▓реЗрдмрд▓реНрд╕ рдХрд╛ рдХреНрд░рдо рд╣реИ рдЬреЛ DataFrame рдХреА рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рдХрд░рддрд╛ рд╣реИред Index рдХрд┐рд╕реА рднреА рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдХрд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ (рдЬреИрд╕реЗ рдкреВрд░реНрдгрд╛рдВрдХ, рд╕реНрдЯреНрд░рд┐рдВрдЧ, рд╣реИрд╢, рдЖрджрд┐)ред
df.index DataFrame df рдХреЗ рдореМрдЬреВрджрд╛ рдкрдВрдХреНрддрд┐ рдЗрдВрдбреЗрдХреНрд╕ рдХреЛ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИред
рдордзреНрдпрдо-рд╕реНрддрд░ рдХреЗ Pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдпреЗ рдкреНрд░рд╢реНрди рдереЛрдбрд╝реЗ рдЕрдзрд┐рдХ рдЪреБрдиреМрддреАрдкреВрд░реНрдг рд╣реИрдВ, рдФрд░ рдРрд╕реЗ рд░реЛрд▓реНрд╕ рдореЗрдВ рдЗрдирдХреЗ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рдЬрд╝реНрдпрд╛рджрд╛ рд╣реИ рдЬрд╣рд╛рдБ pandas рдХрд╛ рдкреВрд░реНрд╡ рдЕрдиреБрднрд╡ рдЕрдкреЗрдХреНрд╖рд┐рдд рд╣реИред
6. pandas рдореЗрдВ multi-indexing рдХреНрдпрд╛ рд╣реИ?
pandas рдореЗрдВ index DataFrame рдХреА рд╣рд░ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рдХрд░рддрд╛ рд╣реИред рдЖрдорддреМрд░ рдкрд░, рд╣рдо рдРрд╕реЗ рд╕реНрддрдВрдн рдХреЛ рдЪреБрдирддреЗ рд╣реИрдВ рдЬреЛ рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рджреЗ рд╕рдХреЗ рдФрд░ рдЙрд╕реЗ index рдХреЗ рд░реВрдк рдореЗрдВ рд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВред рд▓реЗрдХрд┐рди рдЕрдЧрд░ рдЖрдкрдХреЗ рдкрд╛рд╕ рдХреЛрдИ рдПрдХрд▓ рд╕реНрддрдВрдн рди рд╣реЛ рдЬреЛ рдпрд╣ рдХрд░ рд╕рдХреЗ, рддреЛ?
рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЗ рдкрд╛рд╕ DataFrame рдореЗрдВ тАЬnameтАЭ, тАЬageтАЭ, тАЬaddressтАЭ рдФрд░ тАЬmarksтАЭ рдирд╛рдо рдХреЗ рд╕реНрддрдВрдн рд╣реИрдВред рдЗрди рдореЗрдВ рд╕реЗ рдХреЛрдИ рднреА рд╕реНрддрдВрдн рд╕рднреА рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдиреВрдареА рд╡реИрд▓реНрдпреВрдЬрд╝ рдирд╣реАрдВ рд░рдЦрддрд╛, рдЗрд╕рд▓рд┐рдП рд╡реЗ index рдХреЗ рд░реВрдк рдореЗрдВ рдЙрдкрдпреБрдХреНрдд рдирд╣реАрдВ рд╣реИрдВред
рд▓реЗрдХрд┐рди тАЬnameтАЭ рдФрд░ тАЬaddressтАЭ рд╕реНрддрдВрдн рдорд┐рд▓рдХрд░ DataFrame рдХреА рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЗрд╕рд▓рд┐рдП рдЖрдк рджреЛрдиреЛрдВ рд╕реНрддрдВрднреЛрдВ рдХреЛ index рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред рдЕрдм рдЖрдкрдХреЗ DataFrame рдореЗрдВ multi-index рдпрд╛ hierarchical index рд╣реИред
7. pandas рдореЗрдВ reindexing рд╕рдордЭрд╛рдПрдБред рдПрдХ рдЙрджрд╛рд╣рд░рдг рджреЗрдВред
Reindexing рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рд╕реА DataFrame рдХреЛ рдПрдХ рдирдП index рдХреЗ рдЕрдиреБрд░реВрдк рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рдкреНрд░рд╛рдпрдГ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдореЗрдВ рдорд┐рд╕рд┐рдВрдЧ рдЧреИрдкреНрд╕ рднрд░рдиреЗ рдпрд╛ рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рд░рд┐рдкреЛрд░реНрдЯ рдореЗрдВ рд╕рднреА рд╢реНрд░реЗрдгрд┐рдпрд╛рдБ рд╢рд╛рдорд┐рд▓ рд╣реЛрдВ, рднрд▓реЗ рд╣реА рдЙрдирдХреА рд╡реИрд▓реНрдпреВ рд╢реВрдиреНрдп рд╣реЛред
рдпрджрд┐ рдирдП index рдореЗрдВ рдРрд╕реЗ рд▓реЗрдмрд▓ рд╣реЛрдВ рдЬреЛ рдореВрд▓ DataFrame рдореЗрдВ рди рд╣реЛрдВ, рддреЛ pandas рдЙрди рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП NaN (рдпрд╛ рдирд┐рд░реНрджрд┐рд╖реНрдЯ fill value) рдЬреЛрдбрд╝рддрд╛ рд╣реИред
рдЙрджрд╛рд╣рд░рдг: ┬ардорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЗ рдкрд╛рд╕ Q1 рдФрд░ Q3 рдХреА рдмрд┐рдХреНрд░реА рдХрд╛ рдбреЗрдЯрд╛ рд╣реИ, рд▓реЗрдХрд┐рди Q2 рдФрд░ Q4 рдЧрд╛рдпрдм рд╣реИрдВ рдХреНрдпреЛрдВрдХрд┐ рдмрд┐рдХреНрд░реА рд╢реВрдиреНрдп рдереАред рдПрдХ рд╕рд╛рдзрд╛рд░рдг рдкреНрд▓реЙрдЯ рднреНрд░рд╛рдордХ рд▓рдЧреЗрдЧрд╛ред reindex() рдЧрд╛рдпрдм рдХреНрд╡рд╛рд░реНрдЯрд░реНрд╕ рдХреЛ DataFrame рдореЗрдВ рдЬреЛрдбрд╝рдХрд░ рдЗрд╕реЗ рджреБрд░реБрд╕реНрдд рдХрд░рддрд╛ рд╣реИред
import pandas as pd
data = { 'Quarter' : [ 'Q1' , 'Q3' ] , 'Sales' : [ 15000 , 18000 ] }
df = pd. read_json( pd. DataFrame( data) . to_json( ) )
df = df. set_index( 'Quarter' )
all_quarters = [ 'Q1' , 'Q2' , 'Q3' , 'Q4' ]
df_full = df. reindex( all_quarters, fill_value= 0 ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
8. loc рдФрд░ iloc рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ?
.loc() рдФрд░ .iloc() рджреЛрдиреЛрдВ рдореЗрдердбреНрд╕ pandas рдореЗрдВ DataFrame рдХреЗ рд╕рдмрд╕реЗрдЯреНрд╕ рдЪреБрдирдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рд╣реЛрддреЗ рд╣реИрдВред рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ, рдЗрдиреНрд╣реЗрдВ рд╢рд░реНрддреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ DataFrame рдХреЛ рдлрд╝рд┐рд▓реНрдЯрд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╡реНрдпрд╛рдкрдХ рд░реВрдк рд╕реЗ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рд╣рдореЗрдВ .loc() рдХрд╛ рдЙрдкрдпреЛрдЧ рдкрдВрдХреНрддрд┐рдпреЛрдВ рдФрд░ рд╕реНрддрдВрднреЛрдВ рдХреЗ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд▓реЗрдмрд▓реНрд╕ рд╕реЗ рдбреЗрдЯрд╛ рдЪреБрдирдиреЗ рдХреЗ рд▓рд┐рдП рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП, рдЬрдмрдХрд┐ .iloc() рдкрдВрдХреНрддрд┐рдпреЛрдВ рдФрд░ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдкреВрд░реНрдгрд╛рдВрдХ рдЗрдВрдбреЗрдХреНрд╕ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдбреЗрдЯрд╛ рдирд┐рдХрд╛рд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИред
9. pandas DataFrame рдмрдирд╛рдиреЗ рдХреЗ рджреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░реАрдХреЗ рдмрддрд╛рдЗрдП
рдбрд┐рдХреНрд╢рдирд░реА рд╕реЗ:
import pandas as pd
data = { 'Name' : [ 'John' , 'Cataline' , 'Matt' ] ,
'Age' : [ 50 , 45 , 30 ] ,
'City' : [ 'Austin' , 'San Francisco' , 'Boston' ] ,
'Marks' : [ 70 , 80 , 95 ] }
df = pd. DataFrame( data) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рд╕реВрдЪрд┐рдпреЛрдВ рдХреА рд╕реВрдЪреА рд╕реЗ:
import pandas as pd
data = [ [ 'John' , 25 , 'Austin' , 70 ] ,
[ 'Cataline' , 30 , 'San Francisco' , 80 ] ,
[ 'Matt' , 35 , 'Boston' , 90 ] ]
columns = [ 'Name' , 'Age' , 'City' , 'Marks' ]
df = pd. DataFrame( data, columns= columns) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
10. рдХрд┐рд╕реА DataFrame рдХреЗ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╕реНрддрдВрдн рдореЗрдВ рд╕рднреА рдпреВрдирд┐рдХ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреА рдЧрд┐рдирддреА рдХреИрд╕реЗ рдирд┐рдХрд╛рд▓реЗрдВрдЧреЗ?
Series.value_counts() рдлрд╝рдВрдХреНрд╢рди рдХрд┐рд╕реА рд╕реАрд░реАрдЬрд╝ рдпрд╛ рд╕реНрддрдВрдн рдХреА рдкреНрд░рддреНрдпреЗрдХ рдпреВрдирд┐рдХ рд╡реИрд▓реНрдпреВ рдХреА рдЧрд┐рдирддреА рджреЗрддрд╛ рд╣реИред
рдЙрджрд╛рд╣рд░рдг:
рд╣рдордиреЗ рдПрдХ DataFrame df рдмрдирд╛рдпрд╛ рд╣реИ рдЬрд┐рд╕рдореЗрдВ Sex рдирд╛рдо рдХрд╛ рдПрдХ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╕реНрддрдВрдн рд╣реИ, рдФрд░ рдЙрд╕ рд╕реНрддрдВрдн рдореЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдпреВрдирд┐рдХ рд╡реИрд▓реНрдпреВ рдХреА рдЧрд┐рдирддреА рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП .value_counts() рдлрд╝рдВрдХреНрд╢рди рдЪрд▓рд╛рдпрд╛ рд╣реИред
import pandas as pd
data = [ [ 'John' , 50 , 'Male' , 'Austin' , 70 ] ,
[ 'Cataline' , 45 , 'Female' , 'San Francisco' , 80 ] ,
[ 'Matt' , 30 , 'Male' , 'Boston' , 95 ] ]
columns = [ 'Name' , 'Age' , 'Sex' , 'City' , 'Marks' ]
df = pd. DataFrame( data, columns= columns)
df[ 'Sex' ] . value_counts( ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрджрд┐ рдЖрдк рдХреЗрд╡рд▓ рдХрдЪреНрдЪреА рдЧрд┐рдирддреА рдХреЗ рдмрдЬрд╛рдп рдкреНрд░рддрд┐рд╢рдд рд╡рд┐рддрд░рдг рджреЗрдЦрдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ normalize=True рдЖрд░реНрдЧреНрдпреБрдореЗрдВрдЯ рдХреЛ .value_counts() рдореЗрдВ рдкрд╛рд╕ рдХрд░реЗрдВред
11. category рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдХреНрдпрд╛ рд╣реИ, рдФрд░ рдЗрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреНрдпреЛрдВ рдХрд░реЗрдВ?
category рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдЙрди рд╕реНрддрдВрднреЛрдВ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИ рдЬрд┐рдирдореЗрдВ рдпреВрдирд┐рдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╕реАрдорд┐рдд рд╣реЛрддреА рд╣реИ (low cardinality)ред рдпрд╣ рдмрд╣реБрдд рд╕рд╛рд░реА рдореЗрдореЛрд░реА рдмрдЪрд╛рддрд╛ рд╣реИ рдФрд░ рд╕реЙрд░реНрдЯрд┐рдВрдЧ рддрдерд╛ рдЧреНрд░реБрдкрд┐рдВрдЧ рдЬреИрд╕реЗ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХреЛ рддреЗрдЬрд╝ рдХрд░рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ Pandas рд╕реНрдЯреНрд░рд┐рдВрдЧреНрд╕ рдХреЛ рдПрдХ рдмрд╛рд░ рд▓реБрдХрдЕрдк рдЯреЗрдмрд▓ рдореЗрдВ рд╕реНрдЯреЛрд░ рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдбреЗрдЯрд╛ рд╕реНрддрдВрдн рдХреЗ рд▓рд┐рдП рд╣рд▓реНрдХреЗ рдЗрдВрдЯреАрдЬрд░ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рддрд╛ рд╣реИред
рдЕрдиреБрднрд╡реА рдкреЗрд╢реЗрд╡рд░реЛрдВ рдХреЗ рд▓рд┐рдП Pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЬреЛ рдЙрдореНрдореАрджрд╡рд╛рд░ рдкрд╣рд▓реЗ рд╕реЗ pandas рдореЗрдВ рдордЬрдмреВрдд рдкреГрд╖реНрдарднреВрдорд┐ рд░рдЦрддреЗ рд╣реИрдВ рдФрд░ рд╡рд░рд┐рд╖реНрда рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рдЙрдиреНрд╣реЗрдВ рдЗрдирдореЗрдВ рд╕реЗ рдХреБрдЫ рдкреНрд░рд╢реНрди рдорд┐рд▓ рд╕рдХрддреЗ рд╣реИрдВ:
12. pandas рдореЗрдВ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдХреИрд╕реЗ рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝ рдХрд░реЗрдВрдЧреЗ?
PyArrow рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ: рдбреЗрдЯрд╛ рдХреЛ engine="pyarrow" рдФрд░ dtype_backend="pyarrow" рдХреЗ рд╕рд╛рде рд▓реЛрдб рдХрд░реЗрдВред рдпрд╣ рдорд╛рдирдХ NumPy рдЯрд╛рдЗрдкреНрд╕ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рддреЗрдЬрд╝ рдФрд░ рдЕрдзрд┐рдХ рдореЗрдореЛрд░реА-рдХреБрд╢рд▓ рд╣реИред
рд▓реВрдкреНрд╕ рдХреА рдЬрдЧрд╣ рд╡реЗрдХреНрдЯрд░рд╛рдЗрдЬрд╝реЗрд╢рди: рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдкрд░ рд▓реВрдкреНрд╕ рдФрд░ рдЗрдЯрд░реЗрд╢рди рдорд╣рдБрдЧреЗ рд╕рд╛рдмрд┐рдд рд╣реЛрддреЗ рд╣реИрдВред рдЗрд╕рдХреЗ рдмрдЬрд╛рдп рд╡реЗрдХреНрдЯрд░рд╛рдЗрдЬрд╝реНрдб рдСрдкрд░реЗрд╢рдиреНрд╕ рдЕрдкрдирд╛рдПрдБ, рдХреНрдпреЛрдВрдХрд┐ рд╡реЗ рдкреВрд░реЗ рд╕реНрддрдВрдн рдкрд░ рдПрдХ рд╕рд╛рде рд▓рд╛рдЧреВ рд╣реЛрддреЗ рд╣реИрдВ рдФрд░ рд░реЛ-рд╡рд╛рдЗрдЬрд╝ рдЗрдЯрд░реЗрд╢рди рд╕реЗ рддреЗрдЬрд╝ рд╣реЛрддреЗ рд╣реИрдВред
рд╕рд┐рд░реНрдл рд╡рд╣реА рд▓реЛрдб рдХрд░реЗрдВ рдЬрд┐рд╕рдХреА рдЬрд╝рд░реВрд░рдд рд╣реИ: рдбреЗрдЯрд╛ рд▓реЛрдб рдХреЛ рд╕реАрдорд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП usecols рдкреИрд░рд╛рдореАрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ read_csv() рдпрд╛ read_parquet() рдореЗрдВ рдХрд░реЗрдВред
рдореЗрдореЛрд░реА-рдХреБрд╢рд▓ рдЯрд╛рдЗрдкреНрд╕: pandas рдХреЗ рдбрд┐рдлреЙрд▓реНрдЯ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдореЗрдореЛрд░реА-рдХреБрд╢рд▓ рдирд╣реАрдВ рд╣реЛрддреЗред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдкреВрд░реНрдгрд╛рдВрдХреЛрдВ рдХрд╛ рдбрд┐рдлреЙрд▓реНрдЯ int64 рд╣реИ, рдкрд░ рдпрджрд┐ рдЖрдкрдХреА рд╡реИрд▓реНрдпреВрдЬрд╝ int32 рдореЗрдВ рдлрд┐рдЯ рд╣реЛ рд╕рдХрддреА рд╣реИрдВ, рддреЛ рдЯрд╛рдЗрдк рдХреЛ int32 рдХрд░рдиреЗ рд╕реЗ рдореЗрдореЛрд░реА рдЦрдкрдд рдШрдЯреЗрдЧреАред рдХрдо рдХрд╛рд░реНрдбрд┐рдиреИрд▓рд┐рдЯреА рд╡рд╛рд▓реА рд╕реНрдЯреНрд░рд┐рдВрдЧреНрд╕ рдХреЛ category рдЯрд╛рдЗрдк рдореЗрдВ рдмрджрд▓рдирд╛ рднреА рдЙрдкрдпреЛрдЧреА рд╣реИред
рдбреЗрдЯрд╛ рдПрдЧреНрд░реАрдЧреЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ: рдбреЗрдЯрд╛ рдХреЛ рдПрдЧреНрд░реАрдЧреЗрдЯ рдХрд░рдХреЗ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд░реЗрдВ, рдХреНрдпреЛрдВрдХрд┐ рдПрдЧреНрд░реАрдЧреЗрдЯреЗрдб рдбреЗрдЯрд╛ рдкрд░ рдСрдкрд░реЗрд╢рдиреНрд╕ рдкреВрд░реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯ рдкрд░ рдСрдкрд░реЗрдЯ рдХрд░рдиреЗ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдЕрдзрд┐рдХ рдХреБрд╢рд▓ рд╣реЛрддреЗ рд╣реИрдВред
рдкреИрд░рд▓реЗрд▓ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ:┬а рдореВрд▓ pandas рд╕рд┐рдВрдЧрд▓-рдереНрд░реЗрдбреЗрдб рд╣реИред рдПрдХ рд╣реА рдорд╢реАрди рдкрд░ рдкреИрд░реЗрд▓рд▓рд┐рдЬрд╝реНрдо рдХреЗ рд▓рд┐рдП, рдкрд╕рдВрджреАрджрд╛ рд╕рдорд╛рдзрд╛рди Polars (рдЬреЛ рдбрд┐рдлреЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдорд▓реНрдЯреА-рдереНрд░реЗрдбреЗрдб рд╣реИ) рдпрд╛ Modin рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╣реИрдВ рдЬреЛ pandas рдХрд╛ рдбреНрд░реЙрдк-рдЗрди рдкреИрд░рд▓рд▓ рд░рд┐рдкреНрд▓реЗрд╕рдореЗрдВрдЯ рджреЗрддреА рд╣реИрдВред
13. pandas рдореЗрдВ .join() рдФрд░ .merge() рдореЗрдердбреНрд╕ рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ?
Join: рджреЛ DataFrames рдХреЛ рдЙрдирдХреЗ index рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдЬреЛрдбрд╝рддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдБрдХрд┐, рдПрдХ рд╡реИрдХрд▓реНрдкрд┐рдХ рдЖрд░реНрдЧреНрдпреБрдореЗрдВрдЯ on рднреА рд╣реИ рдЬрд┐рд╕рд╕реЗ рдЖрдк рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рд╕реНрддрдВрднреЛрдВ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдЬреЙрдЗрди рдХрд░рд╛ рд╕рдХрддреЗ рд╣реИрдВред рдбрд┐рдлреЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдпрд╣ рд▓реЗрдлреНрдЯ рдЬреЙрдЗрди рдХрд░рддрд╛ рд╣реИред рд╕рд┐рдиреНрдЯреИрдХреНрд╕: df1.join(df2).
Merge: merge() рдЕрдзрд┐рдХ рдмрд╣реБрдореБрдЦреА рд╣реИ рдФрд░ рдЖрдкрдХреЛ рдпрд╣ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ рдХрд┐ рдХрд┐рди рд╕реНрддрдВрднреЛрдВ рдкрд░ DataFrames рдХреЛ рдЬреЛрдбрд╝рд╛ рдЬрд╛рдПред рдпрд╣ рдбрд┐рдлреЙрд▓реНрдЯ рд░реВрдк рд╕реЗ inner join рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди left, right, outer, inner рдФрд░ cross рдЬреИрд╕реЗ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдЬреЙрдЗрди рдкреНрд░рдХрд╛рд░реЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд╕реНрдЯрдорд╛рдЗрдЬрд╝ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рд┐рдиреНрдЯреИрдХреНрд╕: pd.merge(df1, df2, on=тАЭcolumn_namesтАЭ).
14. Timedelta рдХреНрдпрд╛ рд╣реИ?
Timedelta рдЕрд╡рдзрд┐ (duration) рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИ, рдпрд╛рдиреА рджреЛ рддрд╛рд░реАрдЦреЛрдВ рдпрд╛ рд╕рдордпреЛрдВ рдХреЗ рдмреАрдЪ рдХрд╛ рдЕрдВрддрд░, рдЬрд┐рд╕реЗ рджрд┐рдиреЛрдВ, рдШрдВрдЯреЛрдВ, рдорд┐рдирдЯреЛрдВ рдФрд░ рд╕реЗрдХрдВрдбреЛрдВ рдореЗрдВ рдорд╛рдкрд╛ рдЬрд╛рддрд╛ рд╣реИред
15. .append() рдореЗрдердб рд╣рдЯрд╛ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдЕрдм DataFrames рдХреЛ рдХреИрд╕реЗ рд╕рдВрдпреЛрдЬрд┐рдд рдХрд░реЗрдВрдЧреЗ?
рдпрджрд┐ рдЖрдк рдЖрдзреБрдирд┐рдХ Pandas (рд╕рдВрд╕реНрдХрд░рдг 2.0 рдпрд╛ рдмрд╛рдж рдХрд╛) рдореЗрдВ .append() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдпрд╣ рддреНрд░реБрдЯрд┐ рджреЗрдЧрд╛ рдХреНрдпреЛрдВрдХрд┐ рдЕрдзрд┐рдХ рдХреБрд╢рд▓ рдХреЛрдбрд┐рдВрдЧ рдЕрднреНрдпрд╛рд╕реЛрдВ рдХреЛ рдмрдврд╝рд╛рд╡рд╛ рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП рдЗрд╕ рдореЗрдердб рдХреЛ рд╣рдЯрд╛ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
рдЗрд╕рдХреЗ рдмрдЬрд╛рдп, рдЖрдкрдХреЛ рдЕрдкрдиреЗ рд╕рднреА dataframes рдпрд╛ rows рдХреЛ рдПрдХ рд╕реВрдЪреА рдореЗрдВ рдПрдХрддреНрд░ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП, рдФрд░ рдлрд┐рд░ рдПрдХ рдмрд╛рд░ pd.concat() рдХреЙрд▓ рдХрд░реЗрдВ:
new_df = pd. concat( [ df1, df2] , ignore_index= True ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
16. рдЖрдкрдХреЛ pandas рдХреА рдЬрдЧрд╣ Polars рдХрдм рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП?
рдЖрдкрдХреЛ Polars (Rust-рдЖрдзрд╛рд░рд┐рдд DataFrame рд▓рд╛рдЗрдмреНрд░реЗрд░реА) рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП рдЬрдм:
рдбреЗрдЯрд╛рд╕реЗрдЯ рдЙрдкрд▓рдмреНрдз RAM рд╕реЗ рдХрд╛рдлреА рдмрдбрд╝рд╛ рд╣реЛ: Polars рдореЗрдВ lazy evaluation/streaming рд╣реИред
рдЖрдкрдХреЛ рдорд▓реНрдЯреА-рдереНрд░реЗрдбреЗрдб рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдЪрд╛рд╣рд┐рдП: pandas рдСрдкрд░реЗрд╢рдиреНрд╕ рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рд╕рд┐рдВрдЧрд▓-рдереНрд░реЗрдбреЗрдб рд╣реИрдВред
рд╣рд░ рдорд┐рд▓реАрд╕реЗрдХрдВрдб рдорд╛рдпрдиреЗ рд░рдЦрддрд╛ рд╣реЛ: рдЖрдк рдПрдХ рд╣рд╛рдИ-рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдмрдирд╛ рд░рд╣реЗ рд╣реЛрдВред
Pandas рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЯреЗрдХ рдЗрдВрдЯрд░рд╡реНрдпреВ рдореЗрдВ рд╕рдлрд▓ рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдХреМрд╢рд▓ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдЬреНрдЮрд╛рди рдЬрд┐рддрдиреЗ рд╣реА рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИрдВред рдЗрд╕рд▓рд┐рдП рдпрд╣рд╛рдБ рдХреБрдЫ pandas рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рджрд┐рдП рдЧрдП рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдЗрдВрдЯрд░рд╡реНрдпреВ рд╕реЗ рдкрд╣рд▓реЗ рдЬрд╛рдирдирд╛ рдЬрд╝рд░реВрд░реА рд╣реИред
17. pandas рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Excel рдлрд╝рд╛рдЗрд▓реЛрдВ рдХреЛ CSV рдореЗрдВ рдХреИрд╕реЗ рдкрдврд╝реЗрдВрдЧреЗ/рдмрджрд▓реЗрдВрдЧреЗ?
рдкрд╣рд▓реЗ, рд╣рдореЗрдВ .read_excel() рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Excel рдбреЗрдЯрд╛ рдХреЛ рдПрдХ рд╡реЗрд░рд┐рдПрдмрд▓ рдореЗрдВ рд▓рд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред рдлрд┐рд░, рдирд┐рд░реНрдмрд╛рдз рд░реВрдкрд╛рдВрддрд░рдг рдХреЗ рд▓рд┐рдП .to_csv() рдлрд╝рдВрдХреНрд╢рди рд▓рд╛рдЧреВ рдХрд░реЗрдВред
рдпрд╣рд╛рдБ рдирдореВрдирд╛ рдХреЛрдб рд╣реИ:
import pandas as pd
excel_data = pd. read_excel( "/content/sample_data/california_housing_test.xlsx" )
excel_data. to_csv( "CSV_data.csv" , index = None , header= True ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдзреНрдпрд╛рди рджреЗрдВ: рдЖрдзреБрдирд┐рдХ рдЗрдВрдЯрд░рд╡реНрдпреВ рдореЗрдВ рдпрд╣ рдмрддрд╛рдирд╛ рдЕрдЪреНрдЫрд╛ рд╣реИ рдХрд┐ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рддреЗ рд╕рдордп parquet рдлреЙрд░реНрдореЗрдЯ рдореЗрдВ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдХреЛ рд╕реБрд░рдХреНрд╖рд┐рдд рд░рдЦрдирд╛ (рдпрд╛рдиреА .to_parquet() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛, .to_csv() рдХреА рдЬрдЧрд╣) рдЕрдХреНрд╕рд░ рдмреЗрд╣рддрд░ рд╣реЛрддрд╛ рд╣реИред
18. рдХрд┐рд╕реА DataFrame рдХреЛ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдХреИрд╕реЗ sort рдХрд░реЗрдВрдЧреЗ?
рд╣рдо .sort_values() рдореЗрдердб рдХреЛ рдХреЙрд▓ рдХрд░рдХреЗ DataFrame рдХреЛ рдХрд┐рд╕реА рдПрдХ рдпрд╛ рдПрдХрд╛рдзрд┐рдХ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ sort рдХрд░рддреЗ рд╣реИрдВред
рд╕рд┐рдиреНрдЯреИрдХреНрд╕ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИ: df.sort_values(by=[тАЬcolumn_namesтАЭ]), рдЬреИрд╕рд╛ рдХрд┐ рдирд┐рдореНрди рдЙрджрд╛рд╣рд░рдг рджрд┐рдЦрд╛рддрд╛ рд╣реИ:
import pandas as pd
data = [ [ 'John' , 50 , 'Male' , 'Austin' , 70 ] ,
[ 'Cataline' , 45 , 'Female' , 'San Francisco' , 80 ] ,
[ 'Matt' , 30 , 'Male' , 'Boston' , 95 ] ,
[ 'Oliver' , 35 , 'Male' , 'New york' , 65 ] ]
columns = [ 'Name' , 'Age' , 'Sex' , 'City' , 'Marks' ]
df = pd. DataFrame( data, columns= columns)
df. sort_values( by= [ 'Age' ] )
df. head( ) `рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
19. рдбреЗрдЯрд╛ рдХреЛ рдлрд╝рд┐рд▓реНрдЯрд░ рдХрд░рдиреЗ рдХреЗ рджреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░реАрдХреЗ рджрд┐рдЦрд╛рдЗрдП
рдЖрдЗрдП рдирд┐рдореНрди DataFrame рдХреЛ рдлрд╝рд┐рд▓реНрдЯрд░ рдХрд░рдирд╛ рджрд┐рдЦрд╛рддреЗ рд╣реИрдВ:
import pandas as pd
data = { 'Name' : [ 'John' , 'Cataline' , 'Matt' ] ,
'Age' : [ 50 , 45 , 30 ] ,
'City' : [ 'Austin' , 'San Francisco' , 'Boston' ] ,
'Marks' : [ 70 , 80 , 95 ] }
df = pd. DataFrame( data) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рд╡рд┐рдзрд┐ 1: рдмреВрд▓рд┐рдпрди рдЗрдВрдбреЗрдХреНрд╕рд┐рдВрдЧ
new_df = df[ ( df. Name == "John" ) | ( df. Marks > 90 ) ]
print ( new_df) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рд╡рд┐рдзрд┐ 2: .query() рдореЗрдердб рдХрд╛ рдЙрдкрдпреЛрдЧ
df. query( 'Name == "John" or Marks > 90' )
print ( new_df) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
20. рдЖрдк рдбреЗрдЯрд╛ рдХреЛ рдХреИрд╕реЗ рдПрдЧреНрд░реАрдЧреЗрдЯ рдХрд░реЗрдВрдЧреЗ (рдЬреИрд╕реЗ mean рдпрд╛ sum)?
.groupby() рдлрд╝рдВрдХреНрд╢рди рдЖрдкрдХреЛ рдХреБрдЫ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдбреЗрдЯрд╛ рдХреЛ рд╕рдореВрд╣рд┐рдд рдХрд░рдиреЗ рдФрд░ рд╕рдореВрд╣рд┐рдд рдбреЗрдЯрд╛ рдкрд░ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИред рдмреЗрд╣рддрд░ рд╕реНрдкрд╖реНрдЯрддрд╛ рдХреЗ рд▓рд┐рдП рдЗрд╕реЗ .agg() рдХреЗ рд╕рд╛рде рдорд┐рд▓рд╛рдПрдБред
рдирд┐рдореНрди рдХреЛрдб рдореЗрдВ, рдбреЗрдЯрд╛ рдХреЛ Name рд╕реНрддрдВрдн рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рд╕рдореВрд╣рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ, рдФрд░ рдкреНрд░рддреНрдпреЗрдХ рд╕рдореВрд╣ рдХреЗ Grades рдХрд╛ рдФрд╕рдд рдирд┐рдХрд╛рд▓рд╛ рдЧрдпрд╛ рд╣реИ:
import pandas as pd
data = {
'Name' : [ 'John' , 'Matt' , 'John' , 'Matt' , 'Matt' , 'Matt' ] ,
'Grades' : [ 10 , 20 , 30 , 15 , 25 , 18 ]
}
df = pd. DataFrame( data)
print ( df. groupby( 'Name' ) . agg(
avg_grade= ( 'Grades' , 'mean' ) ,
) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
21. рдореМрдЬреВрджрд╛ рд╕реНрддрдВрднреЛрдВ рд╕реЗ рдирдпрд╛ рд╕реНрддрдВрдн рдХреИрд╕реЗ рдмрдирд╛рдПрдБ?
рдореМрдЬреВрджрд╛ рд╕реНрддрдВрднреЛрдВ рд╕реЗ рдирдП рд╕реНрддрдВрдн рдмрдирд╛рдиреЗ рдХреЗ рджреЛ рддрд░реАрдХреЗ рд╣реИрдВ:
рдкреНрд░рддреНрдпрдХреНрд╖ рдЕрд╕рд╛рдЗрдирдореЗрдВрдЯ: рдирдП рдирд╛рдо рд╡рд╛рд▓реЗ рд╕реНрддрдВрдн рдХреЛ рдореМрдЬреВрджрд╛ рд╕реНрддрдВрдн(рд╕реНрддрдВрднреЛрдВ) рдХреЗ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдореЗрд╢рди рдХреЗ рдмрд░рд╛рдмрд░ рдЕрд╕рд╛рдЗрди рдХрд░рдирд╛: df['Total'] = df['Math'] + df['Science']
рдореЗрдердб рдЪреЗрдирд┐рдВрдЧ: .assign() рдХреЗ рд╕рд╛рде lambda рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ: df = df.assign(Total=lambda x: x['Math' ] + x['Science' ])
рдЖрдЬрдХрд▓ рдореЗрдердб рдЪреЗрдирд┐рдВрдЧ рдХреЛ рдкреНрд░рд╛рдердорд┐рдХрддрд╛ рджреА рдЬрд╛рддреА рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдЗрдВрдЯрд░рдореАрдбрд┐рдПрдЯ рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдЦрддреНрдо рдХрд░рдХреЗ рдХреЛрдб рдХреА рдкрдардиреАрдпрддрд╛ рдмрдврд╝рд╛рддреА рд╣реИред рдЕрдкрдиреА рдкреВрд░реА рдбреЗрдЯрд╛ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдореЗрд╢рди рд▓реЙрдЬрд┐рдХ рдХреЛ рдПрдХ рд╣реА рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдореЗрдВ рд░рдЦрдиреЗ рд╕реЗ рдмрдЧреНрд╕ рдХрд╛рдлреА рдХрдо рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВ, рдХреНрдпреЛрдВрдХрд┐ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рджреМрд░рд╛рди рдкреБрд░рд╛рдиреЗ рдпрд╛ рдЧрд▓рдд рд╕рдВрд╕реНрдХрд░рдг рдХреЗ DataFrame рдХреЛ рдЧрд▓рддреА рд╕реЗ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рдиреЗ рдХрд╛ рдЬреЛрдЦрд┐рдо рдирд╣реАрдВ рд░рд╣рддрд╛ред
рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯреНрд╕ рдХреЗ рд▓рд┐рдП Pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЕрдм рдЬрдм рд╣рдордиреЗ pandas рдХреЗ рд╕рд╛рдорд╛рдиреНрдп рдФрд░ рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рдХрд╡рд░ рдХрд░ рд▓рд┐рдП рд╣реИрдВ, рддреЛ pandas рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрдиреЛрдВ рдкрд░ рдирдЬрд╝рд░ рдбрд╛рд▓рддреЗ рд╣реИрдВред
22. pandas рдореЗрдВ null рдпрд╛ missing рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдХреИрд╕реЗ рд╕рдВрднрд╛рд▓реЗрдВрдЧреЗ?
рдЖрдк pandas рдореЗрдВ рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдирд┐рдореНрди рддреАрди рддрд░реАрдХреЛрдВ рдореЗрдВ рд╕реЗ рдХрд┐рд╕реА рд╕реЗ рднреА рд╕рдВрднрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ:
dropna() : DataFrame рд╕реЗ рдорд┐рд╕рд┐рдВрдЧ рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдпрд╛ рд╕реНрддрдВрдн рд╣рдЯрд╛рддрд╛ рд╣реИред
fillna() : рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдХрд┐рд╕реА рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╡реИрд▓реНрдпреВ рд╕реЗ рднрд░рддрд╛ рд╣реИред
interpolate() : рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдЧрдгрдирд╛ рдХреА рдЧрдИ рдЗрдВрдЯрд░рдкреЛрд▓реЗрдЯреЗрдб рд╡реИрд▓реНрдпреВрдЬрд╝ рд╕реЗ рднрд░рддрд╛ рд╣реИред
PyArrow рдмреИрдХрдПрдВрдб рдХреЗ рд╕рд╛рде, рдЕрдм integers NA рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ float рдореЗрдВ рдХрд╛рд╕реНрдЯ рдХрд┐рдП рдмрд┐рдирд╛ рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдореЗрдВ рдбреЗрдЯрд╛ рдХреА рд╢реБрджреНрдзрддрд╛ рдмрдиреА рд░рд╣рддреА рд╣реИред
23. fillna() рдФрд░ interpolate() рдореЗрдердбреНрд╕ рдореЗрдВ рдЕрдВрддрд░
fillna() : рд╕реНрдерд┐рд░ рд╡реИрд▓реНрдпреВ (рдЬреИрд╕реЗ 0 рдпрд╛ "Unknown") рд╕реЗ рднрд░рддрд╛ рд╣реИред .fillna() рдореЗрдВ method='ffill' рддрд░реНрдХ рджреЗрдХрд░ forward filling рдХрд░рдирд╛ рдЕрдм рдЕрдкреНрд░рдЪрд▓рд┐рдд (deprecated) рд╣реИ; рдЗрд╕рдХреЗ рдмрдЬрд╛рдп рд╕реАрдзреЗ .ffill() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВред
interpolate() : рдмрд┐рдВрджреБрдУрдВ рдХреЗ рдмреАрдЪ рдЧрдгрд┐рддреАрдп рдЕрдиреБрдорд╛рди (linear, polynomial, spline) рд╕реЗ рднрд░рддрд╛ рд╣реИред рдпрд╣ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдЬрд╣рд╛рдБ рдЖрдк "рдмрд┐рдВрджреБрдУрдВ рдХреЛ рдЬреЛрдбрд╝рдирд╛" рдЪрд╛рд╣рддреЗ рд╣реИрдВред
24. Resampling рдХреНрдпрд╛ рд╣реИ?
Resampling рдХрд╛ рдЙрдкрдпреЛрдЧ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдХреА рд░рд┐рдкреЛрд░реНрдЯрд┐рдВрдЧ рдЖрд╡реГрддреНрддрд┐ рдмрджрд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЗ рдкрд╛рд╕ рдорд╛рд╕рд┐рдХ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рд╣реИ рдФрд░ рдЖрдк рдЙрд╕реЗ рд╕рд╛рдкреНрддрд╛рд╣рд┐рдХ рдпрд╛ рд╡рд╛рд░реНрд╖рд┐рдХ рдбреЗрдЯрд╛ рдореЗрдВ рдмрджрд▓рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ; рдРрд╕реЗ рдореЗрдВ resampling рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИред
рдорд╛рд╕рд┐рдХ рдбреЗрдЯрд╛ рдХреЛ рд╕рд╛рдкреНрддрд╛рд╣рд┐рдХ рдпрд╛ рджреИрдирд┐рдХ рдореЗрдВ рдмрджрд▓рдирд╛ рдореВрд▓рддрдГ upsampling рд╣реИред рдпрд╣рд╛рдБ рдЖрд╡реГрддреНрддрд┐ рдмрдврд╝рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЗрдВрдЯрд░рдкреЛрд▓реЗрд╢рди рддрдХрдиреАрдХреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИред
рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, рдорд╛рд╕рд┐рдХ рд╕реЗ рд╡рд╛рд░реНрд╖рд┐рдХ рдореЗрдВ рдмрджрд▓рдирд╛ downsampling рдХрд╣рд▓рд╛рддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдбреЗрдЯрд╛ рдПрдЧреНрд░реАрдЧреЗрд╢рди рддрдХрдиреАрдХреЗрдВ рд▓рд╛рдЧреВ рдХреА рдЬрд╛рддреА рд╣реИрдВред
25. pandas рдореЗрдВ one-hot encoding рдХреИрд╕реЗ рдХрд░реЗрдВрдЧреЗ?
рд╣рдо one-hot encoding рдХрд╛ рдЙрдкрдпреЛрдЧ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд╡реИрд▓реНрдпреВрдЬрд╝ рдореЗрдВ рдмрджрд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд░рддреЗ рд╣реИрдВ рддрд╛рдХрд┐ рдЙрдиреНрд╣реЗрдВ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдПрд▓реНрдЧреЛрд░рд┐рджреНрдо рдореЗрдВ рдлреАрдб рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред
import pandas as pd
data = { 'Name' : [ 'John' , 'Cateline' , 'Matt' , 'Oliver' ] ,
'ID' : [ 1 , 22 , 23 , 36 ] ,
'Category' : [ 'A' , 'B' , 'A' , 'B' ] }
df = pd. DataFrame( data)
new_df = pd. get_dummies( df, columns= [ 'Category' ] )
new_df. head( ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдкреНрд░реЛрдбрдХреНрд╢рди рдореЗрдВ, рд╕реНрдХреАрдорд╛ рдХреЛ рд╕реБрд░рдХреНрд╖рд┐рдд рд░рдЦрдиреЗ рдХреЗ рдХрд╛рд░рдг Scikit-learn рдХрд╛ OneHotEncoder рдмреЗрд╣рддрд░ рд╡рд┐рдХрд▓реНрдк рд╣реИред
26. pandas рдореЗрдВ line plot рдХреИрд╕реЗ рдмрдирд╛рдПрдБ?
Line plot рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо pandas рдореЗрдВ plot рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред
import pandas as pd
data = { 'units' : [ 1 , 2 , 3 , 4 , 5 ] ,
'price' : [ 7 , 12 , 8 , 13 , 16 ] }
df = pd. DataFrame( data)
df. plot( kind= 'line' , x= 'units' , y= 'price' ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдзреНрдпрд╛рди рджреЗрдВ: рдЖрдк рдЗрдВрдЯрд░реИрдХреНрдЯрд┐рд╡ рдЪрд╛рд░реНрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдмреИрдХрдПрдВрдб рдХреЛ Plotly рдореЗрдВ рдмрджрд▓ рд╕рдХрддреЗ рд╣реИрдВ: pd.options.plotting.backend = "plotly".
27. рдХрд┐рд╕реА DataFrame рдХреЗ рд╕рднреА рд╕реНрддрдВрднреЛрдВ рдХрд╛ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╕рд╛рд░рд╛рдВрд╢ рдкрд╛рдиреЗ рдХрд╛ pandas рдореЗрдердб рдХреНрдпрд╛ рд╣реИ?
df.describe() рдкреНрд░рддреНрдпреЗрдХ рд╕реНрддрдВрдн рдХреЗ mean, percentile рдорд╛рди, min, max рдЖрджрд┐ рдЬреИрд╕реЗ рдЖрдБрдХрдбрд╝реЗ рд▓реМрдЯрд╛рддрд╛ рд╣реИред
28. rolling mean рдХреНрдпрд╛ рд╣реИ?
rolling mean рдХреЛ moving average рднреА рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣рд╛рдБ рд╡рд┐рдЪрд╛рд░ рдпрд╣ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рдирд┐рд░реНрджрд┐рд╖реНрдЯ рд╡рд┐рдВрдбреЛ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдмрд┐рдВрджреБрдУрдВ рдХрд╛ mean рдирд┐рдХрд╛рд▓реЗрдВ рдФрд░ рдЙрд╕ рд╡рд┐рдВрдбреЛ рдХреЛ рдкреВрд░реЗ рдбреЗрдЯрд╛ рдкрд░ рд╕реНрд▓рд╛рдЗрдб рдХрд░реЗрдВред рдЗрд╕рд╕реЗ рдЙрддрд╛рд░-рдЪрдврд╝рд╛рд╡ рдХрдо рд╣реЛрддреЗ рд╣реИрдВ рдФрд░ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдореЗрдВ рджреАрд░реНрдШрдХрд╛рд▓рд┐рдХ рд░реБрдЭрд╛рди рдЙрднрд░рдХрд░ рдЖрддреЗ рд╣реИрдВред
рд╕рд┐рдиреНрдЯреИрдХреНрд╕ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИ: df['column_name'].rolling(window=n).mean()
29. SettingWithCopyWarning рдХреНрдпрд╛ рд╣реИ, рдФрд░ рдЗрд╕реЗ рдХреИрд╕реЗ рдареАрдХ рдХрд░реЗрдВ?
рдпрд╣ рдЪреЗрддрд╛рд╡рдиреА рддрдм рдЖрддреА рдереА рдЬрдм pandas рдХреЛ рд╕реНрдкрд╖реНрдЯ рдирд╣реАрдВ рд╣реЛрддрд╛ рдерд╛ рдХрд┐ рдЖрдк view рдореЗрдВ рдмрджрд▓рд╛рд╡ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдпрд╛ copy рдореЗрдВред рдЖрдзреБрдирд┐рдХ pandas (3.0+ рд╕рдВрджрд░реНрдн) рдореЗрдВ Copy-on-Write (CoW) рдорд╛рдирдХ рд╣реИред CoW views рдФрд░ copies рдХреЛ рд╕рдЦреНрддреА рд╕реЗ рдЕрд▓рдЧ рдХрд░рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдХрд┐рд╕реА subset рдХреЛ рд╕рдВрд╢реЛрдзрд┐рдд рдХрд░рдиреЗ рдкрд░ рдореВрд▓ рдлрд╝реНрд░реЗрдо рддрдм рддрдХ рдЪреБрдкрдЪрд╛рдк рдирд╣реАрдВ рдмрджрд▓рддрд╛ рдЬрдм рддрдХ рдЖрдк рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рди рдЪрд╛рд╣реЗрдВред рдЗрд╕рд╕реЗ рдЗрд╕ рдЪреЗрддрд╛рд╡рдиреА рдХрд╛ рдХрд╛рд░рдг рдмрдирдиреЗ рд╡рд╛рд▓реА рдЕрд╕реНрдкрд╖реНрдЯрддрд╛ рдХрд╛рдлреА рд╣рдж рддрдХ рд╕рдорд╛рдкреНрдд рд╣реЛ рдЬрд╛рддреА рд╣реИред
рдкреБрд░рд╛рдиреА pandas рд╕рдВрд╕реНрдХрд░рдгреЛрдВ рдореЗрдВ рдЗрд╕реЗ рдареАрдХ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╕реНрдкрд╖реНрдЯ рдЗрдВрдбреЗрдХреНрд╕рд┐рдВрдЧ рд╣реЗрддреБ .loc[] рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ рдпрд╛ рдмрджрд▓рд╛рд╡ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рд╕реНрд▓рд╛рдЗрд╕ рдХреЛ рдПрдХ рдирдП рд╡реЗрд░рд┐рдПрдмрд▓ рдореЗрдВ рдЕрд╕рд╛рдЗрди рдХрд░реЗрдВ, рддрд╛рдХрд┐ рд╕реНрдкрд╖реНрдЯрддрд╛ рдмрдиреА рд░рд╣реЗ рдФрд░ рдЕрдирдкреЗрдХреНрд╖рд┐рдд рд╡реНрдпрд╡рд╣рд╛рд░ рди рд╣реЛред рдЕрдзрд┐рдХ рдкрдврд╝реЗрдВ: How to Fix SettingWithCopyWarning .
30. рдкреНрд░реЛрдбрдХреНрд╢рди рдореЗрдВ DataFrame рд╕реНрдХреАрдорд╛рдЬрд╝ рдХреЛ рдХреИрд╕реЗ рд╡реИрд▓рд┐рдбреЗрдЯ рдХрд░реЗрдВрдЧреЗ?
рдЗрдВрдбрд╕реНрдЯреНрд░реА рдорд╛рдирдХ pandera рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣реИ, рдЬреЛ рд░рдирдЯрд╛рдЗрдо рдкрд░ рдХрдбрд╝реЗ рдбреЗрдЯрд╛ рдЧреБрдгрд╡рддреНрддрд╛ рдЬрд╛рдБрдЪ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИред pandera рдЖрдкрдХреЛ рдРрд╕рд╛ рд╕реНрдХреАрдорд╛ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ рдЬреЛ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдХреЛ рд╡реИрд▓рд┐рдбреЗрдЯ рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд▓реЙрдЬрд┐рдХ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИ, рдЬреИрд╕реЗ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХрд╛ рдХрд┐рд╕реА рд╕реАрдорд╛ рдХреЗ рднреАрддрд░ рд╣реЛрдирд╛ рдпрд╛ рдХрд┐рд╕реА рд╕реНрддрдВрдн рдХрд╛ рдпреВрдирд┐рдХ рд╣реЛрдирд╛ред
рдЖрдк рдЗрд╕рдХреЗ рдбреЗрдХреЛрд░реЗрдЯрд░реНрд╕ (рдЬреИрд╕реЗ @pa.check_types) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЕрдкрдиреА рдлрд╝рдВрдХреНрд╢рдВрд╕ рдХреЗ рдЗрдирдкреБрдЯреНрд╕ рдФрд░ рдЖрдЙрдЯрдкреБрдЯреНрд╕ рдХреЛ рд╕реНрд╡рддрдГ рд╡реИрд▓рд┐рдбреЗрдЯ рдХрд░рд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ тАЬрдЧрдВрджрд╛ рдбреЗрдЯрд╛тАЭ рдЪреБрдкрдЪрд╛рдк рдЖрдкрдХреА рдбрд╛рдЙрдирд╕реНрдЯреНрд░реАрдо рдкрд╛рдЗрдкрд▓рд╛рдЗрдВрд╕ рдХреЛ рди рддреЛрдбрд╝реЗред рдпрд╣ рдкреНрд░рднрд╛рд╡реА рд░реВрдк рд╕реЗ рд╕реНрд╡рдпрдВ рдЖрдкрдХреЗ рдбреЗрдЯрд╛ рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдХрд╛ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред
рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреА рддреИрдпрд╛рд░реА
рд╕рдВрднрд╛рд╡рдирд╛ рд╣реИ рдХрд┐ рдЖрдкрд╕реЗ рд╕рдмрд╕реЗ рдЬрд╝реНрдпрд╛рджрд╛ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдХреБрдЫ рдкреНрд░рд╢реНрди рдЬрд╝рд░реВрд░ рдкреВрдЫреЗ рдЬрд╛рдПрдБрдЧреЗ, рдЗрд╕рд▓рд┐рдП рдЗрдирдХрд╛ рдЕрднреНрдпрд╛рд╕ рдХрд░рдирд╛ рдПрдХ рдЕрдЪреНрдЫрд╛ рд╡рд┐рдЪрд╛рд░ рд╣реИред pandas рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдбреЗрдЯрд╛-рдЙрдиреНрдореБрдЦ рдЬреЙрдм рд░реЛрд▓ рдореЗрдВ рдХрдИ рдЕрдиреНрдп рдХреМрд╢рд▓реЛрдВ рдХреА рднреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИред рд╕рдВрдкреВрд░реНрдг рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рд╕рдлрд▓ рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП рдпрд╣ рдЪреЗрдХрд▓рд┐рд╕реНрдЯ рджреЗрдЦреЗрдВ:
рдЬреЙрдм рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреА рд╕рдордЭ
рдЬреЙрдм рд╡рд┐рд╡рд░рдг рдФрд░ рдЬрд╝рд┐рдореНрдореЗрджрд╛рд░рд┐рдпрд╛рдБ рджреЛрдмрд╛рд░рд╛ рдкрдврд╝реЗрдВ рдФрд░ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдкрдХреА рд╕реНрдХрд┐рд▓реНрд╕ рдФрд░ рд░рд┐рдЬрд╝реНрдпреВрдореЗ рдЙрдирд╕реЗ рдореЗрд▓ рдЦрд╛рддреЗ рд╣реЛрдВред рд╕рд╛рде рд╣реА, рдХрдВрдкрдиреА рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдирдирд╛ рдФрд░ рдЖрдкрдХреА рднреВрдорд┐рдХрд╛ рдХрд╛ рдЙрд╕ рдкрд░ рдХреНрдпрд╛ рдкреНрд░рднрд╛рд╡ рд╣реЛрдЧрд╛, рдпрд╣ рд╕рдордЭрдирд╛ рднреА рдлрд╛рдпрджреЗрдордВрдж рд╣реИред
Python рдХреЛрдбрд┐рдВрдЧ
рд╕рд╛рдХреНрд╖рд╛рддреНрдХрд╛рд░рдХрд░реНрддрд╛, рд▓рд╛рдЗрдмреНрд░реЗрд░реА (pandas) рдкрд░ рдЖрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ рдЖрдкрдХреЗ Python рдХреМрд╢рд▓ рдЬрд╛рдБрдЪрддреЗ рд╣реИрдВред рдЗрд╕рд▓рд┐рдП, рдЕрдкрдиреЗ Python рдХреМрд╢рд▓ рдордЬрд╝рдмреВрдд рд░рдЦреЗрдВред
рдПрдирд╛рд▓рд┐рд╕реНрдЯ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдХреЗрд╡рд▓ Python рднрд╛рд╖рд╛ рдкрд░реНрдпрд╛рдкреНрдд рд╣реЛрддреА рд╣реИред рд▓реЗрдХрд┐рди рдпрджрд┐ рдЖрдк рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдпрд╛ ML рдЗрдВрдЬреАрдирд┐рдпрд░ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ Python рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпрд╛рдБ рд╣рд▓ рдХрд░рдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИред
рдбреЗрдЯрд╛ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕
рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдкрдХреЗ рд░рд┐рдЬрд╝реНрдпреВрдореЗ рдореЗрдВ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреА рдбреЗрдЯрд╛ рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд╕рдорд╛рдзрд╛рди рд╣реЛрдВред рдЕрдиреБрднрд╡реА рдЙрдореНрдореАрджрд╡рд╛рд░ рдЕрдкрдиреЗ рдкрд┐рдЫрд▓реЗ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдмрд╛рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдпрджрд┐ рдЖрдк рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдирдП рд╣реИрдВ, рддреЛ Kaggle рд╕реЗ рдХреБрдЫ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕ рдкреВрд░реЗ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВред
рдЕрддрд┐рд░рд┐рдХреНрдд рдЕрд╡рдзрд╛рд░рдгрд╛рдПрдБ
рдЗрди рдмреБрдирд┐рдпрд╛рджреА рдмрд╛рддреЛрдВ рд╕реЗ рдЖрдЧреЗ, рдЕрддрд┐рд░рд┐рдХреНрдд рдкреНрд░рд╢реНрди рднреВрдорд┐рдХрд╛ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░реЗрдВрдЧреЗред
рдПрдирд╛рд▓рд┐рд╕реНрдЯреНрд╕ рдХреЗ рд▓рд┐рдП, рдкреНрд░рд╢реНрди Excel, рдбреЗрдЯрд╛ рд╡рд┐рдЬрд╝реБрдЕрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдбреИрд╢рдмреЛрд░реНрдбреНрд╕, рд╕рд╛рдВрдЦреНрдпрд┐рдХреА рдФрд░ рдкреНрд░рд╛рдпрд┐рдХрддрд╛ рд╕реЗ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред
рдЗрд╕рдХреЗ рдЕрддрд┐рд░рд┐рдХреНрдд, рдпрджрд┐ рдЖрдк рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдпрд╛ ML рдЗрдВрдЬреАрдирд┐рдпрд░ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рд╕рд╛рдХреНрд╖рд╛рддреНрдХрд╛рд░рдХрд░реНрддрд╛ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдФрд░ рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рд╡рд┐рд╖рдпреЛрдВ рдореЗрдВ рдЧрд╣рд░рд╛рдИ рддрдХ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
рдпрджрд┐ рдЖрдк рдЕрддреНрдпрдзрд┐рдХ рддрдХрдиреАрдХреА рдпрд╛ рдЕрдиреБрднрд╡реА рднреВрдорд┐рдХрд╛ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рд╕рд┐рд╕реНрдЯрдо рдбрд┐реЫрд╛рдЗрди рд╕реЗ рдЬреБрдбрд╝реЗ рдкреНрд░рд╢реНрдиреЛрдВ рдХреА рдЙрдореНрдореАрдж рдХрд░реЗрдВред рд╕рд╛рдорд╛рдиреНрдп рдбрд┐реЫрд╛рдЗрди рдкреНрд░рд╢реНрдиреЛрдВ рдХреЛ рджреЛрд╣рд░рд╛рдПрдБ рдФрд░ рдПрдВрдб-рдЯреВ-рдПрдВрдб ML рд╕рд┐рд╕реНрдЯрдо рдбрд┐реЫрд╛рдЗрди рд╕рдорд╕реНрдпрд╛рдУрдВ рдХрд╛ рдЕрднреНрдпрд╛рд╕ рдХрд░реЗрдВред
рдирд┐рд╖реНрдХрд░реНрд╖
рдбреЗрдЯрд╛ рдЙрджреНрдпреЛрдЧ рдореЗрдВ рдиреМрдХрд░реА рдкрд╛рдирд╛ рдЕрдХреНрд╕рд░ рдордЬрд╝рдмреВрдд Pandas рдХреМрд╢рд▓реЛрдВ рдХреА рдорд╛рдБрдЧ рдХрд░рддрд╛ рд╣реИред рдКрдкрд░ рджреА рдЧрдИ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдФрд░ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рджреЛрдиреЛрдВ рддрд░рд╣ рдХреА рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрдиреЛрдВ рдХреА рд╕реВрдЪреА рдЖрдкрдХреЗ рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреЗ pandas рд╣рд┐рд╕реНрд╕реЗ рдореЗрдВ рд╕рдлрд▓ рд╣реЛрдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдЧреАред рд╕рд╛рде рд╣реА, рдЕрдВрдд рдореЗрдВ рджрд┐рдП рдЧрдП рд╕реБрдЭрд╛рд╡ рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВрдЧреЗ рдХрд┐ рдЖрдкрдХрд╛ рдкреВрд░рд╛ рдЗрдВрдЯрд░рд╡реНрдпреВ рд╕реБрдЪрд╛рд░реВ рд░реВрдк рд╕реЗ рдмреАрддреЗред
рдЖрдк рдЕрдкрдиреЗ pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреА рддреИрдпрд╛рд░реА рдХреЗ рд▓рд┐рдП рдирд┐рдореНрди рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:
Data Manipulation with pandas : рд╢реБрд░реБрдЖрддреА рдХреЛрд░реНрд╕ рдЬрд┐рд╕рдореЗрдВ pandas рдХреА рдмреБрдирд┐рдпрд╛рдж, рдбреЗрдЯрд╛ рдореИрдирд┐рдкреБрд▓реЗрд╢рди рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рд╡рд┐рдЬрд╝реБрдЕрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рддрдХрдиреАрдХреЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
Data Preparation with pandas : рдпрд╣ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ pandas рдХреЗ рд╕рд╛рде рдорд┐рд╕рд┐рдВрдЧ рдбреЗрдЯрд╛ рд╕рдБрднрд╛рд▓рдиреЗ рдХреЗ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдХреМрд╢рд▓ рджреЗрддрд╛ рд╣реИ, рдФрд░ isnull(), dropna(), рддрдерд╛ fillna() рдЬреИрд╕реЗ рдлрд╝рдВрдХреНрд╢рдВрд╕ рд╕рд┐рдЦрд╛рддрд╛ рд╣реИред
Practicing Coding Interview Questions in Python : рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреА рддреИрдпрд╛рд░реА рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд, рдпрд╣ рдХреЛрд░реНрд╕ Python рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕, рд╕реНрдЯреНрд░рд┐рдВрдЧ рдореИрдирд┐рдкреБрд▓реЗрд╢рди, рдФрд░ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреЗ рдЕрдиреНрдп рдкреНрд░рдореБрдЦ рдХреНрд╖реЗрддреНрд░реЛрдВ рдХреЛ рдХрд╡рд░ рдХрд░рддрд╛ рд╣реИред
Data Science Interview Preparation : рд╡рд┐рднрд┐рдиреНрди рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╛рд░реВрдкреЛрдВ рдХреЗ рд▓рд┐рдП рд╡реНрдпрд╛рдкрдХ рддреИрдпрд╛рд░реА рдЯрд┐рдкреНрд╕ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ рдФрд░ Python, R, SQL рдЖрджрд┐ рдореЗрдВ рддрдХрдиреАрдХреА рдХреМрд╢рд▓реЛрдВ рдХреЛ рдХрд╡рд░ рдХрд░рддрд╛ рд╣реИред
рдЗрд╕ рд▓реЗрдЦ рдореЗрдВ, рдореИрдВрдиреЗ рдкрд╛рдВрдбрд╛реЫ рд╕реЗ рдЬреБрдбрд╝реЗ рд╕рдмрд╕реЗ рдЕрдзрд┐рдХ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рдФрд░ рдЙрдирдХреЗ рдЙрддреНрддрд░ рд╕рдВрдХрд▓рд┐рдд рдХрд┐рдП рд╣реИрдВред рдХреБрдЫ рдкреНрд░рд╢реНрди Target рдореЗрдВ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдХреА рднреВрдорд┐рдХрд╛ рдХреЗ рд▓рд┐рдП рдореЗрд░реЗ рдЕрдкрдиреЗ рдЗрдВрдЯрд░рд╡реНрдпреВ рдЕрдиреБрднрд╡ рд╕реЗ рд╣реИрдВред рдЪрд▓рд┐рдП рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ!
Pandas рдХреЗ рдмреБрдирд┐рдпрд╛рджреА рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЖрдЗрдП рдкрд╛рдВрдбрд╛реЫ рдкрд░ рдХреБрдЫ рдмреБрдирд┐рдпрд╛рджреА рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рджреЗрдЦреЗрдВред рдХреБрдЫ рд╕рд╛рдХреНрд╖рд╛рддреНрдХрд╛рд░рдХрд░реНрддрд╛ рд╢реБрд░реБрдЖрдд рдореЗрдВ рдЖрдкрдХреЛ рд╕рд╣рдЬ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдпреЗ рд╕рд░рд▓ рдкреНрд░рд╢реНрди рдкреВрдЫрддреЗ рд╣реИрдВ, рдЬрдмрдХрд┐ рдЕрдиреНрдп рдЗрдиреНрд╣реЗрдВ рдЖрдкрдХреА рдЗрд╕ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреА рдмреБрдирд┐рдпрд╛рджреА рд╕рдордЭ рдкрд░рдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдкреВрдЫрддреЗ рд╣реИрдВред
1. Python рдореЗрдВ pandas рдХреНрдпрд╛ рд╣реИ?
pandasрдПрдХ рдУрдкрди-рд╕реЛрд░реНрд╕ Python рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИ рдЬрд┐рд╕рдореЗрдВ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЛ рдХреБрд╢рд▓рддрд╛ рд╕реЗ рд╕рд╛рдлрд╝ рдХрд░рдиреЗ, рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдФрд░ рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдмрд┐рд▓реНрдЯ-рдЗрди рдореЗрдердбреНрд╕ рд╣реИрдВред 2008 рдореЗрдВ Wes McKinney рджреНрд╡рд╛рд░рд╛ рд╡рд┐рдХрд╕рд┐рдд, рдпрд╣ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдкреИрдХреЗрдЬ Python рдХреА рдЕрдиреНрдп рдЕрдиреЗрдХ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдореЙрдбреНрдпреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЖрд╕рд╛рдиреА рд╕реЗ рдХрд╛рдо рдХрд░ рд╕рдХрддрд╛ рд╣реИредрдореВрд▓ рд░реВрдк рд╕реЗ
NumPyрдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реЛрдиреЗ рдХреЗ рдмрд╛рд╡рдЬреВрдж, рдЖрдзреБрдирд┐рдХpandas(v2.0+) PyArrow рдмреИрдХрдПрдВрдб рдХрд╛ рднреА рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред рдЗрд╕рд╕реЗ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд╛рдлреА рддреЗрдЬрд╝ рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВ, рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдорд┐рд▓рддреЗ рд╣реИрдВ, рдФрд░ рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ (nullable types) рдХрд╛ рдмреЗрд╣рддрд░ рдкреНрд░рдмрдВрдзрди рд╣реЛрддрд╛ рд╣реИ, рдЬреЛ рдкреБрд░рд╛рдиреЗ рдХреЗрд╡рд▓NumPyрдЖрдзрд╛рд░рд┐рдд рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рд╕реЗ рдмреЗрд╣рддрд░ рд╣реИред2. pandas DataFrame рдХреА рд╢реАрд░реНрд╖ 5 рдФрд░ рдЕрдВрддрд┐рдо 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдЬрд▓реНрджреА рд╕реЗ рдХреИрд╕реЗ рджреЗрдЦреЗрдВ?
pandasрдореЗрдВhead()рдореЗрдердб DataFrame рдХреА рдкрд╣рд▓реА 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджрд┐рдЦрд╛рддрд╛ рд╣реИ, рдФрд░tail()рдореЗрдердб рдЕрдВрддрд┐рдо 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджрд┐рдЦрд╛рддрд╛ рд╣реИредрд╢реАрд░реНрд╖ 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП:
dataframe_name.head()рдЕрдВрддрд┐рдо 5 рдкрдВрдХреНрддрд┐рдпрд╛рдБ рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП:
dataframe_name.tail()3. DataFrame.shape рдореЗрдВ рдХреЛрд╖реНрдардХ рдХреНрдпреЛрдВ рдирд╣реАрдВ рд╣реЛрддреЗ?
pandasрдореЗрдВshapeрдПрдХ рдПрдЯреНрд░рд┐рдмреНрдпреВрдЯ рд╣реИ, рдореЗрдердб рдирд╣реАрдВред рдЗрд╕рд▓рд┐рдП рдЗрд╕реЗ рдмрд┐рдирд╛ рдХреЛрд╖реНрдардХреЛрдВ рдХреЗ рдПрдХреНрд╕реЗрд╕ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПредDataFrame.shapeрдПрдХ рдЯреНрдпреВрдкрд▓ рджреЗрддрд╛ рд╣реИ рдЬрд┐рд╕рдореЗрдВ DataFrame рдХреА рдкрдВрдХреНрддрд┐рдпреЛрдВ рдФрд░ рд╕реНрддрдВрднреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╣реЛрддреА рд╣реИред4. Series рдФрд░ DataFrame рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ?
DataFrame:
pandasDataFrame рд╕рд╛рд░рдгреА (рдЯреИрдмреНрдпреБрд▓рд░) рдкреНрд░рд╛рд░реВрдк рдореЗрдВ рд╣реЛрддрд╛ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ рдХрдИ рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдФрд░ рд╕реНрддрдВрдн рд╣реЛрддреЗ рд╣реИрдВ, рдФрд░ рдкреНрд░рддреНрдпреЗрдХ рд╕реНрддрдВрдн рдХрд╛ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдЕрд▓рдЧ рд╣реЛ рд╕рдХрддрд╛ рд╣реИредSeries: Series рдПрдХ рдПрдХ-рдЖрдпрд╛рдореА рд▓реЗрдмрд▓рдпреБрдХреНрдд рдРрд░реЗ рд╣реИ рдЬреЛ рдХреЛрдИ рднреА рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддрд╛ рд╣реИ, рдкрд░ рдЗрд╕рдХреА рд╕рднреА рд╡реИрд▓реНрдпреВрдЬрд╝ рдХрд╛ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рд╕рдорд╛рди рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдПред Series рд╕рдВрд░рдЪрдирд╛ DataFrame рдХреЗ рдПрдХрд▓ рд╕реНрддрдВрдн рдЬреИрд╕реА рд╣реЛрддреА рд╣реИред
Series, DataFrame рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдХрдо рдореЗрдореЛрд░реА рд▓реЗрддреА рд╣реИред рдЗрд╕рд▓рд┐рдП рдХреБрдЫ рдбреЗрдЯрд╛ рдореИрдирд┐рдкреБрд▓реЗрд╢рди рдХрд╛рд░реНрдп рдЗрд╕ рдкрд░ рддреЗрдЬрд╝ рд╣реЛрддреЗ рд╣реИрдВред
рд╣рд╛рд▓рд╛рдБрдХрд┐, DataFrame рдмрдбрд╝реЗ рдФрд░ рдЬрдЯрд┐рд▓ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЛ рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддрд╛ рд╣реИ, рдЬрдмрдХрд┐ Series рдХреЗрд╡рд▓ рд╕рдорд░реВрдк (homogeneous) рдбреЗрдЯрд╛ рдХреЛ рд╕рдВрднрд╛рд▓рддреА рд╣реИред рдЗрд╕рд▓рд┐рдП DataFrame рдкрд░ рдХрд┐рдП рдЬрд╛ рд╕рдХрдиреЗ рд╡рд╛рд▓реЗ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд╛ рджрд╛рдпрд░рд╛ Series рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдХрд╣реАрдВ рдЕрдзрд┐рдХ рд╣реИред
5. pandas рдореЗрдВ index рдХреНрдпрд╛ рд╣реИ?
Index рдРрд╕реЗ рд▓реЗрдмрд▓реНрд╕ рдХрд╛ рдХреНрд░рдо рд╣реИ рдЬреЛ DataFrame рдХреА рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рдХрд░рддрд╛ рд╣реИред Index рдХрд┐рд╕реА рднреА рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдХрд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ (рдЬреИрд╕реЗ рдкреВрд░реНрдгрд╛рдВрдХ, рд╕реНрдЯреНрд░рд┐рдВрдЧ, рд╣реИрд╢, рдЖрджрд┐)ред
df.indexDataFramedfрдХреЗ рдореМрдЬреВрджрд╛ рдкрдВрдХреНрддрд┐ рдЗрдВрдбреЗрдХреНрд╕ рдХреЛ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИредрдордзреНрдпрдо-рд╕реНрддрд░ рдХреЗ Pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдпреЗ рдкреНрд░рд╢реНрди рдереЛрдбрд╝реЗ рдЕрдзрд┐рдХ рдЪреБрдиреМрддреАрдкреВрд░реНрдг рд╣реИрдВ, рдФрд░ рдРрд╕реЗ рд░реЛрд▓реНрд╕ рдореЗрдВ рдЗрдирдХреЗ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рдЬрд╝реНрдпрд╛рджрд╛ рд╣реИ рдЬрд╣рд╛рдБ pandas рдХрд╛ рдкреВрд░реНрд╡ рдЕрдиреБрднрд╡ рдЕрдкреЗрдХреНрд╖рд┐рдд рд╣реИред
6. pandas рдореЗрдВ multi-indexing рдХреНрдпрд╛ рд╣реИ?
pandasрдореЗрдВ index DataFrame рдХреА рд╣рд░ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рдХрд░рддрд╛ рд╣реИред рдЖрдорддреМрд░ рдкрд░, рд╣рдо рдРрд╕реЗ рд╕реНрддрдВрдн рдХреЛ рдЪреБрдирддреЗ рд╣реИрдВ рдЬреЛ рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рджреЗ рд╕рдХреЗ рдФрд░ рдЙрд╕реЗ index рдХреЗ рд░реВрдк рдореЗрдВ рд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВред рд▓реЗрдХрд┐рди рдЕрдЧрд░ рдЖрдкрдХреЗ рдкрд╛рд╕ рдХреЛрдИ рдПрдХрд▓ рд╕реНрддрдВрдн рди рд╣реЛ рдЬреЛ рдпрд╣ рдХрд░ рд╕рдХреЗ, рддреЛ?рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЗ рдкрд╛рд╕ DataFrame рдореЗрдВ тАЬnameтАЭ, тАЬageтАЭ, тАЬaddressтАЭ рдФрд░ тАЬmarksтАЭ рдирд╛рдо рдХреЗ рд╕реНрддрдВрдн рд╣реИрдВред рдЗрди рдореЗрдВ рд╕реЗ рдХреЛрдИ рднреА рд╕реНрддрдВрдн рд╕рднреА рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдиреВрдареА рд╡реИрд▓реНрдпреВрдЬрд╝ рдирд╣реАрдВ рд░рдЦрддрд╛, рдЗрд╕рд▓рд┐рдП рд╡реЗ index рдХреЗ рд░реВрдк рдореЗрдВ рдЙрдкрдпреБрдХреНрдд рдирд╣реАрдВ рд╣реИрдВред
рд▓реЗрдХрд┐рди тАЬnameтАЭ рдФрд░ тАЬaddressтАЭ рд╕реНрддрдВрдн рдорд┐рд▓рдХрд░ DataFrame рдХреА рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдХреА рдЕрдиреВрдареА рдкрд╣рдЪрд╛рди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЗрд╕рд▓рд┐рдП рдЖрдк рджреЛрдиреЛрдВ рд╕реНрддрдВрднреЛрдВ рдХреЛ index рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред рдЕрдм рдЖрдкрдХреЗ DataFrame рдореЗрдВ multi-index рдпрд╛ hierarchical index рд╣реИред
7. pandas рдореЗрдВ reindexing рд╕рдордЭрд╛рдПрдБред рдПрдХ рдЙрджрд╛рд╣рд░рдг рджреЗрдВред
Reindexing рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рд╕реА DataFrame рдХреЛ рдПрдХ рдирдП index рдХреЗ рдЕрдиреБрд░реВрдк рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рдкреНрд░рд╛рдпрдГ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдореЗрдВ рдорд┐рд╕рд┐рдВрдЧ рдЧреИрдкреНрд╕ рднрд░рдиреЗ рдпрд╛ рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рд░рд┐рдкреЛрд░реНрдЯ рдореЗрдВ рд╕рднреА рд╢реНрд░реЗрдгрд┐рдпрд╛рдБ рд╢рд╛рдорд┐рд▓ рд╣реЛрдВ, рднрд▓реЗ рд╣реА рдЙрдирдХреА рд╡реИрд▓реНрдпреВ рд╢реВрдиреНрдп рд╣реЛред
рдпрджрд┐ рдирдП index рдореЗрдВ рдРрд╕реЗ рд▓реЗрдмрд▓ рд╣реЛрдВ рдЬреЛ рдореВрд▓ DataFrame рдореЗрдВ рди рд╣реЛрдВ, рддреЛ
pandasрдЙрди рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдПNaN(рдпрд╛ рдирд┐рд░реНрджрд┐рд╖реНрдЯ fill value) рдЬреЛрдбрд╝рддрд╛ рд╣реИредрдЙрджрд╛рд╣рд░рдг:┬ардорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЗ рдкрд╛рд╕ Q1 рдФрд░ Q3 рдХреА рдмрд┐рдХреНрд░реА рдХрд╛ рдбреЗрдЯрд╛ рд╣реИ, рд▓реЗрдХрд┐рди Q2 рдФрд░ Q4 рдЧрд╛рдпрдм рд╣реИрдВ рдХреНрдпреЛрдВрдХрд┐ рдмрд┐рдХреНрд░реА рд╢реВрдиреНрдп рдереАред рдПрдХ рд╕рд╛рдзрд╛рд░рдг рдкреНрд▓реЙрдЯ рднреНрд░рд╛рдордХ рд▓рдЧреЗрдЧрд╛ред
reindex()рдЧрд╛рдпрдм рдХреНрд╡рд╛рд░реНрдЯрд░реНрд╕ рдХреЛ DataFrame рдореЗрдВ рдЬреЛрдбрд╝рдХрд░ рдЗрд╕реЗ рджреБрд░реБрд╕реНрдд рдХрд░рддрд╛ рд╣реИред8. loc рдФрд░ iloc рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ?
.loc()рдФрд░.iloc()рджреЛрдиреЛрдВ рдореЗрдердбреНрд╕ pandas рдореЗрдВ DataFrame рдХреЗ рд╕рдмрд╕реЗрдЯреНрд╕ рдЪреБрдирдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рд╣реЛрддреЗ рд╣реИрдВред рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ, рдЗрдиреНрд╣реЗрдВ рд╢рд░реНрддреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ DataFrame рдХреЛ рдлрд╝рд┐рд▓реНрдЯрд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╡реНрдпрд╛рдкрдХ рд░реВрдк рд╕реЗ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИредрд╣рдореЗрдВ
.loc()рдХрд╛ рдЙрдкрдпреЛрдЧ рдкрдВрдХреНрддрд┐рдпреЛрдВ рдФрд░ рд╕реНрддрдВрднреЛрдВ рдХреЗ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд▓реЗрдмрд▓реНрд╕ рд╕реЗ рдбреЗрдЯрд╛ рдЪреБрдирдиреЗ рдХреЗ рд▓рд┐рдП рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП, рдЬрдмрдХрд┐.iloc()рдкрдВрдХреНрддрд┐рдпреЛрдВ рдФрд░ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдкреВрд░реНрдгрд╛рдВрдХ рдЗрдВрдбреЗрдХреНрд╕ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдбреЗрдЯрд╛ рдирд┐рдХрд╛рд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИред9. pandas DataFrame рдмрдирд╛рдиреЗ рдХреЗ рджреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░реАрдХреЗ рдмрддрд╛рдЗрдП
рдбрд┐рдХреНрд╢рдирд░реА рд╕реЗ:
рд╕реВрдЪрд┐рдпреЛрдВ рдХреА рд╕реВрдЪреА рд╕реЗ:
10. рдХрд┐рд╕реА DataFrame рдХреЗ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╕реНрддрдВрдн рдореЗрдВ рд╕рднреА рдпреВрдирд┐рдХ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреА рдЧрд┐рдирддреА рдХреИрд╕реЗ рдирд┐рдХрд╛рд▓реЗрдВрдЧреЗ?
Series.value_counts()рдлрд╝рдВрдХреНрд╢рди рдХрд┐рд╕реА рд╕реАрд░реАрдЬрд╝ рдпрд╛ рд╕реНрддрдВрдн рдХреА рдкреНрд░рддреНрдпреЗрдХ рдпреВрдирд┐рдХ рд╡реИрд▓реНрдпреВ рдХреА рдЧрд┐рдирддреА рджреЗрддрд╛ рд╣реИредрдЙрджрд╛рд╣рд░рдг:
рд╣рдордиреЗ рдПрдХ DataFrame df рдмрдирд╛рдпрд╛ рд╣реИ рдЬрд┐рд╕рдореЗрдВ
Sexрдирд╛рдо рдХрд╛ рдПрдХ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╕реНрддрдВрдн рд╣реИ, рдФрд░ рдЙрд╕ рд╕реНрддрдВрдн рдореЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдпреВрдирд┐рдХ рд╡реИрд▓реНрдпреВ рдХреА рдЧрд┐рдирддреА рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП.value_counts()рдлрд╝рдВрдХреНрд╢рди рдЪрд▓рд╛рдпрд╛ рд╣реИредрдпрджрд┐ рдЖрдк рдХреЗрд╡рд▓ рдХрдЪреНрдЪреА рдЧрд┐рдирддреА рдХреЗ рдмрдЬрд╛рдп рдкреНрд░рддрд┐рд╢рдд рд╡рд┐рддрд░рдг рджреЗрдЦрдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ
normalize=TrueрдЖрд░реНрдЧреНрдпреБрдореЗрдВрдЯ рдХреЛ.value_counts()рдореЗрдВ рдкрд╛рд╕ рдХрд░реЗрдВред11. category рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдХреНрдпрд╛ рд╣реИ, рдФрд░ рдЗрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреНрдпреЛрдВ рдХрд░реЗрдВ?
categoryрдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдЙрди рд╕реНрддрдВрднреЛрдВ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИ рдЬрд┐рдирдореЗрдВ рдпреВрдирд┐рдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╕реАрдорд┐рдд рд╣реЛрддреА рд╣реИ (low cardinality)ред рдпрд╣ рдмрд╣реБрдд рд╕рд╛рд░реА рдореЗрдореЛрд░реА рдмрдЪрд╛рддрд╛ рд╣реИ рдФрд░ рд╕реЙрд░реНрдЯрд┐рдВрдЧ рддрдерд╛ рдЧреНрд░реБрдкрд┐рдВрдЧ рдЬреИрд╕реЗ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХреЛ рддреЗрдЬрд╝ рдХрд░рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ Pandas рд╕реНрдЯреНрд░рд┐рдВрдЧреНрд╕ рдХреЛ рдПрдХ рдмрд╛рд░ рд▓реБрдХрдЕрдк рдЯреЗрдмрд▓ рдореЗрдВ рд╕реНрдЯреЛрд░ рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдбреЗрдЯрд╛ рд╕реНрддрдВрдн рдХреЗ рд▓рд┐рдП рд╣рд▓реНрдХреЗ рдЗрдВрдЯреАрдЬрд░ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рддрд╛ рд╣реИредрдЕрдиреБрднрд╡реА рдкреЗрд╢реЗрд╡рд░реЛрдВ рдХреЗ рд▓рд┐рдП Pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЬреЛ рдЙрдореНрдореАрджрд╡рд╛рд░ рдкрд╣рд▓реЗ рд╕реЗ
pandasрдореЗрдВ рдордЬрдмреВрдд рдкреГрд╖реНрдарднреВрдорд┐ рд░рдЦрддреЗ рд╣реИрдВ рдФрд░ рд╡рд░рд┐рд╖реНрда рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рдЙрдиреНрд╣реЗрдВ рдЗрдирдореЗрдВ рд╕реЗ рдХреБрдЫ рдкреНрд░рд╢реНрди рдорд┐рд▓ рд╕рдХрддреЗ рд╣реИрдВ:12. pandas рдореЗрдВ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдХреИрд╕реЗ рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝ рдХрд░реЗрдВрдЧреЗ?
PyArrow рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ: рдбреЗрдЯрд╛ рдХреЛ
engine="pyarrow"рдФрд░dtype_backend="pyarrow"рдХреЗ рд╕рд╛рде рд▓реЛрдб рдХрд░реЗрдВред рдпрд╣ рдорд╛рдирдХNumPyрдЯрд╛рдЗрдкреНрд╕ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рддреЗрдЬрд╝ рдФрд░ рдЕрдзрд┐рдХ рдореЗрдореЛрд░реА-рдХреБрд╢рд▓ рд╣реИредрд▓реВрдкреНрд╕ рдХреА рдЬрдЧрд╣ рд╡реЗрдХреНрдЯрд░рд╛рдЗрдЬрд╝реЗрд╢рди: рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдкрд░ рд▓реВрдкреНрд╕ рдФрд░ рдЗрдЯрд░реЗрд╢рди рдорд╣рдБрдЧреЗ рд╕рд╛рдмрд┐рдд рд╣реЛрддреЗ рд╣реИрдВред рдЗрд╕рдХреЗ рдмрдЬрд╛рдп рд╡реЗрдХреНрдЯрд░рд╛рдЗрдЬрд╝реНрдб рдСрдкрд░реЗрд╢рдиреНрд╕ рдЕрдкрдирд╛рдПрдБ, рдХреНрдпреЛрдВрдХрд┐ рд╡реЗ рдкреВрд░реЗ рд╕реНрддрдВрдн рдкрд░ рдПрдХ рд╕рд╛рде рд▓рд╛рдЧреВ рд╣реЛрддреЗ рд╣реИрдВ рдФрд░ рд░реЛ-рд╡рд╛рдЗрдЬрд╝ рдЗрдЯрд░реЗрд╢рди рд╕реЗ рддреЗрдЬрд╝ рд╣реЛрддреЗ рд╣реИрдВред
рд╕рд┐рд░реНрдл рд╡рд╣реА рд▓реЛрдб рдХрд░реЗрдВ рдЬрд┐рд╕рдХреА рдЬрд╝рд░реВрд░рдд рд╣реИ: рдбреЗрдЯрд╛ рд▓реЛрдб рдХреЛ рд╕реАрдорд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП
usecolsрдкреИрд░рд╛рдореАрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧread_csv()рдпрд╛read_parquet()рдореЗрдВ рдХрд░реЗрдВредрдореЗрдореЛрд░реА-рдХреБрд╢рд▓ рдЯрд╛рдЗрдкреНрд╕:
pandasрдХреЗ рдбрд┐рдлреЙрд▓реНрдЯ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдореЗрдореЛрд░реА-рдХреБрд╢рд▓ рдирд╣реАрдВ рд╣реЛрддреЗред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдкреВрд░реНрдгрд╛рдВрдХреЛрдВ рдХрд╛ рдбрд┐рдлреЙрд▓реНрдЯint64рд╣реИ, рдкрд░ рдпрджрд┐ рдЖрдкрдХреА рд╡реИрд▓реНрдпреВрдЬрд╝int32рдореЗрдВ рдлрд┐рдЯ рд╣реЛ рд╕рдХрддреА рд╣реИрдВ, рддреЛ рдЯрд╛рдЗрдк рдХреЛint32рдХрд░рдиреЗ рд╕реЗ рдореЗрдореЛрд░реА рдЦрдкрдд рдШрдЯреЗрдЧреАред рдХрдо рдХрд╛рд░реНрдбрд┐рдиреИрд▓рд┐рдЯреА рд╡рд╛рд▓реА рд╕реНрдЯреНрд░рд┐рдВрдЧреНрд╕ рдХреЛcategoryрдЯрд╛рдЗрдк рдореЗрдВ рдмрджрд▓рдирд╛ рднреА рдЙрдкрдпреЛрдЧреА рд╣реИредрдбреЗрдЯрд╛ рдПрдЧреНрд░реАрдЧреЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ: рдбреЗрдЯрд╛ рдХреЛ рдПрдЧреНрд░реАрдЧреЗрдЯ рдХрд░рдХреЗ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд░реЗрдВ, рдХреНрдпреЛрдВрдХрд┐ рдПрдЧреНрд░реАрдЧреЗрдЯреЗрдб рдбреЗрдЯрд╛ рдкрд░ рдСрдкрд░реЗрд╢рдиреНрд╕ рдкреВрд░реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯ рдкрд░ рдСрдкрд░реЗрдЯ рдХрд░рдиреЗ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдЕрдзрд┐рдХ рдХреБрд╢рд▓ рд╣реЛрддреЗ рд╣реИрдВред
рдкреИрд░рд▓реЗрд▓ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ:┬ардореВрд▓
pandasрд╕рд┐рдВрдЧрд▓-рдереНрд░реЗрдбреЗрдб рд╣реИред рдПрдХ рд╣реА рдорд╢реАрди рдкрд░ рдкреИрд░реЗрд▓рд▓рд┐рдЬрд╝реНрдо рдХреЗ рд▓рд┐рдП, рдкрд╕рдВрджреАрджрд╛ рд╕рдорд╛рдзрд╛рдиPolars(рдЬреЛ рдбрд┐рдлреЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдорд▓реНрдЯреА-рдереНрд░реЗрдбреЗрдб рд╣реИ) рдпрд╛ModinрдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╣реИрдВ рдЬреЛpandasрдХрд╛ рдбреНрд░реЙрдк-рдЗрди рдкреИрд░рд▓рд▓ рд░рд┐рдкреНрд▓реЗрд╕рдореЗрдВрдЯ рджреЗрддреА рд╣реИрдВред13. pandas рдореЗрдВ .join() рдФрд░ .merge() рдореЗрдердбреНрд╕ рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ?
Join: рджреЛ DataFrames рдХреЛ рдЙрдирдХреЗ index рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдЬреЛрдбрд╝рддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдБрдХрд┐, рдПрдХ рд╡реИрдХрд▓реНрдкрд┐рдХ рдЖрд░реНрдЧреНрдпреБрдореЗрдВрдЯ
onрднреА рд╣реИ рдЬрд┐рд╕рд╕реЗ рдЖрдк рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рд╕реНрддрдВрднреЛрдВ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдЬреЙрдЗрди рдХрд░рд╛ рд╕рдХрддреЗ рд╣реИрдВред рдбрд┐рдлреЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдпрд╣ рд▓реЗрдлреНрдЯ рдЬреЙрдЗрди рдХрд░рддрд╛ рд╣реИред рд╕рд┐рдиреНрдЯреИрдХреНрд╕:df1.join(df2).Merge:
merge()рдЕрдзрд┐рдХ рдмрд╣реБрдореБрдЦреА рд╣реИ рдФрд░ рдЖрдкрдХреЛ рдпрд╣ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ рдХрд┐ рдХрд┐рди рд╕реНрддрдВрднреЛрдВ рдкрд░ DataFrames рдХреЛ рдЬреЛрдбрд╝рд╛ рдЬрд╛рдПред рдпрд╣ рдбрд┐рдлреЙрд▓реНрдЯ рд░реВрдк рд╕реЗ inner join рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди left, right, outer, inner рдФрд░ cross рдЬреИрд╕реЗ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдЬреЙрдЗрди рдкреНрд░рдХрд╛рд░реЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд╕реНрдЯрдорд╛рдЗрдЬрд╝ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рд┐рдиреНрдЯреИрдХреНрд╕:pd.merge(df1, df2, on=тАЭcolumn_namesтАЭ).14. Timedelta рдХреНрдпрд╛ рд╣реИ?
Timedelta рдЕрд╡рдзрд┐ (duration) рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИ, рдпрд╛рдиреА рджреЛ рддрд╛рд░реАрдЦреЛрдВ рдпрд╛ рд╕рдордпреЛрдВ рдХреЗ рдмреАрдЪ рдХрд╛ рдЕрдВрддрд░, рдЬрд┐рд╕реЗ рджрд┐рдиреЛрдВ, рдШрдВрдЯреЛрдВ, рдорд┐рдирдЯреЛрдВ рдФрд░ рд╕реЗрдХрдВрдбреЛрдВ рдореЗрдВ рдорд╛рдкрд╛ рдЬрд╛рддрд╛ рд╣реИред
15. .append() рдореЗрдердб рд╣рдЯрд╛ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдЕрдм DataFrames рдХреЛ рдХреИрд╕реЗ рд╕рдВрдпреЛрдЬрд┐рдд рдХрд░реЗрдВрдЧреЗ?
рдпрджрд┐ рдЖрдк рдЖрдзреБрдирд┐рдХ Pandas (рд╕рдВрд╕реНрдХрд░рдг 2.0 рдпрд╛ рдмрд╛рдж рдХрд╛) рдореЗрдВ
.append()рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдпрд╣ рддреНрд░реБрдЯрд┐ рджреЗрдЧрд╛ рдХреНрдпреЛрдВрдХрд┐ рдЕрдзрд┐рдХ рдХреБрд╢рд▓ рдХреЛрдбрд┐рдВрдЧ рдЕрднреНрдпрд╛рд╕реЛрдВ рдХреЛ рдмрдврд╝рд╛рд╡рд╛ рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП рдЗрд╕ рдореЗрдердб рдХреЛ рд╣рдЯрд╛ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИредрдЗрд╕рдХреЗ рдмрдЬрд╛рдп, рдЖрдкрдХреЛ рдЕрдкрдиреЗ рд╕рднреА dataframes рдпрд╛ rows рдХреЛ рдПрдХ рд╕реВрдЪреА рдореЗрдВ рдПрдХрддреНрд░ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП, рдФрд░ рдлрд┐рд░ рдПрдХ рдмрд╛рд░
pd.concat()рдХреЙрд▓ рдХрд░реЗрдВ:16. рдЖрдкрдХреЛ pandas рдХреА рдЬрдЧрд╣ Polars рдХрдм рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП?
рдЖрдкрдХреЛ
Polars(Rust-рдЖрдзрд╛рд░рд┐рдд DataFrame рд▓рд╛рдЗрдмреНрд░реЗрд░реА) рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП рдЬрдм:рдбреЗрдЯрд╛рд╕реЗрдЯ рдЙрдкрд▓рдмреНрдз RAM рд╕реЗ рдХрд╛рдлреА рдмрдбрд╝рд╛ рд╣реЛ:
PolarsрдореЗрдВ lazy evaluation/streaming рд╣реИредрдЖрдкрдХреЛ рдорд▓реНрдЯреА-рдереНрд░реЗрдбреЗрдб рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдЪрд╛рд╣рд┐рдП:
pandasрдСрдкрд░реЗрд╢рдиреНрд╕ рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рд╕рд┐рдВрдЧрд▓-рдереНрд░реЗрдбреЗрдб рд╣реИрдВредрд╣рд░ рдорд┐рд▓реАрд╕реЗрдХрдВрдб рдорд╛рдпрдиреЗ рд░рдЦрддрд╛ рд╣реЛ: рдЖрдк рдПрдХ рд╣рд╛рдИ-рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдмрдирд╛ рд░рд╣реЗ рд╣реЛрдВред
Pandas рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЯреЗрдХ рдЗрдВрдЯрд░рд╡реНрдпреВ рдореЗрдВ рд╕рдлрд▓ рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдХреМрд╢рд▓ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдЬреНрдЮрд╛рди рдЬрд┐рддрдиреЗ рд╣реА рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИрдВред рдЗрд╕рд▓рд┐рдП рдпрд╣рд╛рдБ рдХреБрдЫ pandas рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рджрд┐рдП рдЧрдП рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдЗрдВрдЯрд░рд╡реНрдпреВ рд╕реЗ рдкрд╣рд▓реЗ рдЬрд╛рдирдирд╛ рдЬрд╝рд░реВрд░реА рд╣реИред
17. pandas рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Excel рдлрд╝рд╛рдЗрд▓реЛрдВ рдХреЛ CSV рдореЗрдВ рдХреИрд╕реЗ рдкрдврд╝реЗрдВрдЧреЗ/рдмрджрд▓реЗрдВрдЧреЗ?
рдкрд╣рд▓реЗ, рд╣рдореЗрдВ
.read_excel()рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Excel рдбреЗрдЯрд╛ рдХреЛ рдПрдХ рд╡реЗрд░рд┐рдПрдмрд▓ рдореЗрдВ рд▓рд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред рдлрд┐рд░, рдирд┐рд░реНрдмрд╛рдз рд░реВрдкрд╛рдВрддрд░рдг рдХреЗ рд▓рд┐рдП.to_csv()рдлрд╝рдВрдХреНрд╢рди рд▓рд╛рдЧреВ рдХрд░реЗрдВредрдпрд╣рд╛рдБ рдирдореВрдирд╛ рдХреЛрдб рд╣реИ:
рдзреНрдпрд╛рди рджреЗрдВ: рдЖрдзреБрдирд┐рдХ рдЗрдВрдЯрд░рд╡реНрдпреВ рдореЗрдВ рдпрд╣ рдмрддрд╛рдирд╛ рдЕрдЪреНрдЫрд╛ рд╣реИ рдХрд┐ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рддреЗ рд╕рдордп parquet рдлреЙрд░реНрдореЗрдЯ рдореЗрдВ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдХреЛ рд╕реБрд░рдХреНрд╖рд┐рдд рд░рдЦрдирд╛ (рдпрд╛рдиреА
.to_parquet()рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛,.to_csv()рдХреА рдЬрдЧрд╣) рдЕрдХреНрд╕рд░ рдмреЗрд╣рддрд░ рд╣реЛрддрд╛ рд╣реИред18. рдХрд┐рд╕реА DataFrame рдХреЛ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдХреИрд╕реЗ sort рдХрд░реЗрдВрдЧреЗ?
рд╣рдо
.sort_values()рдореЗрдердб рдХреЛ рдХреЙрд▓ рдХрд░рдХреЗ DataFrame рдХреЛ рдХрд┐рд╕реА рдПрдХ рдпрд╛ рдПрдХрд╛рдзрд┐рдХ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ sort рдХрд░рддреЗ рд╣реИрдВредрд╕рд┐рдиреНрдЯреИрдХреНрд╕ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИ:
df.sort_values(by=[тАЬcolumn_namesтАЭ]), рдЬреИрд╕рд╛ рдХрд┐ рдирд┐рдореНрди рдЙрджрд╛рд╣рд░рдг рджрд┐рдЦрд╛рддрд╛ рд╣реИ:19. рдбреЗрдЯрд╛ рдХреЛ рдлрд╝рд┐рд▓реНрдЯрд░ рдХрд░рдиреЗ рдХреЗ рджреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░реАрдХреЗ рджрд┐рдЦрд╛рдЗрдП
рдЖрдЗрдП рдирд┐рдореНрди DataFrame рдХреЛ рдлрд╝рд┐рд▓реНрдЯрд░ рдХрд░рдирд╛ рджрд┐рдЦрд╛рддреЗ рд╣реИрдВ:
рд╡рд┐рдзрд┐ 1: рдмреВрд▓рд┐рдпрди рдЗрдВрдбреЗрдХреНрд╕рд┐рдВрдЧ
рд╡рд┐рдзрд┐ 2:
.query()рдореЗрдердб рдХрд╛ рдЙрдкрдпреЛрдЧ20. рдЖрдк рдбреЗрдЯрд╛ рдХреЛ рдХреИрд╕реЗ рдПрдЧреНрд░реАрдЧреЗрдЯ рдХрд░реЗрдВрдЧреЗ (рдЬреИрд╕реЗ mean рдпрд╛ sum)?
.groupby()рдлрд╝рдВрдХреНрд╢рди рдЖрдкрдХреЛ рдХреБрдЫ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдбреЗрдЯрд╛ рдХреЛ рд╕рдореВрд╣рд┐рдд рдХрд░рдиреЗ рдФрд░ рд╕рдореВрд╣рд┐рдд рдбреЗрдЯрд╛ рдкрд░ рдСрдкрд░реЗрд╢рдиреНрд╕ рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИред рдмреЗрд╣рддрд░ рд╕реНрдкрд╖реНрдЯрддрд╛ рдХреЗ рд▓рд┐рдП рдЗрд╕реЗ.agg()рдХреЗ рд╕рд╛рде рдорд┐рд▓рд╛рдПрдБредрдирд┐рдореНрди рдХреЛрдб рдореЗрдВ, рдбреЗрдЯрд╛ рдХреЛ
Nameрд╕реНрддрдВрдн рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рд╕рдореВрд╣рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ, рдФрд░ рдкреНрд░рддреНрдпреЗрдХ рд╕рдореВрд╣ рдХреЗGradesрдХрд╛ рдФрд╕рдд рдирд┐рдХрд╛рд▓рд╛ рдЧрдпрд╛ рд╣реИ:21. рдореМрдЬреВрджрд╛ рд╕реНрддрдВрднреЛрдВ рд╕реЗ рдирдпрд╛ рд╕реНрддрдВрдн рдХреИрд╕реЗ рдмрдирд╛рдПрдБ?
рдореМрдЬреВрджрд╛ рд╕реНрддрдВрднреЛрдВ рд╕реЗ рдирдП рд╕реНрддрдВрдн рдмрдирд╛рдиреЗ рдХреЗ рджреЛ рддрд░реАрдХреЗ рд╣реИрдВ:
рдкреНрд░рддреНрдпрдХреНрд╖ рдЕрд╕рд╛рдЗрдирдореЗрдВрдЯ: рдирдП рдирд╛рдо рд╡рд╛рд▓реЗ рд╕реНрддрдВрдн рдХреЛ рдореМрдЬреВрджрд╛ рд╕реНрддрдВрдн(рд╕реНрддрдВрднреЛрдВ) рдХреЗ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдореЗрд╢рди рдХреЗ рдмрд░рд╛рдмрд░ рдЕрд╕рд╛рдЗрди рдХрд░рдирд╛:
df['Total'] = df['Math'] + df['Science']рдореЗрдердб рдЪреЗрдирд┐рдВрдЧ:
.assign()рдХреЗ рд╕рд╛рде lambda рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ:df = df.assign(Total=lambda x: x['Math'] + x['Science'])рдЖрдЬрдХрд▓ рдореЗрдердб рдЪреЗрдирд┐рдВрдЧ рдХреЛ рдкреНрд░рд╛рдердорд┐рдХрддрд╛ рджреА рдЬрд╛рддреА рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдЗрдВрдЯрд░рдореАрдбрд┐рдПрдЯ рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдЦрддреНрдо рдХрд░рдХреЗ рдХреЛрдб рдХреА рдкрдардиреАрдпрддрд╛ рдмрдврд╝рд╛рддреА рд╣реИред рдЕрдкрдиреА рдкреВрд░реА рдбреЗрдЯрд╛ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдореЗрд╢рди рд▓реЙрдЬрд┐рдХ рдХреЛ рдПрдХ рд╣реА рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдореЗрдВ рд░рдЦрдиреЗ рд╕реЗ рдмрдЧреНрд╕ рдХрд╛рдлреА рдХрдо рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВ, рдХреНрдпреЛрдВрдХрд┐ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рджреМрд░рд╛рди рдкреБрд░рд╛рдиреЗ рдпрд╛ рдЧрд▓рдд рд╕рдВрд╕реНрдХрд░рдг рдХреЗ DataFrame рдХреЛ рдЧрд▓рддреА рд╕реЗ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рдиреЗ рдХрд╛ рдЬреЛрдЦрд┐рдо рдирд╣реАрдВ рд░рд╣рддрд╛ред
рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯреНрд╕ рдХреЗ рд▓рд┐рдП Pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди
рдЕрдм рдЬрдм рд╣рдордиреЗ
pandasрдХреЗ рд╕рд╛рдорд╛рдиреНрдп рдФрд░ рдХреЛрдбрд┐рдВрдЧ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрди рдХрд╡рд░ рдХрд░ рд▓рд┐рдП рд╣реИрдВ, рддреЛpandasрдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрдиреЛрдВ рдкрд░ рдирдЬрд╝рд░ рдбрд╛рд▓рддреЗ рд╣реИрдВред22. pandas рдореЗрдВ null рдпрд╛ missing рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдХреИрд╕реЗ рд╕рдВрднрд╛рд▓реЗрдВрдЧреЗ?
рдЖрдк
pandasрдореЗрдВ рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдирд┐рдореНрди рддреАрди рддрд░реАрдХреЛрдВ рдореЗрдВ рд╕реЗ рдХрд┐рд╕реА рд╕реЗ рднреА рд╕рдВрднрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ:dropna(): DataFrame рд╕реЗ рдорд┐рд╕рд┐рдВрдЧ рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдпрд╛ рд╕реНрддрдВрдн рд╣рдЯрд╛рддрд╛ рд╣реИредfillna(): рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдХрд┐рд╕реА рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╡реИрд▓реНрдпреВ рд╕реЗ рднрд░рддрд╛ рд╣реИредinterpolate(): рдорд┐рд╕рд┐рдВрдЧ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рдЧрдгрдирд╛ рдХреА рдЧрдИ рдЗрдВрдЯрд░рдкреЛрд▓реЗрдЯреЗрдб рд╡реИрд▓реНрдпреВрдЬрд╝ рд╕реЗ рднрд░рддрд╛ рд╣реИредPyArrow рдмреИрдХрдПрдВрдб рдХреЗ рд╕рд╛рде, рдЕрдм integers
NAрд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛfloatрдореЗрдВ рдХрд╛рд╕реНрдЯ рдХрд┐рдП рдмрд┐рдирд╛ рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдореЗрдВ рдбреЗрдЯрд╛ рдХреА рд╢реБрджреНрдзрддрд╛ рдмрдиреА рд░рд╣рддреА рд╣реИред23. fillna() рдФрд░ interpolate() рдореЗрдердбреНрд╕ рдореЗрдВ рдЕрдВрддрд░
fillna(): рд╕реНрдерд┐рд░ рд╡реИрд▓реНрдпреВ (рдЬреИрд╕реЗ 0 рдпрд╛ "Unknown") рд╕реЗ рднрд░рддрд╛ рд╣реИред.fillna()рдореЗрдВmethod='ffill'рддрд░реНрдХ рджреЗрдХрд░ forward filling рдХрд░рдирд╛ рдЕрдм рдЕрдкреНрд░рдЪрд▓рд┐рдд (deprecated) рд╣реИ; рдЗрд╕рдХреЗ рдмрдЬрд╛рдп рд╕реАрдзреЗ.ffill()рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВредinterpolate(): рдмрд┐рдВрджреБрдУрдВ рдХреЗ рдмреАрдЪ рдЧрдгрд┐рддреАрдп рдЕрдиреБрдорд╛рди (linear, polynomial, spline) рд╕реЗ рднрд░рддрд╛ рд╣реИред рдпрд╣ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдЬрд╣рд╛рдБ рдЖрдк "рдмрд┐рдВрджреБрдУрдВ рдХреЛ рдЬреЛрдбрд╝рдирд╛" рдЪрд╛рд╣рддреЗ рд╣реИрдВред24. Resampling рдХреНрдпрд╛ рд╣реИ?
Resampling рдХрд╛ рдЙрдкрдпреЛрдЧ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдХреА рд░рд┐рдкреЛрд░реНрдЯрд┐рдВрдЧ рдЖрд╡реГрддреНрддрд┐ рдмрджрд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЗ рдкрд╛рд╕ рдорд╛рд╕рд┐рдХ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рд╣реИ рдФрд░ рдЖрдк рдЙрд╕реЗ рд╕рд╛рдкреНрддрд╛рд╣рд┐рдХ рдпрд╛ рд╡рд╛рд░реНрд╖рд┐рдХ рдбреЗрдЯрд╛ рдореЗрдВ рдмрджрд▓рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ; рдРрд╕реЗ рдореЗрдВ resampling рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИред
рдорд╛рд╕рд┐рдХ рдбреЗрдЯрд╛ рдХреЛ рд╕рд╛рдкреНрддрд╛рд╣рд┐рдХ рдпрд╛ рджреИрдирд┐рдХ рдореЗрдВ рдмрджрд▓рдирд╛ рдореВрд▓рддрдГ upsampling рд╣реИред рдпрд╣рд╛рдБ рдЖрд╡реГрддреНрддрд┐ рдмрдврд╝рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЗрдВрдЯрд░рдкреЛрд▓реЗрд╢рди рддрдХрдиреАрдХреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИред
рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, рдорд╛рд╕рд┐рдХ рд╕реЗ рд╡рд╛рд░реНрд╖рд┐рдХ рдореЗрдВ рдмрджрд▓рдирд╛ downsampling рдХрд╣рд▓рд╛рддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдбреЗрдЯрд╛ рдПрдЧреНрд░реАрдЧреЗрд╢рди рддрдХрдиреАрдХреЗрдВ рд▓рд╛рдЧреВ рдХреА рдЬрд╛рддреА рд╣реИрдВред
25. pandas рдореЗрдВ one-hot encoding рдХреИрд╕реЗ рдХрд░реЗрдВрдЧреЗ?
рд╣рдо one-hot encoding рдХрд╛ рдЙрдкрдпреЛрдЧ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╡реИрд▓реНрдпреВрдЬрд╝ рдХреЛ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд╡реИрд▓реНрдпреВрдЬрд╝ рдореЗрдВ рдмрджрд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд░рддреЗ рд╣реИрдВ рддрд╛рдХрд┐ рдЙрдиреНрд╣реЗрдВ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдПрд▓реНрдЧреЛрд░рд┐рджреНрдо рдореЗрдВ рдлреАрдб рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред
рдкреНрд░реЛрдбрдХреНрд╢рди рдореЗрдВ, рд╕реНрдХреАрдорд╛ рдХреЛ рд╕реБрд░рдХреНрд╖рд┐рдд рд░рдЦрдиреЗ рдХреЗ рдХрд╛рд░рдг
Scikit-learnрдХрд╛OneHotEncoderрдмреЗрд╣рддрд░ рд╡рд┐рдХрд▓реНрдк рд╣реИред26. pandas рдореЗрдВ line plot рдХреИрд╕реЗ рдмрдирд╛рдПрдБ?
Line plot рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо
pandasрдореЗрдВ plot рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВредрдзреНрдпрд╛рди рджреЗрдВ: рдЖрдк рдЗрдВрдЯрд░реИрдХреНрдЯрд┐рд╡ рдЪрд╛рд░реНрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдмреИрдХрдПрдВрдб рдХреЛ
PlotlyрдореЗрдВ рдмрджрд▓ рд╕рдХрддреЗ рд╣реИрдВ:pd.options.plotting.backend = "plotly".27. рдХрд┐рд╕реА DataFrame рдХреЗ рд╕рднреА рд╕реНрддрдВрднреЛрдВ рдХрд╛ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╕рд╛рд░рд╛рдВрд╢ рдкрд╛рдиреЗ рдХрд╛ pandas рдореЗрдердб рдХреНрдпрд╛ рд╣реИ?
df.describe()рдкреНрд░рддреНрдпреЗрдХ рд╕реНрддрдВрдн рдХреЗ mean, percentile рдорд╛рди, min, max рдЖрджрд┐ рдЬреИрд╕реЗ рдЖрдБрдХрдбрд╝реЗ рд▓реМрдЯрд╛рддрд╛ рд╣реИред28. rolling mean рдХреНрдпрд╛ рд╣реИ?
rolling mean рдХреЛ moving average рднреА рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣рд╛рдБ рд╡рд┐рдЪрд╛рд░ рдпрд╣ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рдирд┐рд░реНрджрд┐рд╖реНрдЯ рд╡рд┐рдВрдбреЛ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдмрд┐рдВрджреБрдУрдВ рдХрд╛ mean рдирд┐рдХрд╛рд▓реЗрдВ рдФрд░ рдЙрд╕ рд╡рд┐рдВрдбреЛ рдХреЛ рдкреВрд░реЗ рдбреЗрдЯрд╛ рдкрд░ рд╕реНрд▓рд╛рдЗрдб рдХрд░реЗрдВред рдЗрд╕рд╕реЗ рдЙрддрд╛рд░-рдЪрдврд╝рд╛рд╡ рдХрдо рд╣реЛрддреЗ рд╣реИрдВ рдФрд░ рдЯрд╛рдЗрдо-рд╕реАрд░реАрдЬрд╝ рдбреЗрдЯрд╛ рдореЗрдВ рджреАрд░реНрдШрдХрд╛рд▓рд┐рдХ рд░реБрдЭрд╛рди рдЙрднрд░рдХрд░ рдЖрддреЗ рд╣реИрдВред
рд╕рд┐рдиреНрдЯреИрдХреНрд╕ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИ:
df['column_name'].rolling(window=n).mean()29. SettingWithCopyWarning рдХреНрдпрд╛ рд╣реИ, рдФрд░ рдЗрд╕реЗ рдХреИрд╕реЗ рдареАрдХ рдХрд░реЗрдВ?
рдпрд╣ рдЪреЗрддрд╛рд╡рдиреА рддрдм рдЖрддреА рдереА рдЬрдм
pandasрдХреЛ рд╕реНрдкрд╖реНрдЯ рдирд╣реАрдВ рд╣реЛрддрд╛ рдерд╛ рдХрд┐ рдЖрдк view рдореЗрдВ рдмрджрд▓рд╛рд╡ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдпрд╛ copy рдореЗрдВред рдЖрдзреБрдирд┐рдХpandas(3.0+ рд╕рдВрджрд░реНрдн) рдореЗрдВ Copy-on-Write (CoW) рдорд╛рдирдХ рд╣реИред CoW views рдФрд░ copies рдХреЛ рд╕рдЦреНрддреА рд╕реЗ рдЕрд▓рдЧ рдХрд░рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдХрд┐рд╕реА subset рдХреЛ рд╕рдВрд╢реЛрдзрд┐рдд рдХрд░рдиреЗ рдкрд░ рдореВрд▓ рдлрд╝реНрд░реЗрдо рддрдм рддрдХ рдЪреБрдкрдЪрд╛рдк рдирд╣реАрдВ рдмрджрд▓рддрд╛ рдЬрдм рддрдХ рдЖрдк рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рди рдЪрд╛рд╣реЗрдВред рдЗрд╕рд╕реЗ рдЗрд╕ рдЪреЗрддрд╛рд╡рдиреА рдХрд╛ рдХрд╛рд░рдг рдмрдирдиреЗ рд╡рд╛рд▓реА рдЕрд╕реНрдкрд╖реНрдЯрддрд╛ рдХрд╛рдлреА рд╣рдж рддрдХ рд╕рдорд╛рдкреНрдд рд╣реЛ рдЬрд╛рддреА рд╣реИредрдкреБрд░рд╛рдиреА
pandasрд╕рдВрд╕реНрдХрд░рдгреЛрдВ рдореЗрдВ рдЗрд╕реЗ рдареАрдХ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╕реНрдкрд╖реНрдЯ рдЗрдВрдбреЗрдХреНрд╕рд┐рдВрдЧ рд╣реЗрддреБ.loc[]рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ рдпрд╛ рдмрджрд▓рд╛рд╡ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рд╕реНрд▓рд╛рдЗрд╕ рдХреЛ рдПрдХ рдирдП рд╡реЗрд░рд┐рдПрдмрд▓ рдореЗрдВ рдЕрд╕рд╛рдЗрди рдХрд░реЗрдВ, рддрд╛рдХрд┐ рд╕реНрдкрд╖реНрдЯрддрд╛ рдмрдиреА рд░рд╣реЗ рдФрд░ рдЕрдирдкреЗрдХреНрд╖рд┐рдд рд╡реНрдпрд╡рд╣рд╛рд░ рди рд╣реЛред рдЕрдзрд┐рдХ рдкрдврд╝реЗрдВ: How to Fix SettingWithCopyWarning.30. рдкреНрд░реЛрдбрдХреНрд╢рди рдореЗрдВ DataFrame рд╕реНрдХреАрдорд╛рдЬрд╝ рдХреЛ рдХреИрд╕реЗ рд╡реИрд▓рд┐рдбреЗрдЯ рдХрд░реЗрдВрдЧреЗ?
рдЗрдВрдбрд╕реНрдЯреНрд░реА рдорд╛рдирдХ
panderaрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣реИ, рдЬреЛ рд░рдирдЯрд╛рдЗрдо рдкрд░ рдХрдбрд╝реЗ рдбреЗрдЯрд╛ рдЧреБрдгрд╡рддреНрддрд╛ рдЬрд╛рдБрдЪ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИредpanderaрдЖрдкрдХреЛ рдРрд╕рд╛ рд╕реНрдХреАрдорд╛ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ рдЬреЛ рд╕реНрддрдВрднреЛрдВ рдХреЗ рдбреЗрдЯрд╛ рдЯрд╛рдЗрдкреНрд╕ рдХреЛ рд╡реИрд▓рд┐рдбреЗрдЯ рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд▓реЙрдЬрд┐рдХ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИ, рдЬреИрд╕реЗ рд╡реИрд▓реНрдпреВрдЬрд╝ рдХрд╛ рдХрд┐рд╕реА рд╕реАрдорд╛ рдХреЗ рднреАрддрд░ рд╣реЛрдирд╛ рдпрд╛ рдХрд┐рд╕реА рд╕реНрддрдВрдн рдХрд╛ рдпреВрдирд┐рдХ рд╣реЛрдирд╛редрдЖрдк рдЗрд╕рдХреЗ рдбреЗрдХреЛрд░реЗрдЯрд░реНрд╕ (рдЬреИрд╕реЗ
@pa.check_types) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЕрдкрдиреА рдлрд╝рдВрдХреНрд╢рдВрд╕ рдХреЗ рдЗрдирдкреБрдЯреНрд╕ рдФрд░ рдЖрдЙрдЯрдкреБрдЯреНрд╕ рдХреЛ рд╕реНрд╡рддрдГ рд╡реИрд▓рд┐рдбреЗрдЯ рдХрд░рд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ тАЬрдЧрдВрджрд╛ рдбреЗрдЯрд╛тАЭ рдЪреБрдкрдЪрд╛рдк рдЖрдкрдХреА рдбрд╛рдЙрдирд╕реНрдЯреНрд░реАрдо рдкрд╛рдЗрдкрд▓рд╛рдЗрдВрд╕ рдХреЛ рди рддреЛрдбрд╝реЗред рдпрд╣ рдкреНрд░рднрд╛рд╡реА рд░реВрдк рд╕реЗ рд╕реНрд╡рдпрдВ рдЖрдкрдХреЗ рдбреЗрдЯрд╛ рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдХрд╛ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИредрдЗрдВрдЯрд░рд╡реНрдпреВ рдХреА рддреИрдпрд╛рд░реА
рд╕рдВрднрд╛рд╡рдирд╛ рд╣реИ рдХрд┐ рдЖрдкрд╕реЗ рд╕рдмрд╕реЗ рдЬрд╝реНрдпрд╛рджрд╛ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдХреБрдЫ рдкреНрд░рд╢реНрди рдЬрд╝рд░реВрд░ рдкреВрдЫреЗ рдЬрд╛рдПрдБрдЧреЗ, рдЗрд╕рд▓рд┐рдП рдЗрдирдХрд╛ рдЕрднреНрдпрд╛рд╕ рдХрд░рдирд╛ рдПрдХ рдЕрдЪреНрдЫрд╛ рд╡рд┐рдЪрд╛рд░ рд╣реИред pandas рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдбреЗрдЯрд╛-рдЙрдиреНрдореБрдЦ рдЬреЙрдм рд░реЛрд▓ рдореЗрдВ рдХрдИ рдЕрдиреНрдп рдХреМрд╢рд▓реЛрдВ рдХреА рднреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИред рд╕рдВрдкреВрд░реНрдг рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рд╕рдлрд▓ рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП рдпрд╣ рдЪреЗрдХрд▓рд┐рд╕реНрдЯ рджреЗрдЦреЗрдВ:
рдЬреЙрдм рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреА рд╕рдордЭ
рдЬреЙрдм рд╡рд┐рд╡рд░рдг рдФрд░ рдЬрд╝рд┐рдореНрдореЗрджрд╛рд░рд┐рдпрд╛рдБ рджреЛрдмрд╛рд░рд╛ рдкрдврд╝реЗрдВ рдФрд░ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдкрдХреА рд╕реНрдХрд┐рд▓реНрд╕ рдФрд░ рд░рд┐рдЬрд╝реНрдпреВрдореЗ рдЙрдирд╕реЗ рдореЗрд▓ рдЦрд╛рддреЗ рд╣реЛрдВред рд╕рд╛рде рд╣реА, рдХрдВрдкрдиреА рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдирдирд╛ рдФрд░ рдЖрдкрдХреА рднреВрдорд┐рдХрд╛ рдХрд╛ рдЙрд╕ рдкрд░ рдХреНрдпрд╛ рдкреНрд░рднрд╛рд╡ рд╣реЛрдЧрд╛, рдпрд╣ рд╕рдордЭрдирд╛ рднреА рдлрд╛рдпрджреЗрдордВрдж рд╣реИред
Python рдХреЛрдбрд┐рдВрдЧ
рд╕рд╛рдХреНрд╖рд╛рддреНрдХрд╛рд░рдХрд░реНрддрд╛, рд▓рд╛рдЗрдмреНрд░реЗрд░реА (pandas) рдкрд░ рдЖрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ рдЖрдкрдХреЗ Python рдХреМрд╢рд▓ рдЬрд╛рдБрдЪрддреЗ рд╣реИрдВред рдЗрд╕рд▓рд┐рдП, рдЕрдкрдиреЗ Python рдХреМрд╢рд▓ рдордЬрд╝рдмреВрдд рд░рдЦреЗрдВред
рдПрдирд╛рд▓рд┐рд╕реНрдЯ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдХреЗрд╡рд▓ Python рднрд╛рд╖рд╛ рдкрд░реНрдпрд╛рдкреНрдд рд╣реЛрддреА рд╣реИред рд▓реЗрдХрд┐рди рдпрджрд┐ рдЖрдк рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдпрд╛ ML рдЗрдВрдЬреАрдирд┐рдпрд░ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ Python рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпрд╛рдБ рд╣рд▓ рдХрд░рдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИред
рдбреЗрдЯрд╛ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕
рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдкрдХреЗ рд░рд┐рдЬрд╝реНрдпреВрдореЗ рдореЗрдВ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреА рдбреЗрдЯрд╛ рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд╕рдорд╛рдзрд╛рди рд╣реЛрдВред рдЕрдиреБрднрд╡реА рдЙрдореНрдореАрджрд╡рд╛рд░ рдЕрдкрдиреЗ рдкрд┐рдЫрд▓реЗ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдмрд╛рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдпрджрд┐ рдЖрдк рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдирдП рд╣реИрдВ, рддреЛ Kaggle рд╕реЗ рдХреБрдЫ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕ рдкреВрд░реЗ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВред
рдЕрддрд┐рд░рд┐рдХреНрдд рдЕрд╡рдзрд╛рд░рдгрд╛рдПрдБ
рдЗрди рдмреБрдирд┐рдпрд╛рджреА рдмрд╛рддреЛрдВ рд╕реЗ рдЖрдЧреЗ, рдЕрддрд┐рд░рд┐рдХреНрдд рдкреНрд░рд╢реНрди рднреВрдорд┐рдХрд╛ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░реЗрдВрдЧреЗред
рдПрдирд╛рд▓рд┐рд╕реНрдЯреНрд╕ рдХреЗ рд▓рд┐рдП, рдкреНрд░рд╢реНрди Excel, рдбреЗрдЯрд╛ рд╡рд┐рдЬрд╝реБрдЕрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдбреИрд╢рдмреЛрд░реНрдбреНрд╕, рд╕рд╛рдВрдЦреНрдпрд┐рдХреА рдФрд░ рдкреНрд░рд╛рдпрд┐рдХрддрд╛ рд╕реЗ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред
рдЗрд╕рдХреЗ рдЕрддрд┐рд░рд┐рдХреНрдд, рдпрджрд┐ рдЖрдк рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдпрд╛ ML рдЗрдВрдЬреАрдирд┐рдпрд░ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рд╕рд╛рдХреНрд╖рд╛рддреНрдХрд╛рд░рдХрд░реНрддрд╛ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдФрд░ рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рд╡рд┐рд╖рдпреЛрдВ рдореЗрдВ рдЧрд╣рд░рд╛рдИ рддрдХ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
рдпрджрд┐ рдЖрдк рдЕрддреНрдпрдзрд┐рдХ рддрдХрдиреАрдХреА рдпрд╛ рдЕрдиреБрднрд╡реА рднреВрдорд┐рдХрд╛ рдХреЗ рд▓рд┐рдП рдЖрд╡реЗрджрди рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рд╕рд┐рд╕реНрдЯрдо рдбрд┐реЫрд╛рдЗрди рд╕реЗ рдЬреБрдбрд╝реЗ рдкреНрд░рд╢реНрдиреЛрдВ рдХреА рдЙрдореНрдореАрдж рдХрд░реЗрдВред рд╕рд╛рдорд╛рдиреНрдп рдбрд┐реЫрд╛рдЗрди рдкреНрд░рд╢реНрдиреЛрдВ рдХреЛ рджреЛрд╣рд░рд╛рдПрдБ рдФрд░ рдПрдВрдб-рдЯреВ-рдПрдВрдб ML рд╕рд┐рд╕реНрдЯрдо рдбрд┐реЫрд╛рдЗрди рд╕рдорд╕реНрдпрд╛рдУрдВ рдХрд╛ рдЕрднреНрдпрд╛рд╕ рдХрд░реЗрдВред
рдирд┐рд╖реНрдХрд░реНрд╖
рдбреЗрдЯрд╛ рдЙрджреНрдпреЛрдЧ рдореЗрдВ рдиреМрдХрд░реА рдкрд╛рдирд╛ рдЕрдХреНрд╕рд░ рдордЬрд╝рдмреВрдд Pandas рдХреМрд╢рд▓реЛрдВ рдХреА рдорд╛рдБрдЧ рдХрд░рддрд╛ рд╣реИред рдКрдкрд░ рджреА рдЧрдИ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдФрд░ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рджреЛрдиреЛрдВ рддрд░рд╣ рдХреА рдЗрдВрдЯрд░рд╡реНрдпреВ рдкреНрд░рд╢реНрдиреЛрдВ рдХреА рд╕реВрдЪреА рдЖрдкрдХреЗ рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреЗ pandas рд╣рд┐рд╕реНрд╕реЗ рдореЗрдВ рд╕рдлрд▓ рд╣реЛрдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдЧреАред рд╕рд╛рде рд╣реА, рдЕрдВрдд рдореЗрдВ рджрд┐рдП рдЧрдП рд╕реБрдЭрд╛рд╡ рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВрдЧреЗ рдХрд┐ рдЖрдкрдХрд╛ рдкреВрд░рд╛ рдЗрдВрдЯрд░рд╡реНрдпреВ рд╕реБрдЪрд╛рд░реВ рд░реВрдк рд╕реЗ рдмреАрддреЗред
рдЖрдк рдЕрдкрдиреЗ pandas рдЗрдВрдЯрд░рд╡реНрдпреВ рдХреА рддреИрдпрд╛рд░реА рдХреЗ рд▓рд┐рдП рдирд┐рдореНрди рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ: