рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

рдирд┐рдГрд╢реБрд▓реНрдХ рдХреЛрд░реНрд╕

PySpark рдХреЗ рд╕рд╛рде Feature Engineering

рдЙрдиреНрдирдд4 рдШрдВрдЯреЗ

рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХреЛрдВ рдХрд╛ 70-80% рд╕рдордп рд▓реЗрдиреЗ рд╡рд╛рд▓реЗ рдмрд╛рд░реАрдХ рдкрд╣рд▓реВ рд╕реАрдЦреЗрдВ; рдбреЗрдЯрд╛ рд░реИрдВрдЧрд▓рд┐рдВрдЧ рдФрд░ рдлреАрдЪрд░ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧред

Python4 рдШрдВрдЯреЗрдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдгрдкрддреНрд░

рдЕрдкрдирд╛ рдирд┐рдГрд╢реБрд▓реНрдХ рдЦрд╛рддрд╛ рдмрдирд╛рдПрдБ

Google рдХреЗ рд╕рд╛рде рдЬрд╛рд░реА рд░рдЦреЗрдВ
рдпрд╛
рдЬрд╛рд░реА рд░рдЦрдХрд░, рдЖрдк рд╣рдорд╛рд░реА рдЙрдкрдпреЛрдЧ рдХреА рд╢рд░реНрддреЗрдВ, рд╣рдорд╛рд░реА рдЧреЛрдкрдиреАрдпрддрд╛ рдиреАрддрд┐ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЖрдкрдХрд╛ рдбреЗрдЯрд╛ USA рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реИред

рд╣рдЬрд╝рд╛рд░реЛрдВ рдХрдВрдкрдирд┐рдпреЛрдВ рдХреЗ рд╢рд┐рдХреНрд╖рд╛рд░реНрдерд┐рдпреЛрдВ рджреНрд╡рд╛рд░рд╛ рдкрд╕рдВрдж рдХрд┐рдпрд╛ рдЧрдпрд╛

рдХрд┐рд╕реА рдЯреАрдо рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?

рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрдЬрд╝рдорд╛рдПрдБ тЖТ

рдХреЛрд░реНрд╕ рд╡рд┐рд╡рд░рдг

рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХрд╛ рдбреЗрдЯрд╛ рдмрд┐рдЦрд░рд╛ рд╣реБрдЖ рд╣реЛрддрд╛ рд╣реИ, рдФрд░ рдЖрдкрдХрд╛ рдХрд╛рдо рдЙрд╕реЗ рд╕рдордЭ рдореЗрдВ рд▓рд╛рдирд╛ рд╣реИред MTCars рдФрд░ Iris рдЬреИрд╕реЗ рдЯреЙрдп рдбреЗрдЯрд╛рд╕реЗрдЯ рд╕рд╛рд╡рдзрд╛рдиреАрдкреВрд░реНрд╡рдХ рдХреНрдпреВрд░реЗрд╢рди рдФрд░ рдХреНрд▓реАрдирд┐рдВрдЧ рдХрд╛ рдирддреАрдЬрд╛ рд╣реЛрддреЗ рд╣реИрдВ, рдлрд┐рд░ рднреА рдЙрдиреНрд╣реЗрдВ рдЙрдкрдпреЛрдЧреА рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЯреНрд░рд╛рдВрд╕рдлрд╝реЙрд░реНрдо рдХрд░рдирд╛ рдкрдбрд╝рддрд╛ рд╣реИ рддрд╛рдХрд┐ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдПрд▓реНрдЧреЛрд░рд┐рджрдо рдЕрд░реНрде рдирд┐рдХрд╛рд▓ рд╕рдХреЗрдВ, рдлреЛрд░рдХрд╛рд╕реНрдЯ рдХрд░ рд╕рдХреЗрдВ, рдХреНрд▓рд╛рд╕рд┐рдлрд╝рд╛рдИ рдХрд░реЗрдВ рдпрд╛ рдХреНрд▓рд╕реНрдЯрд░ рдмрдирд╛рдПрдБред рдЗрд╕ рдХреЛрд░реНрд╕ рдореЗрдВ рд╣рдо рд╡реЗ рдкреЗрдЪреАрджрд╛ рдмрд╛рддреЗрдВ рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗ рдЬрд┐рди рдкрд░ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдЕрдкрдирд╛ 70тАУ80% рд╕рдордп рд▓рдЧрд╛рддреЗ рд╣реИрдВ: рдбреЗрдЯрд╛ рд░реИрдВрдЧрд▓рд┐рдВрдЧ рдФрд░ рдлреАрдЪрд░ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧред рдЕрдм рдЬрдм рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рдЖрдХрд╛рд░ рдкрд╣рд▓реЗ рд╕реЗ рдХрд╣реАрдВ рдмрдбрд╝рд╛ рд╣реЛ рд░рд╣рд╛ рд╣реИ, рддреЛ рдЖрдЗрдП PySpark рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЗрд╕ Big Data рд╕рдорд╕реНрдпрд╛ рдХреЛ рд╕рдВрднрд╛рд▓рдиреЗ рд▓рд╛рдпрдХ рдЖрдХрд╛рд░ рдореЗрдВ рд▓рд╛рдПрдБ!

рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ

рдкрд╛рдареНрдпрдХреНрд░рдо

рдХреЛрд░реНрд╕ рд░реВрдкрд░реЗрдЦрд╛

1

Exploratory Data Analysis

рд╕реАрдзреЗ рдХреВрджрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдЕрдкрдиреА рд╕рдорд╕реНрдпрд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдереЛрдбрд╝рд╛ рдЬрд╛рдирд┐рдП! рдлрд┐рд░ рд╕реАрдЦрд┐рдП рдХрд┐ рдЕрдкрдиреЗ рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдФрд░ рд╡рд┐рдЬрд╝реБрдЕрд▓ рддрд░реАрдХреЗ рд╕реЗ рдирд┐рд░реАрдХреНрд╖рдг рдХреИрд╕реЗ рдХрд░реЗрдВ!
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
2

Spark рдлрдВрдХреНрд╢рдВрд╕ рдХреЗ рд╕рд╛рде рд░реИрдВрдЧрд▓рд┐рдВрдЧ

рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдбреЗрдЯрд╛ рд╢рд╛рдпрдж рд╣реА рдХрднреА рд╕рд╛рдлрд╝ рдФрд░ рдПрдирд╛рд▓рд┐рд╕рд┐рд╕ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рд╣реЛрддрд╛ рд╣реИред рдЗрд╕ рдЪреИрдкреНрдЯрд░ рдореЗрдВ рд╕реАрдЦрд┐рдП рдХрд┐ рдЕрдирд╛рд╡рд╢реНрдпрдХ рдЬрд╛рдирдХрд╛рд░реА рдХреИрд╕реЗ рд╣рдЯрд╛рдПрдБ, missing values рдХреЛ рдХреИрд╕реЗ рд╕рдВрднрд╛рд▓реЗрдВ рдФрд░ рдЕрдкрдиреА рдПрдирд╛рд▓рд┐рд╕рд┐рд╕ рдореЗрдВ рдЕрддрд┐рд░рд┐рдХреНрдд рдбреЗрдЯрд╛ рдХреИрд╕реЗ рдЬреЛрдбрд╝реЗрдВред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
3

рдлреАрдЪрд░ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ

рдЗрд╕ рдЪреИрдкреНрдЯрд░ рдореЗрдВ рд╕реАрдЦрд┐рдП рдХрд┐ рдЕрдкрдиреЗ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдореЙрдбрд▓ рдХреЗ рд╕реАрдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдирдП рдлреАрдЪрд░ рдХреИрд╕реЗ рдмрдирд╛рдПрдБред рд╣рдо рдлрд╝реАрд▓реНрдбреНрд╕ рдХреЛ рдорд┐рд▓рд╛рдХрд░, рдореИрд╕реА рдХреЙрд▓рдореНрд╕ рд╕реЗ рдорд╛рди рдирд┐рдХрд╛рд▓рдХрд░, рдпрд╛ рдмреЗрд╣рддрд░ рдирддреАрдЬреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдиреНрд╣реЗрдВ рдПрдиреНрдХреЛрдб рдХрд░рдХреЗ рдлреАрдЪрд░реНрд╕ рдЬрдирд░реЗрдЯ рдХрд░рдиреЗ рдХреЗ рддрд░реАрдХреЗ рджреЗрдЦреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
4

рдореЙрдбрд▓ рдмрдирд╛рдирд╛

рдЗрд╕ рдЪреИрдкреНрдЯрд░ рдореЗрдВ рд╣рдо рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдХрд┐рд╕ рдкреНрд░рдХрд╛рд░ рдХрд╛ рдореЙрдбрд▓ рдЪреБрдирдирд╛ рд╣реИред рдлрд┐рд░ рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреЛ рдореЙрдбрд▓ рдкрд░ рдХреИрд╕реЗ рд▓рд╛рдЧреВ рдХрд░реЗрдВ рдФрд░ рдЙрд╕рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░реЗрдВред рдЕрдВрдд рдореЗрдВ, рд╣рдо рдирддреАрдЬреЛрдВ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХрд░рдирд╛ рдФрд░ рдореЙрдбрд▓ рдХреЛ рдмрд╛рдж рдХреЗ рд▓рд┐рдП рд╕реЗрд╡ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗ!
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ

PySpark рдХреЗ рд╕рд╛рде Feature Engineering

рдХреЛрд░реНрд╕
рдкреВрд░реНрдг

рдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдЕрд░реНрдЬрд┐рдд рдХрд░реЗрдВ

рдЕрднреА рдирд╛рдорд╛рдВрдХрди рдХрд░реЗрдВ

DataCamp for Mobile рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреМрд╢рд▓ рдмрдврд╝рд╛рдПрдБ

рд╣рдорд╛рд░реЗ рдореЛрдмрд╛рдЗрд▓ рдХреЛрд░реНрд╕ рдФрд░ рд░реЛрдЬрд╝рд╛рдирд╛ 5-рдорд┐рдирдЯ рдХреА рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдЪрд▓рддреЗ-рдлрд┐рд░рддреЗ рдкреНрд░рдЧрддрд┐ рдХрд░реЗрдВред