рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

рдирд┐рдГрд╢реБрд▓реНрдХ рдХреЛрд░реНрд╕

PySpark рдХреЗ рд╕рд╛рде Machine Learning

рдЙрдиреНрдирдд4 рдШрдВрдЯреЗ

Apache Spark рдХреЗ рд╕рд╛рде рдбреЗрдЯрд╛ рд╕реЗ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рдмрдирд╛рдирд╛ рд╕реАрдЦреЗрдВ, decision trees, logistic regression, linear regression, ensembles рдФрд░ pipelines рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ.

Python4 рдШрдВрдЯреЗрдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдгрдкрддреНрд░

рдЕрдкрдирд╛ рдирд┐рдГрд╢реБрд▓реНрдХ рдЦрд╛рддрд╛ рдмрдирд╛рдПрдБ

Google рдХреЗ рд╕рд╛рде рдЬрд╛рд░реА рд░рдЦреЗрдВ
рдпрд╛
рдЬрд╛рд░реА рд░рдЦрдХрд░, рдЖрдк рд╣рдорд╛рд░реА рдЙрдкрдпреЛрдЧ рдХреА рд╢рд░реНрддреЗрдВ, рд╣рдорд╛рд░реА рдЧреЛрдкрдиреАрдпрддрд╛ рдиреАрддрд┐ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЖрдкрдХрд╛ рдбреЗрдЯрд╛ USA рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реИред

рд╣рдЬрд╝рд╛рд░реЛрдВ рдХрдВрдкрдирд┐рдпреЛрдВ рдХреЗ рд╢рд┐рдХреНрд╖рд╛рд░реНрдерд┐рдпреЛрдВ рджреНрд╡рд╛рд░рд╛ рдкрд╕рдВрдж рдХрд┐рдпрд╛ рдЧрдпрд╛

рдХрд┐рд╕реА рдЯреАрдо рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?

рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрдЬрд╝рдорд╛рдПрдБ тЖТ

рдХреЛрд░реНрд╕ рд╡рд┐рд╡рд░рдг

рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП Apache Spark рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВ

рд╕реНрдкрд╛рд░реНрдХ рдмрд┐рдЧ рдбреЗрдЯрд╛ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА, рд╕рд╛рдорд╛рдиреНрдп-рдЙрджреНрджреЗрд╢реНрдп рдЙрдкрдХрд░рдг рд╣реИред Spark рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдХрдВрдкреНрдпреВрдЯ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд╡рд┐рддрд░рдг рдХреЛ рдкрд╛рд░рджрд░реНрд╢реА рд░реВрдк рд╕реЗ рд╕рдВрднрд╛рд▓рддрд╛ рд╣реИред рдЗрд╕рдХрд╛ рдорддрд▓рдм рд╣реИ рдХрд┐ рд╕рдВрдЪрд╛рд▓рди рддреЗрдЬрд╝ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдпрд╣ рдЖрдкрдХреЛ рддрдХрдиреАрдХреА рд╡рд┐рд╡рд░рдгреЛрдВ рдХреА рдЪрд┐рдВрддрд╛ рдХрд░рдиреЗ рдХреЗ рдмрдЬрд╛рдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдкрд░ рдзреНрдпрд╛рди рдХреЗрдВрджреНрд░рд┐рдд рдХрд░рдиреЗ рдХреА рднреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИред рдЗрд╕ рдкрд╛рдареНрдпрдХреНрд░рдо рдореЗрдВ рдЖрдк рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдбреЗрдЯрд╛ рдХреЛ Spark рдореЗрдВ рдХреИрд╕реЗ рд▓рд╛рдпрд╛ рдЬрд╛рдП рдФрд░ рдлрд┐рд░ рддреАрди рдореВрд▓рднреВрдд Spark рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдПрд▓реНрдЧреЛрд░рд┐рджрдореЛрдВ рдореЗрдВ рдЧрд╣рд░рд╛рдИ рд╕реЗ рдХреИрд╕реЗ рдЬрд╛рдПрдБ: рд▓реАрдирд┐рдпрд░ рд░рд┐рдЧреНрд░реЗрд╢рди, рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди/рдХреНрд▓рд╛рд╕рд┐рдлрд╝рд╛рдпрд░реНрд╕, рдФрд░ рдкрд╛рдЗрдкрд▓рд╛рдЗрдиреЛрдВ рдХрд╛ рдирд┐рд░реНрдорд╛рдгред

рдирд┐рд░реНрдгрдп рд╡реГрдХреНрд╖ рдмрдирд╛рдПрдВ рдФрд░ рдЙрдирдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ

рдЕрдкрдиреЗ рдЦреБрдж рдХреЗ рдирд┐рд░реНрдгрдп рд╡реГрдХреНрд╖ рдмрдирд╛рдирд╛ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдореЙрдбрд▓реЛрдВ рдХреА рдЦреЛрдЬ рд╢реБрд░реВ рдХрд░рдиреЗ рдХрд╛ рдПрдХ рд╢рд╛рдирджрд╛рд░ рддрд░реАрдХрд╛ рд╣реИред рдЖрдк тАШрд░рд┐рдХрд░реНрд╕рд┐рд╡ рдкрд╛рд░реНрдЯрд┐рд╢рдирд┐рдВрдЧтАЩ рдирд╛рдордХ рдПрдХ рдПрд▓реНрдЧреЛрд░рд┐рджреНрдо рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдбреЗрдЯрд╛ рдХреЛ рджреЛ рд╡рд░реНрдЧреЛрдВ рдореЗрдВ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд░реЗрдВрдЧреЗ рдФрд░ рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреЗ рднреАрддрд░ рдПрдХ рдРрд╕рд╛ рдкреНрд░реЗрдбрд┐рдХреНрдЯрд░ рдЦреЛрдЬреЗрдВрдЧреЗ рдЬреЛ рджреЛрдиреЛрдВ рд╡рд░реНрдЧреЛрдВ рдХрд╛ рд╕рдмрд╕реЗ рдЕрдзрд┐рдХ рд╕реВрдЪрдирд╛рддреНрдордХ рд╡рд┐рднрд╛рдЬрди рдкреНрд░рджрд╛рди рдХрд░реЗ, рдФрд░ рдлрд┐рд░ рдЖрдЧреЗ рдХреЗ рдиреЛрдбреНрд╕ рдХреЗ рд╕рд╛рде рдЗрд╕ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рджреЛрд╣рд░рд╛рдПрдБрдЧреЗред рдлрд┐рд░ рдЖрдк рдЕрдкрдиреЗ рдирд┐рд░реНрдгрдп рд╡реГрдХреНрд╖ рдХрд╛ рдЙрдкрдпреЛрдЧ рдирдП рдбреЗрдЯрд╛ рдХреЗ рд╕рд╛рде рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рд▓рдЧрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред

PySpark рдореЗрдВ рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рдФрд░ рд▓реАрдирд┐рдпрд░ рд░рд┐рдЧреНрд░реЗрд╢рди рдореЗрдВ рдорд╣рд╛рд░рдд рд╣рд╛рд╕рд┐рд▓ рдХрд░реЗрдВ

рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рдФрд░ рд░реИрдЦрд┐рдХ рдкреНрд░рддрд┐рдЧрдорди PySpark рджреНрд╡рд╛рд░рд╛ рд╕рдорд░реНрдерд┐рдд рдЖрд╡рд╢реНрдпрдХ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рддрдХрдиреАрдХреЗрдВ рд╣реИрдВред рдЖрдк рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рдореЙрдбрд▓ рдмрдирд╛рдирд╛ рдФрд░ рдЙрдирдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗ, рдФрд░ рдлрд┐рд░ рд▓реАрдирд┐рдпрд░ рд░рд┐рдЧреНрд░реЗрд╢рди рдореЙрдбрд▓ рдмрдирд╛рдиреЗ рдХреА рдУрд░ рдмрдврд╝реЗрдВрдЧреЗ, рддрд╛рдХрд┐ рдЖрдк рдЕрдкрдиреЗ рдкреНрд░реЗрдбрд┐рдХреНрдЯрд░реНрд╕ рдХреЛ рдХреЗрд╡рд▓ рд╕рдмрд╕реЗ рдкреНрд░рд╛рд╕рдВрдЧрд┐рдХ рд╡рд┐рдХрд▓реНрдкреЛрдВ рддрдХ рдкрд░рд┐рд╖реНрдХреГрдд рдХрд░ рд╕рдХреЗрдВред

рдкрд╛рдареНрдпрдХреНрд░рдо рдХреЗ рдЕрдВрдд рддрдХ, рдЖрдк рдкреВрд░реЗ рдЖрддреНрдорд╡рд┐рд╢реНрд╡рд╛рд╕ рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдирдП-рдирдП рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдЬреНрдЮрд╛рди рдХреЛ рд▓рд╛рдЧреВ рдХрд░ рдкрд╛рдПрдБрдЧреЗ, рдХреНрдпреЛрдВрдХрд┐ рдкреВрд░реЗ рдкрд╛рдареНрдпрдХреНрд░рдо рдореЗрдВ рдЖрдкрдХреЛ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдХрд╛рд░реНрдп рдФрд░ рдЕрднреНрдпрд╛рд╕ рдбреЗрдЯрд╛ рд╕реЗрдЯ рдорд┐рд▓реЗрдВрдЧреЗред

рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ

рдкрд╛рдареНрдпрдХреНрд░рдо

рдХреЛрд░реНрд╕ рд░реВрдкрд░реЗрдЦрд╛

1

рдкрд░рд┐рдЪрдп

Spark рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рдлреНрд░реЗрдорд╡рд░реНрдХ рд╣реИред рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ рдЖрдк Spark рдФрд░ Machine Learning рдХреА рдкреГрд╖реНрдарднреВрдорд┐ рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗред рдлрд┐рд░ рдЖрдк Python рдХреЗ рдЬрд╝рд░рд┐рдП Spark рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░рдирд╛ рдФрд░ CSV рдбреЗрдЯрд╛ рд▓реЛрдб рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
2

рдХреНрд▓рд╛рд╕рд┐рдлрд┐рдХреЗрд╢рди

рдЕрдм рдЬрдм рдЖрдк Spark рдореЗрдВ рдбреЗрдЯрд╛ рд▓рд╛рдиреЗ рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рд╣реИрдВ, рддреЛ рдЖрдк рджреЛ рддрд░рд╣ рдХреЗ рдХреНрд▓рд╛рд╕рд┐рдлрд┐рдХреЗрд╢рди рдореЙрдбрд▓ рдмрдирд╛рдПрдБрдЧреЗ: Decision Trees рдФрд░ Logistic Regressionред рдЖрдк рдбреЗрдЯрд╛ рдкреНрд░рд┐рдкрд░реЗрд╢рди рдХреЗ рдХреБрдЫ рддрд░реАрдХреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рднреА рдЬрд╛рдиреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
3

рд░реАрдЧреНрд░реЗрд╢рди

рдЕрдЧрд▓реЗ рдЪрд░рдг рдореЗрдВ рдЖрдк Linear Regression рдореЙрдбрд▓ рдмрдирд╛рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред рдЖрдк рдирдП рдкреНрд░реАрдбрд┐рдХреНрдЯрд░реНрд╕ рдЗрдВрдЬреАрдирд┐рдпрд░ рдХрд░рдХреЗ рдбреЗрдЯрд╛ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдирд╛ рдФрд░ рдХреЗрд╡рд▓ рд╕рдмрд╕реЗ рдкреНрд░рд╛рд╕рдВрдЧрд┐рдХ рдкреНрд░реАрдбрд┐рдХреНрдЯрд░реНрд╕ рдЪреБрдирдиреЗ рдХреЗ рдПрдХ рдордЬрд╝рдмреВрдд рддрд░реАрдХреЗ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рднреА рдЬрд╛рдиреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
4

рдПрдВрд╕реЗрдВрдмрд▓реНрд╕ рдФрд░ рдкрд╛рдЗрдкрд▓рд╛рдЗрдВрд╕

рдЕрдВрдд рдореЗрдВ рдЖрдк рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдЕрдкрдиреЗ рдореЙрдбрд▓реНрд╕ рдХреЛ рдФрд░ рдХреБрд╢рд▓ рдХреИрд╕реЗ рдмрдирд╛рдпрд╛ рдЬрд╛рдПред рдЖрдк рдкрд╛рдЗрдкрд▓рд╛рдЗрдВрд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗ рддрд╛рдХрд┐ рдЖрдкрдХрд╛ рдХреЛрдб рд╕рд╛рдлрд╝ рдФрд░ рдореЗрдВрдЯреЗрди рдХрд░рдирд╛ рдЖрд╕рд╛рди рд╣реЛред рдлрд┐рд░ рдЖрдк рдХреНрд░реЙрд╕-рд╡реИрд▓рд┐рдбреЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ рддрд╛рдХрд┐ рдореЙрдбрд▓реНрд╕ рдХрд╛ рдмреЗрд╣рддрд░ рдкрд░реАрдХреНрд╖рдг рд╣реЛ рдФрд░ рдЕрдЪреНрдЫреЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдЪреБрдиреЗ рдЬрд╛ рд╕рдХреЗрдВред рдЕрдВрдд рдореЗрдВ, рдЖрдк рджреЛ рдкреНрд░рдХрд╛рд░ рдХреЗ рдПрдВрд╕реЗрдВрдмрд▓ рдореЙрдбрд▓реНрд╕ рдЖрдЬрд╝рдорд╛рдПрдБрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ

PySpark рдХреЗ рд╕рд╛рде Machine Learning

рдХреЛрд░реНрд╕
рдкреВрд░реНрдг

рдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдЕрд░реНрдЬрд┐рдд рдХрд░реЗрдВ

рдЕрднреА рдирд╛рдорд╛рдВрдХрди рдХрд░реЗрдВ

DataCamp for Mobile рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреМрд╢рд▓ рдмрдврд╝рд╛рдПрдБ

рд╣рдорд╛рд░реЗ рдореЛрдмрд╛рдЗрд▓ рдХреЛрд░реНрд╕ рдФрд░ рд░реЛрдЬрд╝рд╛рдирд╛ 5-рдорд┐рдирдЯ рдХреА рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдЪрд▓рддреЗ-рдлрд┐рд░рддреЗ рдкреНрд░рдЧрддрд┐ рдХрд░реЗрдВред