рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

рдирд┐рдГрд╢реБрд▓реНрдХ рдХреЛрд░реНрд╕

PySpark рдХреЗ рд╕рд╛рде Recommendation Engines рдмрдирд╛рдирд╛

рдЙрдиреНрдирдд4 рдШрдВрдЯреЗ

рдЕрдкрдиреЗ рдмрд┐рдЧ рдбреЗрдЯрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЕрдкрдиреЗ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рд╕рдХрд╛рд░рд╛рддреНрдордХ рдЕрдиреБрднрд╡реЛрдВ рдХреЛ рд╕реБрдЧрдо рдмрдирд╛рдиреЗ рд╣реЗрддреБ рдЯреВрд▓реНрд╕ рдФрд░ рддрдХрдиреАрдХреЗрдВ рд╕реАрдЦреЗрдВред

Python4 рдШрдВрдЯреЗрдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдгрдкрддреНрд░

рдЕрдкрдирд╛ рдирд┐рдГрд╢реБрд▓реНрдХ рдЦрд╛рддрд╛ рдмрдирд╛рдПрдБ

Google рдХреЗ рд╕рд╛рде рдЬрд╛рд░реА рд░рдЦреЗрдВ
рдпрд╛
рдЬрд╛рд░реА рд░рдЦрдХрд░, рдЖрдк рд╣рдорд╛рд░реА рдЙрдкрдпреЛрдЧ рдХреА рд╢рд░реНрддреЗрдВ, рд╣рдорд╛рд░реА рдЧреЛрдкрдиреАрдпрддрд╛ рдиреАрддрд┐ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЖрдкрдХрд╛ рдбреЗрдЯрд╛ USA рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реИред

рд╣рдЬрд╝рд╛рд░реЛрдВ рдХрдВрдкрдирд┐рдпреЛрдВ рдХреЗ рд╢рд┐рдХреНрд╖рд╛рд░реНрдерд┐рдпреЛрдВ рджреНрд╡рд╛рд░рд╛ рдкрд╕рдВрдж рдХрд┐рдпрд╛ рдЧрдпрд╛

рдХрд┐рд╕реА рдЯреАрдо рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?

рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрдЬрд╝рдорд╛рдПрдБ тЖТ

рдХреЛрд░реНрд╕ рд╡рд┐рд╡рд░рдг

рдпрд╣ рдХреЛрд░реНрд╕ рдЖрдкрдХреЛ PySpark рдореЗрдВ Alternating Least Squares рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ recommendation engines рдмрдирд╛рдирд╛ рд╕рд┐рдЦрд╛рдПрдЧрд╛ред рд▓реЛрдХрдкреНрд░рд┐рдп MovieLens рдбреЗрдЯрд╛рд╕реЗрдЯ рдФрд░ Million Songs рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд╕рд╛рде, рдпрд╣ рдХреЛрд░реНрд╕ рдЖрдкрдХреЛ ALS рдПрд▓реНрдЧреЛрд░рд┐рджрдо рдХреА рд╕рдордЭ рд╕реЗ рд▓реЗрдХрд░ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░рд╣ рдХреЗ рдХрд╕реНрдЯрдорд░ рдбреЗрдЯрд╛ рдкрд░ ALS рдореЙрдбрд▓реЛрдВ рдХреЛ train, test рдФрд░ implement рдХрд░рдиреЗ рдХреЗ рдХреЛрдб рддрдХ, рдХрджрдо-рджрд░-рдХрджрдо рд▓реЗ рдЬрд╛рдПрдЧрд╛ред

рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ

рдкрд╛рдареНрдпрдХреНрд░рдо

рдХреЛрд░реНрд╕ рд░реВрдкрд░реЗрдЦрд╛

1

рд╕рд┐рдлрд╛рд░рд┐рд╢реЗрдВ рд╣рд░ рдЬрдЧрд╣ рд╣реИрдВ

рдпрд╣ рдЕрдзреНрдпрд╛рдп рдЖрдкрдХреЛ рджрд┐рдЦрд╛рдПрдЧрд╛ рдХрд┐ recommendation engines рдХрд┐рддрдиреЗ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВ, рдФрд░ collaborative-filtering engines рддрдерд╛ content-based engines рдХреЗ рдмреАрдЪ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдЕрдВрддрд░ рд╕реНрдкрд╖реНрдЯ рдХрд░реЗрдЧрд╛, рд╕рд╛рде рд╣реА рдЙрди рд╡рд┐рднрд┐рдиреНрди рдкреНрд░рдХрд╛рд░ рдХреЗ implicit рдФрд░ explicit рдбреЗрдЯрд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рднреА рдмрддрд╛рдПрдЧрд╛ рдЬрд┐рдирдХрд╛ рдЙрдкрдпреЛрдЧ recommendation engines рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЖрдк рдПрдХ рдмрд╣реБрдд рдкреНрд░рднрд╛рд╡рд╢рд╛рд▓реА рддрд░реАрдХрд╛ рднреА рд╕реАрдЦреЗрдВрдЧреЗ рдЬрд┐рд╕рд╕реЗ рдЖрдк рдЫрд┐рдкреА рд╣реБрдИ рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдБ (latent features) рдЦреЛрдЬ рд╕рдХрддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдЖрдк рдЕрдкрдиреЗ customer datasets рдореЗрдВ рдореМрдЬреВрдж рд╣реЛрдиреЗ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╢рд╛рдпрдж рдЬрд╛рдирддреЗ рднреА рди рд╣реЛрдВред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
2

ALS рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ?

рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ рдЖрдк matrix multiplication рдФрд░ matrix factorization рдХреА рдмреБрдирд┐рдпрд╛рджреА рдЕрд╡рдзрд╛рд░рдгрд╛рдУрдВ рдХреА рд╕рдореАрдХреНрд╖рд╛ рдХрд░реЗрдВрдЧреЗ, рдФрд░ рдЧрд╣рд░рд╛рдИ рд╕реЗ рд╕рдордЭреЗрдВрдЧреЗ рдХрд┐ Alternating Least Squares рдПрд▓реНрдЧреЛрд░рд┐рджрдо рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ рддрдерд╛ рд╕рд░реНрд╡реЛрддреНрддрдо рд╕рд┐рдлрд╛рд░рд┐рд╢реЗрдВ рд▓реМрдЯрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдпрд╣ рдХрд┐рди arguments рдФрд░ hyperparameters рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред рдЖрдк Spark рдореЗрдВ ALS рдХреЗ рд▓рд┐рдП рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреЛ рд╕рд╣реА рддрд░реАрдХреЗ рд╕реЗ рддреИрдпрд╛рд░ рдХрд░рдиреЗ рдХреА рдорд╣рддреНрд╡рдкреВрд░реНрдг рддрдХрдиреАрдХреЗрдВ рднреА рд╕реАрдЦреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
3

рдлрд┐рд▓реНрдореЛрдВ рдХреА рд╕рд┐рдлрд╛рд░рд┐рд╢ рдХрд░рдирд╛

рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ рдЖрдкрдХрд╛ рдкрд░рд┐рдЪрдп MovieLens рдбреЗрдЯрд╛рд╕реЗрдЯ рд╕реЗ рдХрд░рд╛рдпрд╛ рдЬрд╛рдПрдЧрд╛ред рдЖрдк рджреЗрдЦреЗрдВрдЧреЗ рдХрд┐ рдЗрд╕реЗ ALS рдХреЗ рд▓рд┐рдП рдХреИрд╕реЗ рдкрд░рдЦрд╛ рдЬрд╛рдП, рдЗрд╕ рдкрд░ рдПрдХ рдкреВрд░реНрдг cross-validated ALS рдореЙрдбрд▓ рдХреИрд╕реЗ рдмрдирд╛рдпрд╛ рдЬрд╛рдП, рдФрд░ рдЗрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХреИрд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рдПред рдпрд╣ Pyspark рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЖрдк рдЬреЛ рднреА рдЖрдЧреЗ ALS рдореЙрдбрд▓ рдмрдирд╛рдПрдБрдЧреЗ, рдЙрдирдХреА рдмреБрдирд┐рдпрд╛рдж рд╣реЛрдЧрд╛ред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
4

рдЕрдЧрд░ рдЖрдкрдХреЗ рдкрд╛рд╕ customer ratings рди рд╣реЛрдВ рддреЛ?

рдЕрдзрд┐рдХрд╛рдВрд╢ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ, рдЖрдкрдХреЗ рдкрд╛рд╕ ALS рдореЙрдбрд▓ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП "perfect" customer рдбреЗрдЯрд╛ рдЙрдкрд▓рдмреНрдз рдирд╣реАрдВ рд╣реЛрдЧрд╛ред рдпрд╣ рдЕрдзреНрдпрд╛рдп рдЖрдкрдХреЛ рд╕рд┐рдЦрд╛рдПрдЧрд╛ рдХрд┐ рдЕрдкрдиреЗ customer behavior рдбреЗрдЯрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ customer ratings рдХреЛ рдХреИрд╕реЗ "infer" рдХрд┐рдпрд╛ рдЬрд╛рдП рдФрд░ рдЙрди inferred ratings рд╕реЗ ALS recommendation engine рдХреИрд╕реЗ рдмрдирд╛рдпрд╛ рдЬрд╛рдПред Million Songs Dataset рдФрд░ MovieLens рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рдПрдХ рдЕрдиреНрдп рд╕рдВрд╕реНрдХрд░рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, рдпрд╣ рдЕрдзреНрдпрд╛рдп рдЖрдкрдХреЛ рджрд┐рдЦрд╛рдПрдЧрд╛ рдХрд┐ рдЙрдкрд▓рдмреНрдз рдбреЗрдЯрд╛ рд╕реЗ ALS рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ recommendation engine рдХреИрд╕реЗ рдмрдирд╛рдПрдБ рдФрд░ рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХреИрд╕реЗ рдХрд░реЗрдВред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ

PySpark рдХреЗ рд╕рд╛рде Recommendation Engines рдмрдирд╛рдирд╛

рдХреЛрд░реНрд╕
рдкреВрд░реНрдг

рдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдЕрд░реНрдЬрд┐рдд рдХрд░реЗрдВ

рдЕрднреА рдирд╛рдорд╛рдВрдХрди рдХрд░реЗрдВ

DataCamp for Mobile рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреМрд╢рд▓ рдмрдврд╝рд╛рдПрдБ

рд╣рдорд╛рд░реЗ рдореЛрдмрд╛рдЗрд▓ рдХреЛрд░реНрд╕ рдФрд░ рд░реЛрдЬрд╝рд╛рдирд╛ 5-рдорд┐рдирдЯ рдХреА рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдЪрд▓рддреЗ-рдлрд┐рд░рддреЗ рдкреНрд░рдЧрддрд┐ рдХрд░реЗрдВред