рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

Python рдореЗрдВ Linear Regression: рдкреНрд░реЗрдбрд┐рдХреНрдЯрд┐рд╡ рдореЙрдбрд▓рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЖрдкрдХрд╛ рдЧрд╛рдЗрдб

NumPy, statsmodels, рдФрд░ scikit-learn рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Python рдореЗрдВ linear regression рдХрд░рдирд╛ рд╕реАрдЦреЗрдВред
┬╖ 9 рдорд┐ре░ рдкрдврд╝реЗрдВ

AI рдХреЗ рд╕рд╛рде рдЦреЛрдЬреЗрдВ

Python, рдЕрдкрдиреА рд╕рдореГрджреНрдз рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдХреЛрд╕рд┐рд╕реНрдЯрдотАФрдЬреИрд╕реЗ NumPy, statsmodels рдФрд░ scikit-learnтАФрдХреА рдмрджреМрд▓рдд рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХреЛрдВ рдХреА рдкрд╕рдВрджреАрджрд╛ рднрд╛рд╖рд╛ рдмрди рдЧрдпрд╛ рд╣реИред рдЗрд╕рдХреА рд╕рд╣рдЬрддрд╛ рдФрд░ рдмрд╣реБрдореБрдЦреА рдкреНрд░рддрд┐рднрд╛ рдЗрд╕реЗ linear regression рдХреЗ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдЖрдзрд╛рд░реЛрдВ рдХреЛ рд╕рдордЭрдиреЗ рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреА рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ рдЙрд╕реЗ рд▓рд╛рдЧреВ рдХрд░рдиреЗтАФрджреЛрдиреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдмрдирд╛рддреА рд╣реИред

рдЗрд╕ рдЧрд╛рдЗрдб рдореЗрдВ, рдореИрдВ рдЖрдкрдХреЛ Python рдореЗрдВ linear regression рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╣рд░ рдЬрд░реВрд░реА рдмрд╛рдд рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рдХрд░рд╛рдКрдВрдЧрд╛ред рд╣рдо рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВрдЧреЗтАФlinear regression рдХреНрдпрд╛ рд╣реИ рдФрд░ рдпрд╣ рдЗрддрдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдХреНрдпреЛрдВ рд╣реИред рдлрд┐рд░, рд╣рдо рдЗрд╕рдХреА рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА рджреЗрдЦреЗрдВрдЧреЗтАФрдЖрдзрд╛рд░рднреВрдд рд╕рдореАрдХрд░рдгреЛрдВ рдФрд░ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреЛ рд╕рдордЭрддреЗ рд╣реБрдПред рдЖрдк рдЬрд╛рдиреЗрдВрдЧреЗ рдХрд┐ рд╡рд┐рднрд┐рдиреНрди Python рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╕реЗ linear regression рдХреИрд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИтАФNumPy рдХреЗ рд╕рд╛рде рдореИрдиреБрдЕрд▓ рдЧрдгрдирд╛ рд╕реЗ рд▓реЗрдХрд░ scikit-learn рдХреЗ рд╕рд╛рде рд╕реБрд╡реНрдпрд╡рд╕реНрдерд┐рдд рдЗрдореНрдкреНрд▓реАрдореЗрдВрдЯреЗрд╢рди рддрдХред рд╣рдо simple рдФрд░ multiple рджреЛрдиреЛрдВ linear regression рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗ, рдФрд░ рдореИрдВ рдЖрдкрдХреЛ рджрд┐рдЦрд╛рдКрдВрдЧрд╛ рдХрд┐ рдЕрдкрдиреЗ рдореЙрдбрд▓реЛрдВ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХреИрд╕реЗ рдХрд░реЗрдВ рдФрд░ рдЙрдирдХрд╛ рдкреНрд░рджрд░реНрд╢рди рдХреИрд╕реЗ рдмреЗрд╣рддрд░ рдмрдирд╛рдПрдВред

Linear Regression рдХреНрдпрд╛ рд╣реИ?

Linear regression рдПрдХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╡рд┐рдзрд┐ рд╣реИ, рдЬрд┐рд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдЖрд╢реНрд░рд┐рдд рдЪрд░ (target) рдФрд░ рдПрдХ рдпрд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ (predictors) рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреЛ рдореЙрдбрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдЙрджреНрджреЗрд╢реНрдп рдпрд╣ рд╣реИ рдХрд┐ рдПрдХ рд░реИрдЦрд┐рдХ рд╕рдореАрдХрд░рдг рдЦреЛрдЬрд╛ рдЬрд╛рдП рдЬреЛ рдЗрд╕ рд╕рдВрдмрдВрдз рдХрд╛ рд╕рд░реНрд╡реЛрддреНрддрдо рд╡рд░реНрдгрди рдХрд░реЗред

Linear regression рдХрд╛ рд╡реНрдпрд╛рдкрдХ рдЙрдкрдпреЛрдЧ predictive modeling, inferential statistics, рдФрд░ рдбреЗрдЯрд╛ рдореЗрдВ рдЕрдВрддрд░реНрд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИред рдЗрд╕рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдореЗрдВ рдмрд┐рдХреНрд░реА рдХрд╛ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рд▓рдЧрд╛рдирд╛, рдЬреЛрдЦрд┐рдо рдХрд╛ рдЖрдХрд▓рди рдХрд░рдирд╛, рдФрд░ рд▓рдХреНрд╖реНрдп рдкрд░рд┐рдгрд╛рдо рдкрд░ рд╡рд┐рднрд┐рдиреНрди рдЪрд░реЛрдВ рдХреЗ рдкреНрд░рднрд╛рд╡ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдирд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред

Simple linear regression рдХреНрдпрд╛ рд╣реИ?

Simple linear regression рдХреЗ рд▓рд┐рдП, рдпрд╣ рджреНрд╡рд┐-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рд░реЗрдЦрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рд╣реЛрддрд╛ рд╣реИ; multiple linear regression (рджреЛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдХреЗ рд╕рд╛рде) рдХреЗ рд▓рд┐рдП, рд╕рдВрдмрдВрдз рддреНрд░рд┐-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рд╕рдорддрд▓ рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ; рдФрд░ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХреЗ рд▓рд┐рдП, рд╕рдореАрдХрд░рдг рдЙрдЪреНрдЪ-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ hyperplane рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддрд╛ рд╣реИред

рдЖрдЗрдП simple linear regression рдореЙрдбрд▓ рд╕реЗ рд╢реБрд░реВ рдХрд░реЗрдВ, рдЬрд┐рд╕рдореЗрдВ, рдЬреИрд╕рд╛ рдХрд┐ рдореИрдВрдиреЗ рдмрддрд╛рдпрд╛, рдХреЗрд╡рд▓ рдПрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓ рд╣реЛрддрд╛ рд╣реИред рдЗрд╕реЗ рдЗрд╕ рд╕рдореАрдХрд░рдг рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ:

simple linear regression formula

рдЬрд╣рд╛рдБ:

  • y рдЖрд╢реНрд░рд┐рдд рдЪрд░ рд╣реИ,
  • x рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рд╣реИ,
  • B0 рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рд╣реИ,
  • B1 рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдХрд╛ рдЧреБрдгрд╛рдВрдХ (рдврд▓рд╛рди) рд╣реИ,
  • рддреНрд░реБрдЯрд┐ рдкрдж рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИред

Multiple linear regression рдХреНрдпрд╛ рд╣реИ?

рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, multiple linear regression рдЗрд╕ рдЕрд╡рдзрд╛рд░рдгрд╛ рдХреЛ рдХрдИ predictor рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рддрдХ рд╡рд┐рд╕реНрддрд╛рд░рд┐рдд рдХрд░рддрд╛ рд╣реИ:

multiple linear regression formula

рдЬрд╣рд╛рдБ:

  • 0 рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рд╣реИ,
  • x1, x2, ..., xn predictor рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рд╣реИрдВ
  • 1,2, ..., n рдкреНрд░рддреНрдпреЗрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓ рдХреЗ рдЕрдиреБрд░реВрдк рдЧреБрдгрд╛рдВрдХ рд╣реИрдВ,
  • рддреНрд░реБрдЯрд┐ рдкрдж рд╣реИред

Linear Regression рдХреЗ рдкреАрдЫреЗ рдХреА рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА

рдпрд╣ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐ linear regression рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ, рдЗрд╕рдХреЗ рдкреНрд░рдореБрдЦ рдШрдЯрдХреЛрдВ рдХреЛ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд░рдХреЗ рджреЗрдЦрддреЗ рд╣реИрдВред

Linear рдореЙрдбрд▓ рдХрд╛ рд╕рдореАрдХрд░рдг

рд╣рдордиреЗ рдКрдкрд░, рдПрдХрд▓ рдФрд░ рдмрд╣реБ predictor рдХреЗ рд╕рд╛рде, linear regression рдХреА рд╕рдореАрдХрд░рдгреЗрдВ рджреЗрдЦреАрдВред рдЕрдм, рдореИрдВ рдЗрди рд╕рдореАрдХрд░рдгреЛрдВ рдХреЗ рдПрдХ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдкрд╣рд▓реВ рдкрд░ рдмрд╛рдд рдХрд░рдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реВрдБред┬а

Linear рд╢рдмреНрдж, linear regression рдореЗрдВ, рдореЙрдбрд▓ рдХреЗ рдкреНрд░рдХрд╛рд░реНрдпрд╛рддреНрдордХ рд░реВрдк рдХреЛ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рддрд╛ рд╣реИ, рдЬрд░реВрд░реА рдирд╣реАрдВ рдХрд┐ рдбреЗрдЯрд╛ рдХреЗ рдЖрдХрд╛рд░ рдХреЛред рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рдЗрд╕рдХрд╛ рдЕрд░реНрде рд╣реИ рдХрд┐:

  1. рдореЙрдбрд▓ рдЕрдкрдиреЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдореЗрдВ рд░реИрдЦрд┐рдХ рд╣реИред рдпрд╛рдиреА рдкреНрд░рддреНрдпреЗрдХ predictor рдХреЛ рдХрд┐рд╕реА рдЧреБрдгрд╛рдВрдХ рд╕реЗ рдЧреБрдгрд╛ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдФрд░ рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИред
  2. рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдФрд░ predictors рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд╕рдВрдпреЛрдЧрд╛рддреНрдордХ (additive) рд╣реИ, рдпрд╛рдиреА рдкреНрд░рддреНрдпреЗрдХ predictor рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрди рдХрд╛ рдкреНрд░рднрд╛рд╡ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдкрд░ рд╕реБрд╕рдВрдЧрдд рд░рд╣рддрд╛ рд╣реИред
  3. рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░ рдШрд╛рдд (exponentiation), рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рдЧреБрдгрди, рдпрд╛ nonlinear рд░реВрдкрд╛рдВрддрд░рдг рд▓рд╛рдЧреВ рдирд╣реАрдВ рд╣реЛрддреЗред

Ordinary least squares (OLS) рд╡рд┐рдзрд┐

рд╕рд░реНрд╡реЛрддреНрддрдо-рдлрд┐рдЯрд┐рдВрдЧ рд░реЗрдЦрд╛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, linear regression ordinary least squares (OLS) рд╡рд┐рдзрд┐ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред OLS рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддрд╛ рд╣реИ:

OLS рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддрд╛ рд╣реИ:

рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ B0 рдФрд░ B1 рдХреЗ рд╕рд░реНрд╡реЛрддреНрддрдо рд╕рдВрднрд╡ рдЖрдХрд▓рди рджреЗрддрд╛ рд╣реИред

Linear regression рдХреА рдорд╛рдиреНрдпрддрд╛рдПрдБ

рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рдкрд░рд┐рдгрд╛рдореЛрдВ рдХреЗ рд▓рд┐рдП linear regression рдореЗрдВ рдХреБрдЫ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХрд╛ рдкреВрд░рд╛ рд╣реЛрдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИ:

  1. рд░реИрдЦрд┐рдХрддрд╛ (Linearity): рд╕реНрд╡рддрдВрддреНрд░ рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд░реИрдЦрд┐рдХ рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдПред
  2. рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреА рд╕реНрд╡рддрдВрддреНрд░рддрд╛: рдЕрд╡рд╢реЗрд╖ (errors) рдПрдХ-рджреВрд╕рд░реЗ рд╕реЗ рд╕рд╣рд╕рдВрдмрджреНрдз рдирд╣реАрдВ рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред
  3. рд╕реНрдерд┐рд░ рд╡рд┐рдЪрд░рдг (Homoscedasticity): рдЕрд╡рд╢реЗрд╖реЛрдВ рдХрд╛ рдлреИрд▓рд╛рд╡ рд╕рднреА рдорд╛рдиреЛрдВ рдкрд░ рд▓рдЧрднрдЧ рд╕рдорд╛рди рд░рд╣рдирд╛ рдЪрд╛рд╣рд┐рдПред
  4. рдЕрд╡рд╢реЗрд╖реЛрдВ рдХреА рд╕рд╛рдорд╛рдиреНрдпрддрд╛: рдЕрд╡рд╢реЗрд╖ рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рддрд░рдг рдХрд╛ рдкрд╛рд▓рди рдХрд░реЗрдВред

рдЗрди рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХрд╛ рд╕рддреНрдпрд╛рдкрди рд╣рдорд╛рд░реЗ рдореЙрдбрд▓ рдХреЛ рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рдФрд░ рдорд╛рдиреНрдп рдмрдирд╛рддрд╛ рд╣реИред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдпрджрд┐ рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд░реИрдЦрд┐рдХ рдирд╣реАрдВ рд╣реИ, рддреЛ рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпрд╛рдБ рдЧрд▓рдд рд╣реЛ рд╕рдХрддреА рд╣реИрдВред рдпрджрд┐ heteroscedasticity рд╣реИ, рддреЛ confidence intervals рдЧрд▓рдд рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред

Python рдореЗрдВ Linear Regression рдХрд░рдиреЗ рдХреЗ рддрд░реАрдХреЗ

Python рдореЗрдВ linear regression рдХрдИ рддрд░реАрдХреЛрдВ рд╕реЗ рд▓рд╛рдЧреВ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдореИрдВ рдЖрдкрдХреЛ рддреАрди рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рдзрд┐рдпреЛрдВ рд╕реЗ рд▓реЗ рдЪрд▓реВрдБрдЧрд╛: NumPy рдХреЗ рд╕рд╛рде рдореИрдиреБрдЕрд▓ рдЧрдгрдирд╛, statsmodels рдХреЗ рд╕рд╛рде рд╡рд┐рд╕реНрддреГрдд рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдореЙрдбрд▓рд┐рдВрдЧ, рдФрд░ scikit-learn рдХреЗ рд╕рд╛рде рд╕реБрд╡реНрдпрд╡рд╕реНрдерд┐рдд рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧред

рдореИрдиреБрдЕрд▓ рдХреИрд▓рдХреБрд▓реЗрд╢рди рддрд░реАрдХрд╛ (NumPy)

Simple linear regression (рдПрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓) рдХреЗ рд▓рд┐рдП, рдЖрдк NumPy рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ regression рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЛ рдореИрдиреБрдЕрд▓ рд░реВрдк рд╕реЗ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред рдЗрд╕рдореЗрдВ рдкрд╣рд▓реЗ рд╕реНрд╡рддрдВрддреНрд░ рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░реЛрдВ рдХрд╛ рдФрд╕рдд рдирд┐рдХрд╛рд▓рдирд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред рдлрд┐рд░ рд╣рдо рдврд▓рд╛рди (B0) рдХреА рдЧрдгрдирд╛ рдХрд░рддреЗ рд╣реИрдВ:

рдПрдХ рдмрд╛рд░ рдврд▓рд╛рди рдорд┐рд▓рдиреЗ рдкрд░, рд╣рдо рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ (B1) рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:

import numpy as np

# Sample data
x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 5, 4, 5])

# Compute means
x_mean = np.mean(x)
y_mean = np.mean(y)

# Compute slope (B1)
B1 = np.sum((x - x_mean) * (y - y_mean)) / np.sum((x - x_mean) ** 2)

# Compute intercept (B0)
B0 = y_mean - B1 * x_mean

print(f"Slope (B1): {B1}")
print(f"Intercept (B0): {B0}")

# Predicting values
y_pred = B0 + B1 * x
print("Predicted values:", y_pred)

рдпрджрд┐ рдЖрдк рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ NumPy рдПрдХ built-in рдлрд╝рдВрдХреНрд╢рди np.polyfit() рднреА рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдХреЗрд╡рд▓ рдПрдХ рдкрдВрдХреНрддрд┐ рдХреЗ рдХреЛрдб рдореЗрдВ linear regression рдХрд░ рд╕рдХрддрд╛ рд╣реИред

# Example of NumPy's polyfit
np.polyfit(x, y, 1)  # 1 stands for the degree of the polynomial (linear)

рдпрд╣ рддрд░реАрдХрд╛ simple linear regression рдХреЗ рдкреАрдЫреЗ рдХреЗ рдЧрдгрд┐рдд рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рдЙрдкрдпреЛрдЧреА рд╣реИ, рд▓реЗрдХрд┐рди рдмрдбрд╝реЗ рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдЕрд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ, рдХрдо рд╕рдВрдЦреНрдпрд╛рддреНрдордХ-рд╕рдЯреАрдХ, рдФрд░ multiple regression рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдирд╣реАрдВ рд╣реИред

рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ (statsmodels)

Linear regression рдХрд░рдиреЗ рдХрд╛ рдПрдХ рдЕрдзрд┐рдХ рд╕рдХреНрд╖рдо рддрд░реАрдХрд╛ statsmodels рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реИ, рдЬреЛ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдореЙрдбрд▓ рдФрд░ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдЙрдкрдХрд░рдг рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИред

Statsmodels рдХреЗ рд╕рд╛рде Ordinary Least Squares (OLS) рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░рдиреЗ рдХреЗ рдЪрд░рдг:

  1. рдбреЗрдЯрд╛ рддреИрдпрд╛рд░ рдХрд░реЗрдВ: рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдЙрдЪрд┐рдд рд░реВрдк рд╕реЗ рд╕рдВрд░рдЪрд┐рдд рд╣реЛред

  2. Constant рдЬреЛрдбрд╝реЗрдВ: рдпрд╣ рд╕рдореАрдХрд░рдг рдореЗрдВ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдкрдж рдХрд╛ рд╣рд┐рд╕рд╛рдм рд░рдЦрддрд╛ рд╣реИред

  3. рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░реЗрдВ: statsmodels рд╕реЗ OLS() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ regression рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдПрдБред

  4. рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░реЗрдВ: .summary() рдлрд╝рдВрдХреНрд╢рди рд╡рд┐рд╕реНрддреГрдд рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рджреЗрддрд╛ рд╣реИ, рдЬрд┐рдирдореЗрдВ рдЧреБрдгрд╛рдВрдХ, p-values, рдФрд░ R-squared рд╢рд╛рдорд┐рд▓ рд╣реИрдВред

import numpy as np
import statsmodels.api as sm

# Sample data
x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 5, 4, 5])

# Add constant for intercept term
X = sm.add_constant(x)

# Fit OLS model
model = sm.OLS(y, X).fit()

# Print summary
print(model.summary())

рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ (scikit-learn)

scikit-learn рдЕрдкрдиреА рд╕рд░рд▓рддрд╛, рд╕реНрдХреЗрд▓реЗрдмрд┐рд▓рд┐рдЯреА, рдФрд░ рдЕрдиреНрдп ML рдЯреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЗрдВрдЯреАрдЧреНрд░реЗрд╢рди рдХреЗ рдХрд╛рд░рдг рд╡реНрдпрд╛рдкрдХ рд░реВрдк рд╕реЗ рдЙрдкрдпреЛрдЧ рд╣реЛрддреА рд╣реИред рдпрд╣ LinearRegression рдХреНрд▓рд╛рд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ linear regression рдХрд░рдиреЗ рдХрд╛ рд╕рд░рд▓ рдФрд░ рдХреБрд╢рд▓ рддрд░реАрдХрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИред

  1. рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдореНрдкреЛрд░реНрдЯ рдХрд░реЗрдВ рдФрд░ рдЕрдкрдирд╛ рдбреЗрдЯрд╛рд╕реЗрдЯ рд▓реЛрдб рдХрд░реЗрдВред

  2. Predictor рд╡реЗрд░рд┐рдПрдмрд▓ рдХреЛ reshape рдХрд░реЗрдВ рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ (single-variable regression рдХреЗ рд▓рд┐рдП)ред

  3. рдореЙрдбрд▓ рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдмрдирд╛рдПрдБ LinearRegression() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗред

  4. рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░реЗрдВ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдбреЗрдЯрд╛ рдкрд░ред

  5. рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ: .coeff_ рдврд▓рд╛рди рджреЗрддрд╛ рд╣реИ, рдЬрдмрдХрд┐ .intercept_ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рджреЗрддрд╛ рд╣реИред

import numpy as np
from sklearn.linear_model import LinearRegression

# Sample data
x = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)  # Reshape for scikit-learn
y = np.array([2, 4, 5, 4, 5])

# Create model instance
model = LinearRegression()

# Fit the model
model.fit(x, y)

# Get model parameters
print(f"Slope (B1): {model.coef_[0]}")
print(f"Intercept (B0): {model.intercept_}")

# Predict values
y_pred = model.predict(x)
print("Predicted values:", y_pred)

рдЕрдиреНрдп рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╡рд┐рдзрд┐рдпрд╛рдБ

NumPy, statsmodels, рдФрд░ scikit-learn рд╕реЗ рдЖрдЧреЗ, рдХрдИ рдЕрдиреНрдп Python рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рднреА regression рдХреА рдХреНрд╖рдорддрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИрдВ:

  • Pandas: рдЦреЛрдЬрдкреВрд░реНрдг рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рддреНрд╡рд░рд┐рдд рдЯреНрд░реЗрдВрдб рдореЙрдбрд▓рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреАред
  • SciPy: рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдлрд╝рдВрдХреНрд╢рдВрд╕ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ regression рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
  • TensorFlow & PyTorch: рдпрджреНрдпрдкрд┐ рдореБрдЦреНрдпрддрдГ deep learning рдХреЗ рд▓рд┐рдП рд╣реИрдВ, рдпреЗ linear regression рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдкреНрд░рднрд╛рд╡реА рдврдВрдЧ рд╕реЗ рд╕рдВрднрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред

рд╣рд░ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХреЗ рдЕрдкрдиреЗ рдлрд╛рдпрджреЗ рд╣реИрдВред рдпрд╣ рдЖрдкрдХреЗ regression рдХрд╛рд░реНрдп рдХреА рдЬрдЯрд┐рд▓рддрд╛ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИред

Python рдореЗрдВ рдПрдХ рдпрд╛ рдЕрдзрд┐рдХ predictors рдХреЗ рд╕рд╛рде Linear Regression

Linear regression рд╕рд░рд▓ рдФрд░ рдЬрдЯрд┐рд▓ рджреЛрдиреЛрдВ рдкреНрд░рдХрд╛рд░ рдХреЗ рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдВрднрд╛рд▓ рд╕рдХрддрд╛ рд╣реИред рдЗрд╕ рдЦрдВрдб рдореЗрдВ, рд╣рдо Python рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ predictor (simple) рдФрд░ рдХрдИ predictors (multiple) рдХреЗ рд╕рд╛рде linear regression рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред

Python рдореЗрдВ simple linear regression

Python рдореЗрдВ simple linear regression рдХреЗ рд▓рд┐рдП, рд╣рдо рдирд┐рдореНрди рдЪрд░рдгреЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВ:

рдЪрд░рдг 1: рд╕рд╣рд╕рдВрдмрдВрдз (correlation) рдирд┐рдХрд╛рд▓реЗрдВ

Correlation coefficient, x рдФрд░ y рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреА рддрд╛рдХрдд рдорд╛рдкрддрд╛ рд╣реИред рд╣рдо рдЗрд╕реЗ NumPy рд╕реЗ рдирд┐рдХрд╛рд▓рддреЗ рд╣реИрдВ:

import numpy as np

# Sample data
x = np.array([1, 2, 3, 4, 5])  # Independent variable
y = np.array([2, 4, 5, 4, 5])  # Dependent variable

correlation = np.corrcoef(x, y)[0, 1]
print("Correlation:", correlation)

рдЪрд░рдг 2: рдврд▓рд╛рди рдФрд░ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдирд┐рдХрд╛рд▓реЗрдВ

рдврд▓рд╛рди B1 рдЗрд╕ рдкреНрд░рдХрд╛рд░ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛рддрд╛ рд╣реИ:

beta_1 = correlation * (np.std(y) / np.std(x))

рдЖрдк рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ рдХрд┐ рдпрд╣ рд╕рдореАрдХрд░рдг рдкрд╣рд▓реЗ рд╡рд╛рд▓реЗ рд╕реЗ рдереЛрдбрд╝рд╛ рднрд┐рдиреНрди рджрд┐рдЦрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдореИрдВрдиреЗ рдврд▓рд╛рди рдХреЛ рдФрд░ y рдХреЗ рд╡рд┐рдЪрд▓рдиреЛрдВ рдХреЗ рдЧреБрдгрди рдХреЗ рдпреЛрдЧ рдХреЛ рдЬреЛрдбрд╝рдХрд░, рдлрд┐рд░ рдореЗрдВ рд╡рд░реНрдЧ-рд╡рд┐рдЪрд▓рдиреЛрдВ рдХреЗ рдпреЛрдЧ рд╕реЗ рднрд╛рдЧ рджреЗрдХрд░ рдкрд╛рдпрд╛ рдерд╛ред рдпрд╣ рдирдпрд╛ рддрд░реАрдХрд╛тАФcorrelation рдФрд░ standard deviation рдХрд╛ рдЙрдкрдпреЛрдЧтАФрдЕрд▓рдЧ рдкреНрд░рддреАрдд рд╣реЛ рд╕рдХрддрд╛ рд╣реИ, рдкрд░ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╡рд╣реА рд╣реИред рдкрд╣рд▓реЗ рдХреЗ рд╕рдореАрдХрд░рдг рдХреЛ рдкреБрдирд░реНрд▓реЗрдЦрд┐рдд рдХрд░рдХреЗ, рд╣рдо рдврд▓рд╛рди рдХреЛ рдХреЗ рд░реВрдк рдореЗрдВ, рдФрд░ рдХреЗ standard deviations рдХреЗ рдЕрдиреБрдкрд╛рдд рд╕реЗ рдЧреБрдгрд╛ рдХрд░ рд╡реНрдпрдХреНрдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рджреЛрдиреЛрдВ рд░реВрдк рдмреАрдЬрдЧрдгрд┐рддреАрдп рд░реВрдк рд╕реЗ рд╕рдорддреБрд▓реНрдп рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВред

рдЕрдм, рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдХреЗ рд▓рд┐рдП:

beta_0 = np.mean(y) - beta_1 * np.mean(x)

рдЪрд░рдг 3: рдирд┐рдХрд╛рд▓реЗ рдЧрдП рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░реЗрдВ

рдЕрдм рдЬрдмрдХрд┐ рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдЧреБрдгрд╛рдВрдХ рд╣реИрдВ, рд╣рдо рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рди рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред

y_pred = beta_0 + beta_1 * x

рдЗрди рдЪрд░рдгреЛрдВ рд╕реЗ рдЧреБрдЬрд░рдирд╛, рдореЗрд░реА рд░рд╛рдп рдореЗрдВ, scikit-learn рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдЧрдгрдирд╛рдУрдВ рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛрддрд╛ рд╣реИред

Python рдореЗрдВ multiple linear regression

Multiple linear regression, simple linear regression рдХреА рдЕрд╡рдзрд╛рд░рдгрд╛ рдХреЛ рдЗрд╕ рддрд░рд╣ рд╡рд┐рд╕реНрддреГрдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдФрд░ рдХрдИ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдореЙрдбрд▓ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред рдпрд╣ рд╣рдореЗрдВ рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдЕрдХреЗрд▓рд╛ рдПрдХ predictor рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рднрд┐рдиреНрдирддрд╛ рдХреЛ рдкрд░реНрдпрд╛рдкреНрдд рд░реВрдк рд╕реЗ рдирд╣реАрдВ рд╕рдордЭрд╛ рдкрд╛рддрд╛ред

Python рдореЗрдВ multiple linear regression рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЖрдо рддреМрд░ рдкрд░ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдмреАрдЬрдЧрдгрд┐рдд рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЙрди рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рдЧрдгрдирд╛ рдХрд░рддреЗ рд╣реИрдВ рдЬреЛ residual sum of squares рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░реЗрдВред рдХрдИ рдмрд╛рд░ рдкрдврд╝рд╛рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рд╕реВрддреНрд░, multiple linear regression рдХреЗ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рдЧрдгрдирд╛ рдХреЗ рд▓рд┐рдП, normal equation рдХрд╣рд▓рд╛рддрд╛ рд╣реИ:

рдЬрд╣рд╛рдБ:

  • X рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХрд╛ рдореИрдЯреНрд░рд┐рдХреНрд╕ рд╣реИ (рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдХреЗ рд▓рд┐рдП ones рдХрд╛ рдПрдХ рдХреЙрд▓рдо рд╕рд╣рд┐рдд),
  • y рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдорд╛рдиреЛрдВ рдХрд╛ рд╡реЗрдХреНрдЯрд░ рд╣реИред
  • XT рдореИрдЯреНрд░рд┐рдХреНрд╕ X рдХрд╛ рдЯреНрд░рд╛рдВрд╕рдкреЛрдЬрд╝ рд╣реИред
  • (XTX)-1, XTX рдХрд╛ рд╡реНрдпреБрддреНрдХреНрд░рдо (inverse) рд╣реИред

рдпрд╣ рд╕рдореАрдХрд░рдг рдЙрди рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреЗ рдЗрд╖реНрдЯрддрдо рдорд╛рди рджреЗрддрд╛ рд╣реИ рдЬреЛ рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддреЗ рд╣реИрдВред

рдпрд╣рд╛рдБ Python рдореЗрдВ, рдореИрдЯреНрд░рд┐рдХреНрд╕ рдСрдкрд░реЗрд╢рдВрд╕ рдХреЗ рд▓рд┐рдП NumPy рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, multiple linear regression рдХрд░рдиреЗ рдХрд╛ рдПрдХ рдЙрджрд╛рд╣рд░рдг рд╣реИ:

import numpy as np

# Sample data: two predictors and one dependent variable
X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])  # Independent variables
y = np.array([6, 8, 9, 11])  # Dependent variable

# Add a column of ones to include the intercept in the model
X = np.column_stack((np.ones(X.shape[0]), X))

# Calculate beta coefficients using the normal equation
beta = np.linalg.inv(X.T @ X) @ X.T @ y
print("Coefficients:", beta)

рдпрд╣ рд╡рд┐рдзрд┐ рддрдм рдЕрдЪреНрдЫреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддреА рд╣реИ рдЬрдм predictors рд╕реНрд╡рддрдВрддреНрд░ рд╣реЛрдВ, рд▓реЗрдХрд┐рди рдЬрдм predictors рдореЗрдВ рдЙрдЪреНрдЪ рд╕рд╣рд╕рдВрдмрдВрдз рд╣реЛрддрд╛ рд╣реИ, рддреЛ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдЗрдирд╡рд░реНрдЬрд╝рди рдЕрд╕реНрдерд┐рд░ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕реА рдХрд╛рд░рдг, scikit-learn рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝, рдЕрдзрд┐рдХ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд░реВрдк рд╕реЗ рд╕реНрдерд┐рд░ рд╡рд┐рдзрд┐тАФQR decompositionтАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреА рд╣реИрдВ рддрд╛рдХрд┐ regression рдЧреБрдгрд╛рдВрдХ рдирд┐рдХрд╛рд▓реЗ рдЬрд╛ рд╕рдХреЗрдВред рдЗрд╕рд▓рд┐рдП, рдпрджреНрдпрдкрд┐ рд╣рдо normal equation рд╕реЗ рдЧреБрдгрд╛рдВрдХ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ, рдпрд╣ рдЬрд╛рди рд▓реЗрдВ рдХрд┐ рдЬрдм рд╣рдо scikitlearn рдХреА LinearRegression() рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдЕрдВрджрд░ рд╣реА рдЕрдВрджрд░ QR decomposition рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реЛрддрд╛ рд╣реИред

рдорд▓реНрдЯреАрдХреЛрд▓рд┐рдирд┐рдпрд░рд┐рдЯреА рдХрд╛ рд╕рдорд╛рдзрд╛рди

рдЕрдм multiple linear regression in Python рдореЗрдВ рдПрдХ рдЪрд┐рдВрддрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рд╕рд╛рдордиреЗ рдЖрдиреЗ рд╡рд╛рд▓реА рдмрд╛рдд рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдирд╛ рдЙрдкрдпреБрдХреНрдд рд╣реИред Multicollinearity рддрдм рд╣реЛрддреА рд╣реИ рдЬрдм рджреЛ рдпрд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдЕрддреНрдпрдзрд┐рдХ рд╕рд╣рд╕рдВрдмрджреНрдз рд╣реЛрдВ, рдЬрд┐рд╕рд╕реЗ рдЙрдирдХреЗ рд╡реНрдпрдХреНрддрд┐рдЧрдд рдкреНрд░рднрд╛рд╡реЛрдВ рдХреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдкрд╣рдЪрд╛рдирдирд╛ рдХрдард┐рди рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕рд╕реЗ рдЧреБрдгрд╛рдВрдХ рдЕрдиреБрдорд╛рди рдЕрд╕реНрдерд┐рд░ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред Multicollinearity рдХрд╛ рдкрддрд╛ рд▓рдЧрд╛рдиреЗ рдФрд░ рдЙрд╕реЗ рдХрдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдк variance inflation factor (VIF) рдХреА рдЧрдгрдирд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЖрдк рдЕрддреНрдпрдзрд┐рдХ рд╕рд╣рд╕рдВрдмрджреНрдз рдЪрд░реЛрдВ рдХреЛ рд╣рдЯрд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдпрд╛ regularization рддрдХрдиреАрдХреЛрдВтАФрдЬреИрд╕реЗ ridge regression рдФрд░ lasso regressionтАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред

Python рдореЗрдВ Linear Regression рдореЙрдбрд▓ рдХрд╛ рдирд┐рджрд╛рди рдФрд░ рдореВрд▓реНрдпрд╛рдВрдХрди

Linear regression рдореЙрдбрд▓ рдмрдирд╛рдиреЗ рдХреЗ рдмрд╛рдж, рдЕрдЧрд▓рд╛ рдХрджрдо рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдирд╛ рдФрд░ рдпрд╣ рд╕рддреНрдпрд╛рдкрд┐рдд рдХрд░рдирд╛ рд╣реИ рдХрд┐ рд╡рд╣ рдЖрдзрд╛рд░рднреВрдд рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреЛ рдкреВрд░рд╛ рдХрд░рддрд╛ рд╣реИред рдпрд╣ рдЖрдкрдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдХреА рд╡рд┐рд╢реНрд╡рд╕рдиреАрдпрддрд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╕рдВрднрд╛рд╡рд┐рдд рд╕реБрдзрд╛рд░реЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИред

Residual рд╡рд┐рд╢реНрд▓реЗрд╖рдг

Residual рд╡рд┐рд╢реНрд▓реЗрд╖рдг, linear regression рдбрд╛рдпрдЧреНрдиреЛрд╕реНрдЯрд┐рдХреНрд╕ рдХрд╛ рдореБрдЦреНрдп рднрд╛рдЧ рд╣реИред рдпрд╣ linear regression рдХреА рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреА рдЬрд╛рдБрдЪ рдХрд░рдиреЗ рдФрд░ рд╕рдВрднрд╛рд╡рд┐рдд рдЙрд▓реНрд▓рдВрдШрдиреЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИред рдЕрд╡рд╢реЗрд╖реЛрдВ рдХреЛ рд╢реВрдиреНрдп рдХреЗ рдЖрд╕рдкрд╛рд╕ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рд░реВрдк рд╕реЗ рдмрд┐рдЦрд░рд╛ рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП, рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реНрдкрд╖реНрдЯ рдкреИрдЯрд░реНрди рдХреЗред рдпрд╣рд╛рдБ residual plots рдФрд░ Q-Q plots рдЬреИрд╕реЗ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдЯреВрд▓реНрд╕ рдХрд╛рдо рдЖрддреЗ рд╣реИрдВ:

  1. Residual Plot: рдЕрд╡рд╢реЗрд╖реЛрдВ рдмрдирд╛рдо рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рдиреЛрдВ (рдпрд╛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ) рдХрд╛ scatter plot рдпрд╣ рдЬрд╛рдБрдЪрдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдХреНрдпрд╛ рдХреЛрдИ рдРрд╕рд╛ рд╕рдВрдмрдВрдз рд╣реИ рдЬрд┐рд╕реЗ рдореЙрдбрд▓ рдиреЗ рдХреИрдкреНрдЪрд░ рдирд╣реАрдВ рдХрд┐рдпрд╛ред рдЖрджрд░реНрд╢ рд░реВрдк рд╕реЗ, рдкреНрд▓реЙрдЯ рдореЗрдВ рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реНрдкрд╖реНрдЯ рдкреИрдЯрд░реНрди рдХреЗ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рдлреИрд▓рд╛рд╡ рджрд┐рдЦрдирд╛ рдЪрд╛рд╣рд┐рдП, рдЬреЛ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдиреЗ рд░реИрдЦрд┐рдХ рд╕рдВрдмрдВрдз рдХреЛ рдЕрдЪреНрдЫреА рддрд░рд╣ рдХреИрдкреНрдЪрд░ рдХрд┐рдпрд╛ рд╣реИред
  2. Q-Q Plot (Quantile-Quantile Plot): Q-Q рдкреНрд▓реЙрдЯ рдпрд╣ рдЖрдХрд▓рди рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЕрд╡рд╢реЗрд╖ рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рддрд░рдг рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВ рдпрд╛ рдирд╣реАрдВред Linear regression рдХреЗ рдорд╛рдиреНрдп рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП, рдЕрд╡рд╢реЗрд╖ рд▓рдЧрднрдЧ рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рд╡рд┐рддрд░рд┐рдд рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред Q-Q рдкреНрд▓реЙрдЯ рдкрд░ рд╕реАрдзреА рд░реЗрдЦрд╛ рд╕рд╛рдорд╛рдиреНрдпрддрд╛ рдХрд╛ рд╕рдВрдХреЗрдд рджреЗрддреА рд╣реИред

Python рдореЗрдВ, рд╣рдо рдпреЗ рдкреНрд▓реЙрдЯ рдЖрд╕рд╛рдиреА рд╕реЗ matplotlib, seaborn, рдФрд░ statsmodels рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╕реЗ рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import statsmodels.api as sm

# Sample data and linear regression model
X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])  # Independent variables
y = np.array([6, 8, 9, 11])  # Dependent variable

# Add an intercept term
X = sm.add_constant(X)

# Fit the linear regression model
model = sm.OLS(y, X).fit()

# Get the residuals
residuals = model.resid

# 1. Residual Plot
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.scatter(model.fittedvalues, residuals)
plt.axhline(y=0, color='r', linestyle='--')
plt.xlabel('Fitted Values')
plt.ylabel('Residuals')
plt.title('Residual Plot')

# 2. Q-Q Plot
plt.subplot(1, 2, 2)
sm.qqplot(residuals, line ='45', ax=plt.gca())
plt.title('Q-Q Plot')

plt.tight_layout()
plt.show()

рдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХреНрд╕

рджреГрд╢реНрдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдорд╛рддреНрд░рд╛рддреНрдордХ рдореАрдЯреНрд░рд┐рдХреНрд╕ рдпрд╣ рдЖрдХрд▓рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рд╣реИрдВ рдХрд┐ linear regression рдореЙрдбрд▓ рдбреЗрдЯрд╛ рдкрд░ рдХрд┐рддрдирд╛ рдЕрдЪреНрдЫрд╛ рдлрд┐рдЯ рдмреИрдарддрд╛ рд╣реИред рдХреБрдЫ рдкреНрд░рдореБрдЦ рдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рд╣реИрдВ:

  1. R-squared (R┬▓): рдпрд╣ рдореАрдЯреНрд░рд┐рдХ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рдХрд┐рддрдиреА рд╡рд┐рдЪрд░рдгрддрд╛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рджреНрд╡рд╛рд░рд╛ рд╕рдордЭрд╛рдИ рдЬрд╛ рд╕рдХрддреА рд╣реИред R┬▓ рдХрд╛ рдорд╛рди 1 рдХреЗ рдХрд░реАрдм рд╣реЛрдиреЗ рдкрд░ рдореЙрдбрд▓ рдЕрдзрд┐рдХ рд╡рд┐рдЪрд░рдг рд╕рдордЭрд╛рддрд╛ рд╣реИ, рдЬрдмрдХрд┐ 0 рдХреЗ рдХрд░реАрдм рд╣реЛрдиреЗ рдкрд░ рдореЙрдбрд▓ рдбреЗрдЯрд╛ рдкрд░ рдЕрдЪреНрдЫреА рддрд░рд╣ рдлрд┐рдЯ рдирд╣реАрдВ рд╣реЛрддрд╛ред
  2. Adjusted R-squared: рдпрд╣ рдореАрдЯреНрд░рд┐рдХ рдореЙрдбрд▓ рдореЗрдВ predictors рдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЗ рд▓рд┐рдП R┬▓ рдХреЛ рд╕рдорд╛рдпреЛрдЬрд┐рдд рдХрд░рддрд╛ рд╣реИред рдЕрд▓рдЧ-рдЕрд▓рдЧ predictors рд╡рд╛рд▓реЗ рдореЙрдбрд▓реЛрдВ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реИред
  3. Root Mean Squared Error (RMSE): RMSE рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдореЗрдВ рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреА рдФрд╕рдд рдкрд░рд┐рдорд╛рдг рдорд╛рдкрддрд╛ рд╣реИ, рдЬреЛ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреА рдЗрдХрд╛рдЗрдпреЛрдВ рдореЗрдВ рд╣реА рд╣реЛрддрд╛ рд╣реИред рдХрдо RMSE рдмреЗрд╣рддрд░ рдкреНрд░реЗрдбрд┐рдХреНрдЯрд┐рд╡ рдкреНрд░рджрд░реНрд╢рди рджрд░реНрд╢рд╛рддрд╛ рд╣реИред
  4. Mean Absolute Error (MAE): MAE рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдореЗрдВ рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреА рдФрд╕рдд рдкрд░рд┐рдорд╛рдг рдорд╛рдкрддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди RMSE рдХреЗ рд╡рд┐рдкрд░реАрдд, рдпрд╣ рдмрдбрд╝реА рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреЛ рдЙрддрдирд╛ рджрдВрдбрд┐рдд рдирд╣реАрдВ рдХрд░рддрд╛ред рдЗрд╕реЗ рд╕рдордЭрдирд╛ рдЖрд╕рд╛рди рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреА рд╣реА рдЗрдХрд╛рдЗрдпреЛрдВ рдореЗрдВ рд╣реЛрддрд╛ рд╣реИред

рдЗрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ Python рдореЗрдВ statsmodels рдпрд╛ scikit-learn рдХреЗ рд╕рд╛рде рдЖрд╕рд╛рдиреА рд╕реЗ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:

from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
import numpy as np

# Make predictions using the model
y_pred = model.predict(X)

# R-squared
r_squared = r2_score(y, y_pred)
print("R-squared:", r_squared)

# Adjusted R-squared (calculated manually)
n = len(y)  # number of data points
p = X.shape[1] - 1  # number of predictors (excluding intercept)
adj_r_squared = 1 - (1 - r_squared) * (n - 1) / (n - p - 1)
print("Adjusted R-squared:", adj_r_squared)

# RMSE
rmse = np.sqrt(mean_squared_error(y, y_pred))
print("Root Mean Squared Error (RMSE):", rmse)

# MAE
mae = mean_absolute_error(y, y_pred)
print("Mean Absolute Error (MAE):", mae)

рдЗрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдХреЗ, рдЖрдк рдореЙрдбрд▓ рдХреА рд╕рдЯреАрдХрддрд╛, goodness of fit, рдФрд░ рдирдП рдбреЗрдЯрд╛ рдкрд░ рдЙрд╕рдХреЗ рд╕рд╛рдорд╛рдиреНрдпреАрдХрд░рдг рдХреА рдХреНрд╖рдорддрд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рдкреНрд░рд╛рдкреНрдд рдХрд░рддреЗ рд╣реИрдВред

рдЕрдкрдиреЗ Regression рдореЙрдбрд▓ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдирд╛

рдЬрдм рдЖрдк рдЕрдкрдиреЗ linear regression рдореЙрдбрд▓ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░ рд▓реЗрдВ, рддреЛ рдЕрдЧрд▓рд╛ рдХрджрдо рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рд╕реБрдзрд╛рд░рдиреЗ рдХреЗ рддрд░реАрдХреЛрдВ рдХреА рддрд▓рд╛рд╢ рдХрд░рдирд╛ рд╣реИред рдПрдХ рд╕рд╛рдорд╛рдиреНрдп рддрд░реАрдХрд╛ рд╣реИ feature transformations, рдЬреЛ nonlinear рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдВрдмреЛрдзрд┐рдд рдХрд░ рд╕рдХрддреА рд╣реИрдВ рдФрд░ рдореЙрдбрд▓ рдХреЛ рдбреЗрдЯрд╛ рдореЗрдВ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдкреИрдЯрд░реНрди рдХреЛ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдХреИрдкреНрдЪрд░ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреА рд╣реИрдВред

Feature transformations

рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ linear regression рдореЗрдВ, рдореЙрдбрд▓ рд╕реНрд╡рддрдВрддреНрд░ (predictors) рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреЗ рдмреАрдЪ рд░реИрдЦрд┐рдХ рд╕рдВрдмрдВрдз рдорд╛рди рдХрд░ рдЪрд▓рддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдХрдИ рд╡рд╛рд╕реНрддрд╡рд┐рдХ-рд╡рд┐рд╢реНрд╡ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдореЗрдВ nonlinear рд╕рдВрдмрдВрдз рд╣реЛрддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдПрдХ рд╕рд╛рдзрд╛рд░рдг linear рдореЙрдбрд▓ рдареАрдХ рд╕реЗ рдХреИрдкреНрдЪрд░ рдирд╣реАрдВ рдХрд░ рдкрд╛рддрд╛ред Logarithmic рдпрд╛ square root рдЬреИрд╕реЗ рд░реВрдкрд╛рдВрддрд░рдг рд▓рд╛рдЧреВ рдХрд░рдХреЗ, рдЖрдк рдХрднреА-рдХрднреА рдореЙрдбрд▓ рдХрд╛ рдкреНрд░рджрд░реНрд╢рди рд╕реБрдзрд╛рд░ рд╕рдХрддреЗ рд╣реИрдВред

Logarithmic рд░реВрдкрд╛рдВрддрд░рдг

рдЗрд╕реЗ рдЕрдХреНрд╕рд░ рддрдм рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдЬрдм рдХреЛрдИ рдлрд╝реАрдЪрд░ рдШрд╛рддреАрдп рд╡реГрджреНрдзрд┐ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдпрд╛ рдЙрд╕рдХреЗ рдорд╛рди рдмрд╣реБрдд рдмрдбрд╝реЗ рдзрдирд╛рддреНрдордХ рд╣реЛрддреЗ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЕрддреНрдпрдзрд┐рдХ skewed рдЖрдп (income) рдбреЗрдЯрд╛тАФрдЬрд╣рд╛рдБ рдХреБрдЫ рдмрд╣реБрдд рдКрдБрдЪреЗ рдорд╛рди рд╣рд╛рд╡реА рд╣реЛрдВтАФрдХреЛ рд░реВрдкрд╛рдВрддрд░рд┐рдд рдХрд░рдиреЗ рд╕реЗ рд╡рд┐рддрд░рдг рдЕрдзрд┐рдХ рд╕рд╛рдорд╛рдиреНрдп рд╣реЛ рд╕рдХрддрд╛ рд╣реИред

import numpy as np
df['log_income'] = np.log(df['income'] + 1)  # +1 to avoid log(0)

Square root рд░реВрдкрд╛рдВрддрд░рдг

рдпрд╣ рдЙрди рдлрд╝реАрдЪрд░реНрд╕ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬреЛ рджреНрд╡рд┐рдШрд╛рдд (quadratic) рд╕рдВрдмрдВрдз рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдХрд╛рдЙрдВрдЯреНрд╕ рдХреЛ рджрд░реНрд╢рд╛рдиреЗ рд╡рд╛рд▓рд╛ рдлрд╝реАрдЪрд░ (рдЬреИрд╕реЗ рдХрд┐рд╕реА рд╡реЗрдмрд╕рд╛рдЗрдЯ рдкрд░ рд╡рд┐рдЬрд╝рд┐рдЯреНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛) square root рд░реВрдкрд╛рдВрддрд░рдг рд╕реЗ рд▓рд╛рднрд╛рдиреНрд╡рд┐рдд рд╣реЛ рд╕рдХрддрд╛ рд╣реИред

df['sqrt_visits'] = np.sqrt(df['visits'])

рдЗрди рдлрд╝реАрдЪрд░реНрд╕ рдХрд╛ рд░реВрдкрд╛рдВрддрд░рдг рдХрд░рдХреЗ, рдЖрдк рдореЙрдбрд▓ рдХреЛ рдЙрди рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдХреИрдкреНрдЪрд░ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ linear рджреГрд╖реНрдЯрд┐рдХреЛрдг рдкрд╣рд▓реЗ рдЪреВрдХ рд░рд╣рд╛ рдерд╛ред рдХреБрдВрдЬреА рд╣реИ рд╡рд┐рднрд┐рдиреНрди рд░реВрдкрд╛рдВрддрд░рдгреЛрдВ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░рдирд╛ рдФрд░ рдЙрдирдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рдореЙрдбрд▓ рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдкрд░ рджреЗрдЦрдирд╛ред рдпрд╣ рдПрдХ рдПрдХ-рдЖрдХрд╛рд░-рд╕рдмрдХреЗ-рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рддрд░реАрдХрд╛ рдирд╣реАрдВ рд╣реИ, рдФрд░ рдЗрд╕рдХреЗ рд▓рд┐рдП рдкреНрд░рд╛рдпреЛрдЧрд┐рдХ рдкрд░реАрдХреНрд╖рдг рдЬрд░реВрд░реА рд╣реИред

Normalization рдФрд░ standardization

Feature transformations рдХреЗ рдЕрддрд┐рд░рд┐рдХреНрдд, рдЕрдкрдиреЗ regression рдореЙрдбрд▓ рдкрд░ normalization рдФрд░ standardization рдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рд╕рдордЭрдирд╛ рднреА рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ, рдЦрд╛рд╕рдХрд░ рдЬрдм рдЖрдк рд╡рд┐рднрд┐рдиреНрди рдЗрдХрд╛рдЗрдпреЛрдВ рдпрд╛ рд╕реНрдХреЗрд▓ рд╡рд╛рд▓реЗ рдлрд╝реАрдЪрд░реНрд╕ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░ рд░рд╣реЗ рд╣реЛрдВред Normalization рдореЗрдВ рдлрд╝реАрдЪрд░ рдорд╛рдиреЛрдВ рдХреЛ рдПрдХ рд░реЗрдВрдЬтАФрдЖрдорддреМрд░ рдкрд░ [0, 1]тАФрдореЗрдВ rescale рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред Standardization рдореЗрдВ рдлрд╝реАрдЪрд░реНрд╕ рдХреЛ 0 рдорд╛рдзреНрдп (mean) рдФрд░ 1 рдорд╛рдирдХ рд╡рд┐рдЪрд▓рди (standard deviation) рдкрд░ rescale рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред

рдЬрдм рдЖрдкрдХреЗ рдкрд╛рд╕ рдХрдИ predictors рд╣реЛрдВ, рддреЛ рдбреЗрдЯрд╛ рдХреЛ normalize рдпрд╛ standardize рдХрд░рдирд╛ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХреЛ рдЕрдзрд┐рдХ рд╕рд╛рд░реНрдердХ рдмрдирд╛рддрд╛ рд╣реИред рдпрд╛рдиреА, рдпрд╣ рджрд┐рдЦрд╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдкреНрд░рддреНрдпреЗрдХ predictor, рдЕрдиреНрдп predictors рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рдХрд┐рддрдирд╛ рдпреЛрдЧрджрд╛рди рджреЗрддрд╛ рд╣реИред рдпрд╣ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рддрдм рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬрдм predictors рдЕрд▓рдЧ-рдЕрд▓рдЧ рд╕реНрдХреЗрд▓ рдкрд░ рд╣реЛрдВред

рдирд┐рд╖реНрдХрд░реНрд╖

Linear regression рдХреА рдЧрд╣рд░реА рд╕рдордЭ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдирд┐рд░рдВрддрд░ рдЕрднреНрдпрд╛рд╕ рдФрд░ рдЕрдиреНрд╡реЗрд╖рдг рдЖрд╡рд╢реНрдпрдХ рд╣реИред рдЕрдкрдиреЗ рдЬреНрдЮрд╛рди рдХреЛ рдФрд░ рдЧрд╣рд░рд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, multicollinearity рдХреЛ рд╕рдВрднрд╛рд▓рдирд╛, heteroscedasticity, рдФрд░ Ridge рдФрд░ Lasso regression рдЬреИрд╕реА regularization рддрдХрдиреАрдХреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдиреЗ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВред QR decomposition рдФрд░ variance inflation factor рдХреА рд╕рдордЭ рдордЬрдмреВрдд рдХрд░рдирд╛ рднреА рдореЙрдбрд▓ рдбрд╛рдпрдЧреНрдиреЛрд╕реНрдЯрд┐рдХреНрд╕ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рд╛рде рд╣реА, normalization рдмрдирд╛рдо standardization рдХреЛ рд╕рдордЭрдирд╛ feature scaling рдирд┐рд░реНрдгрдпреЛрдВ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛрдЧрд╛ред

Samuel Shaibu

рд▓реЗрдЦрдХ

Samuel Shaibu

рдЕрдиреБрднрд╡реА рдбреЗрдЯрд╛ рдкреНрд░реЛрдлреЗрд╢рдирд▓ рдФрд░ рд▓реЗрдЦрдХ, рдЬреЛ рдбреЗрдЯрд╛ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдЙрднрд░рддреЗ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮреЛрдВ рдХреЛ рд╕рд╢рдХреНрдд рдмрдирд╛рдиреЗ рдХреЗ рдкреНрд░рддрд┐ рдкреНрд░рддрд┐рдмрджреНрдз рд╣реИрдВред

рд╡рд┐рд╖рдп