Python, рдЕрдкрдиреА рд╕рдореГрджреНрдз рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдХреЛрд╕рд┐рд╕реНрдЯрдотАФрдЬреИрд╕реЗ NumPy, statsmodels рдФрд░ scikit-learnтАФрдХреА рдмрджреМрд▓рдд рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХреЛрдВ рдХреА рдкрд╕рдВрджреАрджрд╛ рднрд╛рд╖рд╛ рдмрди рдЧрдпрд╛ рд╣реИред рдЗрд╕рдХреА рд╕рд╣рдЬрддрд╛ рдФрд░ рдмрд╣реБрдореБрдЦреА рдкреНрд░рддрд┐рднрд╛ рдЗрд╕реЗ linear regression рдХреЗ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдЖрдзрд╛рд░реЛрдВ рдХреЛ рд╕рдордЭрдиреЗ рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреА рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ рдЙрд╕реЗ рд▓рд╛рдЧреВ рдХрд░рдиреЗтАФрджреЛрдиреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдмрдирд╛рддреА рд╣реИред
рдЗрд╕ рдЧрд╛рдЗрдб рдореЗрдВ, рдореИрдВ рдЖрдкрдХреЛ Python рдореЗрдВ linear regression рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╣рд░ рдЬрд░реВрд░реА рдмрд╛рдд рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рдХрд░рд╛рдКрдВрдЧрд╛ред рд╣рдо рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВрдЧреЗтАФlinear regression рдХреНрдпрд╛ рд╣реИ рдФрд░ рдпрд╣ рдЗрддрдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдХреНрдпреЛрдВ рд╣реИред рдлрд┐рд░, рд╣рдо рдЗрд╕рдХреА рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА рджреЗрдЦреЗрдВрдЧреЗтАФрдЖрдзрд╛рд░рднреВрдд рд╕рдореАрдХрд░рдгреЛрдВ рдФрд░ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреЛ рд╕рдордЭрддреЗ рд╣реБрдПред рдЖрдк рдЬрд╛рдиреЗрдВрдЧреЗ рдХрд┐ рд╡рд┐рднрд┐рдиреНрди Python рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╕реЗ linear regression рдХреИрд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИтАФNumPy рдХреЗ рд╕рд╛рде рдореИрдиреБрдЕрд▓ рдЧрдгрдирд╛ рд╕реЗ рд▓реЗрдХрд░ scikit-learn рдХреЗ рд╕рд╛рде рд╕реБрд╡реНрдпрд╡рд╕реНрдерд┐рдд рдЗрдореНрдкреНрд▓реАрдореЗрдВрдЯреЗрд╢рди рддрдХред рд╣рдо simple рдФрд░ multiple рджреЛрдиреЛрдВ linear regression рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗ, рдФрд░ рдореИрдВ рдЖрдкрдХреЛ рджрд┐рдЦрд╛рдКрдВрдЧрд╛ рдХрд┐ рдЕрдкрдиреЗ рдореЙрдбрд▓реЛрдВ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХреИрд╕реЗ рдХрд░реЗрдВ рдФрд░ рдЙрдирдХрд╛ рдкреНрд░рджрд░реНрд╢рди рдХреИрд╕реЗ рдмреЗрд╣рддрд░ рдмрдирд╛рдПрдВред
Linear Regression рдХреНрдпрд╛ рд╣реИ?
Linear regression рдПрдХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╡рд┐рдзрд┐ рд╣реИ, рдЬрд┐рд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдЖрд╢реНрд░рд┐рдд рдЪрд░ (target) рдФрд░ рдПрдХ рдпрд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ (predictors) рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреЛ рдореЙрдбрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдЙрджреНрджреЗрд╢реНрдп рдпрд╣ рд╣реИ рдХрд┐ рдПрдХ рд░реИрдЦрд┐рдХ рд╕рдореАрдХрд░рдг рдЦреЛрдЬрд╛ рдЬрд╛рдП рдЬреЛ рдЗрд╕ рд╕рдВрдмрдВрдз рдХрд╛ рд╕рд░реНрд╡реЛрддреНрддрдо рд╡рд░реНрдгрди рдХрд░реЗред
Linear regression рдХрд╛ рд╡реНрдпрд╛рдкрдХ рдЙрдкрдпреЛрдЧ predictive modeling, inferential statistics, рдФрд░ рдбреЗрдЯрд╛ рдореЗрдВ рдЕрдВрддрд░реНрд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИред рдЗрд╕рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдореЗрдВ рдмрд┐рдХреНрд░реА рдХрд╛ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рд▓рдЧрд╛рдирд╛, рдЬреЛрдЦрд┐рдо рдХрд╛ рдЖрдХрд▓рди рдХрд░рдирд╛, рдФрд░ рд▓рдХреНрд╖реНрдп рдкрд░рд┐рдгрд╛рдо рдкрд░ рд╡рд┐рднрд┐рдиреНрди рдЪрд░реЛрдВ рдХреЗ рдкреНрд░рднрд╛рд╡ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдирд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред
Simple linear regression рдХреНрдпрд╛ рд╣реИ?
Simple linear regression рдХреЗ рд▓рд┐рдП, рдпрд╣ рджреНрд╡рд┐-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рд░реЗрдЦрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рд╣реЛрддрд╛ рд╣реИ; multiple linear regression (рджреЛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдХреЗ рд╕рд╛рде) рдХреЗ рд▓рд┐рдП, рд╕рдВрдмрдВрдз рддреНрд░рд┐-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рд╕рдорддрд▓ рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ; рдФрд░ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХреЗ рд▓рд┐рдП, рд╕рдореАрдХрд░рдг рдЙрдЪреНрдЪ-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ hyperplane рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддрд╛ рд╣реИред
рдЖрдЗрдП simple linear regression рдореЙрдбрд▓ рд╕реЗ рд╢реБрд░реВ рдХрд░реЗрдВ, рдЬрд┐рд╕рдореЗрдВ, рдЬреИрд╕рд╛ рдХрд┐ рдореИрдВрдиреЗ рдмрддрд╛рдпрд╛, рдХреЗрд╡рд▓ рдПрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓ рд╣реЛрддрд╛ рд╣реИред рдЗрд╕реЗ рдЗрд╕ рд╕рдореАрдХрд░рдг рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ:
рдЬрд╣рд╛рдБ:
y рдЖрд╢реНрд░рд┐рдд рдЪрд░ рд╣реИ,
x рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рд╣реИ,
B0 рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рд╣реИ,
B1 рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдХрд╛ рдЧреБрдгрд╛рдВрдХ (рдврд▓рд╛рди) рд╣реИ,
рддреНрд░реБрдЯрд┐ рдкрдж рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИред
Multiple linear regression рдХреНрдпрд╛ рд╣реИ?
рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, multiple linear regression рдЗрд╕ рдЕрд╡рдзрд╛рд░рдгрд╛ рдХреЛ рдХрдИ predictor рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рддрдХ рд╡рд┐рд╕реНрддрд╛рд░рд┐рдд рдХрд░рддрд╛ рд╣реИ:
рдЬрд╣рд╛рдБ:
0 рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рд╣реИ,
x 1 , x 2 , ..., x n predictor рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рд╣реИрдВ
1 , 2 , ..., n рдкреНрд░рддреНрдпреЗрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓ рдХреЗ рдЕрдиреБрд░реВрдк рдЧреБрдгрд╛рдВрдХ рд╣реИрдВ,
рддреНрд░реБрдЯрд┐ рдкрдж рд╣реИред
Linear Regression рдХреЗ рдкреАрдЫреЗ рдХреА рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА
рдпрд╣ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐ linear regression рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ, рдЗрд╕рдХреЗ рдкреНрд░рдореБрдЦ рдШрдЯрдХреЛрдВ рдХреЛ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд░рдХреЗ рджреЗрдЦрддреЗ рд╣реИрдВред
Linear рдореЙрдбрд▓ рдХрд╛ рд╕рдореАрдХрд░рдг
рд╣рдордиреЗ рдКрдкрд░, рдПрдХрд▓ рдФрд░ рдмрд╣реБ predictor рдХреЗ рд╕рд╛рде, linear regression рдХреА рд╕рдореАрдХрд░рдгреЗрдВ рджреЗрдЦреАрдВред рдЕрдм, рдореИрдВ рдЗрди рд╕рдореАрдХрд░рдгреЛрдВ рдХреЗ рдПрдХ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдкрд╣рд▓реВ рдкрд░ рдмрд╛рдд рдХрд░рдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реВрдБред┬а
Linear рд╢рдмреНрдж, linear regression рдореЗрдВ, рдореЙрдбрд▓ рдХреЗ рдкреНрд░рдХрд╛рд░реНрдпрд╛рддреНрдордХ рд░реВрдк рдХреЛ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рддрд╛ рд╣реИ, рдЬрд░реВрд░реА рдирд╣реАрдВ рдХрд┐ рдбреЗрдЯрд╛ рдХреЗ рдЖрдХрд╛рд░ рдХреЛред рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рдЗрд╕рдХрд╛ рдЕрд░реНрде рд╣реИ рдХрд┐:
рдореЙрдбрд▓ рдЕрдкрдиреЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдореЗрдВ рд░реИрдЦрд┐рдХ рд╣реИ ред рдпрд╛рдиреА рдкреНрд░рддреНрдпреЗрдХ predictor рдХреЛ рдХрд┐рд╕реА рдЧреБрдгрд╛рдВрдХ рд╕реЗ рдЧреБрдгрд╛ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдФрд░ рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдФрд░ predictors рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд╕рдВрдпреЛрдЧрд╛рддреНрдордХ (additive) рд╣реИ , рдпрд╛рдиреА рдкреНрд░рддреНрдпреЗрдХ predictor рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрди рдХрд╛ рдкреНрд░рднрд╛рд╡ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдкрд░ рд╕реБрд╕рдВрдЧрдд рд░рд╣рддрд╛ рд╣реИред
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░ рдШрд╛рдд (exponentiation), рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рдЧреБрдгрди, рдпрд╛ nonlinear рд░реВрдкрд╛рдВрддрд░рдг рд▓рд╛рдЧреВ рдирд╣реАрдВ рд╣реЛрддреЗред
Ordinary least squares (OLS) рд╡рд┐рдзрд┐
рд╕рд░реНрд╡реЛрддреНрддрдо-рдлрд┐рдЯрд┐рдВрдЧ рд░реЗрдЦрд╛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, linear regression ordinary least squares (OLS) рд╡рд┐рдзрд┐ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред OLS рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддрд╛ рд╣реИ:
OLS рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддрд╛ рд╣реИ:
рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ B 0 рдФрд░ B 1 рдХреЗ рд╕рд░реНрд╡реЛрддреНрддрдо рд╕рдВрднрд╡ рдЖрдХрд▓рди рджреЗрддрд╛ рд╣реИред
Linear regression рдХреА рдорд╛рдиреНрдпрддрд╛рдПрдБ
рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рдкрд░рд┐рдгрд╛рдореЛрдВ рдХреЗ рд▓рд┐рдП linear regression рдореЗрдВ рдХреБрдЫ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХрд╛ рдкреВрд░рд╛ рд╣реЛрдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИ:
рд░реИрдЦрд┐рдХрддрд╛ (Linearity) : рд╕реНрд╡рддрдВрддреНрд░ рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд░реИрдЦрд┐рдХ рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдПред
рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреА рд╕реНрд╡рддрдВрддреНрд░рддрд╛ : рдЕрд╡рд╢реЗрд╖ (errors) рдПрдХ-рджреВрд╕рд░реЗ рд╕реЗ рд╕рд╣рд╕рдВрдмрджреНрдз рдирд╣реАрдВ рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред
рд╕реНрдерд┐рд░ рд╡рд┐рдЪрд░рдг (Homoscedasticity) : рдЕрд╡рд╢реЗрд╖реЛрдВ рдХрд╛ рдлреИрд▓рд╛рд╡ рд╕рднреА рдорд╛рдиреЛрдВ рдкрд░ рд▓рдЧрднрдЧ рд╕рдорд╛рди рд░рд╣рдирд╛ рдЪрд╛рд╣рд┐рдПред
рдЕрд╡рд╢реЗрд╖реЛрдВ рдХреА рд╕рд╛рдорд╛рдиреНрдпрддрд╛ : рдЕрд╡рд╢реЗрд╖ рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рддрд░рдг рдХрд╛ рдкрд╛рд▓рди рдХрд░реЗрдВред
рдЗрди рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХрд╛ рд╕рддреНрдпрд╛рдкрди рд╣рдорд╛рд░реЗ рдореЙрдбрд▓ рдХреЛ рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рдФрд░ рдорд╛рдиреНрдп рдмрдирд╛рддрд╛ рд╣реИред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдпрджрд┐ рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд░реИрдЦрд┐рдХ рдирд╣реАрдВ рд╣реИ, рддреЛ рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпрд╛рдБ рдЧрд▓рдд рд╣реЛ рд╕рдХрддреА рд╣реИрдВред рдпрджрд┐ heteroscedasticity рд╣реИ, рддреЛ confidence intervals рдЧрд▓рдд рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред
Python рдореЗрдВ Linear Regression рдХрд░рдиреЗ рдХреЗ рддрд░реАрдХреЗ
Python рдореЗрдВ linear regression рдХрдИ рддрд░реАрдХреЛрдВ рд╕реЗ рд▓рд╛рдЧреВ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдореИрдВ рдЖрдкрдХреЛ рддреАрди рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рдзрд┐рдпреЛрдВ рд╕реЗ рд▓реЗ рдЪрд▓реВрдБрдЧрд╛: NumPy рдХреЗ рд╕рд╛рде рдореИрдиреБрдЕрд▓ рдЧрдгрдирд╛, statsmodels рдХреЗ рд╕рд╛рде рд╡рд┐рд╕реНрддреГрдд рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдореЙрдбрд▓рд┐рдВрдЧ, рдФрд░ scikit-learn рдХреЗ рд╕рд╛рде рд╕реБрд╡реНрдпрд╡рд╕реНрдерд┐рдд рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧред
рдореИрдиреБрдЕрд▓ рдХреИрд▓рдХреБрд▓реЗрд╢рди рддрд░реАрдХрд╛ (NumPy)
Simple linear regression (рдПрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓) рдХреЗ рд▓рд┐рдП, рдЖрдк NumPy рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ regression рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЛ рдореИрдиреБрдЕрд▓ рд░реВрдк рд╕реЗ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред рдЗрд╕рдореЗрдВ рдкрд╣рд▓реЗ рд╕реНрд╡рддрдВрддреНрд░ рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░реЛрдВ рдХрд╛ рдФрд╕рдд рдирд┐рдХрд╛рд▓рдирд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред рдлрд┐рд░ рд╣рдо рдврд▓рд╛рди (B0 ) рдХреА рдЧрдгрдирд╛ рдХрд░рддреЗ рд╣реИрдВ:
рдПрдХ рдмрд╛рд░ рдврд▓рд╛рди рдорд┐рд▓рдиреЗ рдкрд░, рд╣рдо рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ (B1 ) рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:
import numpy as np
x = np. array( [ 1 , 2 , 3 , 4 , 5 ] )
y = np. array( [ 2 , 4 , 5 , 4 , 5 ] )
x_mean = np. mean( x)
y_mean = np. mean( y)
B1 = np. sum ( ( x - x_mean) * ( y - y_mean) ) / np. sum ( ( x - x_mean) ** 2 )
B0 = y_mean - B1 * x_mean
print ( f"Slope (B1): { B1} " )
print ( f"Intercept (B0): { B0} " )
y_pred = B0 + B1 * x
print ( "Predicted values:" , y_pred) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрджрд┐ рдЖрдк рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ NumPy рдПрдХ built-in рдлрд╝рдВрдХреНрд╢рди np.polyfit() рднреА рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдХреЗрд╡рд▓ рдПрдХ рдкрдВрдХреНрддрд┐ рдХреЗ рдХреЛрдб рдореЗрдВ linear regression рдХрд░ рд╕рдХрддрд╛ рд╣реИред
np. polyfit( x, y, 1 ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрд╣ рддрд░реАрдХрд╛ simple linear regression рдХреЗ рдкреАрдЫреЗ рдХреЗ рдЧрдгрд┐рдд рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рдЙрдкрдпреЛрдЧреА рд╣реИ, рд▓реЗрдХрд┐рди рдмрдбрд╝реЗ рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдЕрд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ, рдХрдо рд╕рдВрдЦреНрдпрд╛рддреНрдордХ-рд╕рдЯреАрдХ, рдФрд░ multiple regression рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдирд╣реАрдВ рд╣реИред
рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ (statsmodels)
Linear regression рдХрд░рдиреЗ рдХрд╛ рдПрдХ рдЕрдзрд┐рдХ рд╕рдХреНрд╖рдо рддрд░реАрдХрд╛ statsmodels рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реИ, рдЬреЛ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдореЙрдбрд▓ рдФрд░ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдЙрдкрдХрд░рдг рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИред
Statsmodels рдХреЗ рд╕рд╛рде Ordinary Least Squares (OLS) рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░рдиреЗ рдХреЗ рдЪрд░рдг:
рдбреЗрдЯрд╛ рддреИрдпрд╛рд░ рдХрд░реЗрдВ : рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдЙрдЪрд┐рдд рд░реВрдк рд╕реЗ рд╕рдВрд░рдЪрд┐рдд рд╣реЛред
Constant рдЬреЛрдбрд╝реЗрдВ : рдпрд╣ рд╕рдореАрдХрд░рдг рдореЗрдВ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдкрдж рдХрд╛ рд╣рд┐рд╕рд╛рдм рд░рдЦрддрд╛ рд╣реИред
рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░реЗрдВ : statsmodels рд╕реЗ OLS() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ regression рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдПрдБред
рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░реЗрдВ : .summary() рдлрд╝рдВрдХреНрд╢рди рд╡рд┐рд╕реНрддреГрдд рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рджреЗрддрд╛ рд╣реИ, рдЬрд┐рдирдореЗрдВ рдЧреБрдгрд╛рдВрдХ, p-values, рдФрд░ R-squared рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
import numpy as np
import statsmodels. api as sm
x = np. array( [ 1 , 2 , 3 , 4 , 5 ] )
y = np. array( [ 2 , 4 , 5 , 4 , 5 ] )
X = sm. add_constant( x)
model = sm. OLS( y, X) . fit( )
print ( model. summary( ) ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ (scikit-learn)
scikit-learn рдЕрдкрдиреА рд╕рд░рд▓рддрд╛, рд╕реНрдХреЗрд▓реЗрдмрд┐рд▓рд┐рдЯреА, рдФрд░ рдЕрдиреНрдп ML рдЯреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЗрдВрдЯреАрдЧреНрд░реЗрд╢рди рдХреЗ рдХрд╛рд░рдг рд╡реНрдпрд╛рдкрдХ рд░реВрдк рд╕реЗ рдЙрдкрдпреЛрдЧ рд╣реЛрддреА рд╣реИред рдпрд╣ LinearRegression рдХреНрд▓рд╛рд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ linear regression рдХрд░рдиреЗ рдХрд╛ рд╕рд░рд▓ рдФрд░ рдХреБрд╢рд▓ рддрд░реАрдХрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИред
рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдореНрдкреЛрд░реНрдЯ рдХрд░реЗрдВ рдФрд░ рдЕрдкрдирд╛ рдбреЗрдЯрд╛рд╕реЗрдЯ рд▓реЛрдб рдХрд░реЗрдВред
Predictor рд╡реЗрд░рд┐рдПрдмрд▓ рдХреЛ reshape рдХрд░реЗрдВ рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ (single-variable regression рдХреЗ рд▓рд┐рдП)ред
рдореЙрдбрд▓ рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдмрдирд╛рдПрдБ LinearRegression() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗред
рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░реЗрдВ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдбреЗрдЯрд╛ рдкрд░ред
рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ : .coeff_ рдврд▓рд╛рди рджреЗрддрд╛ рд╣реИ, рдЬрдмрдХрд┐ .intercept_ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рджреЗрддрд╛ рд╣реИред
import numpy as np
from sklearn. linear_model import LinearRegression
x = np. array( [ 1 , 2 , 3 , 4 , 5 ] ) . reshape( - 1 , 1 )
y = np. array( [ 2 , 4 , 5 , 4 , 5 ] )
model = LinearRegression( )
model. fit( x, y)
print ( f"Slope (B1): { model. coef_[ 0 ] } " )
print ( f"Intercept (B0): { model. intercept_} " )
y_pred = model. predict( x)
print ( "Predicted values:" , y_pred) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЕрдиреНрдп рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╡рд┐рдзрд┐рдпрд╛рдБ
NumPy, statsmodels, рдФрд░ scikit-learn рд╕реЗ рдЖрдЧреЗ, рдХрдИ рдЕрдиреНрдп Python рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рднреА regression рдХреА рдХреНрд╖рдорддрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИрдВ:
Pandas : рдЦреЛрдЬрдкреВрд░реНрдг рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рддреНрд╡рд░рд┐рдд рдЯреНрд░реЗрдВрдб рдореЙрдбрд▓рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреАред
SciPy : рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдлрд╝рдВрдХреНрд╢рдВрд╕ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ regression рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
TensorFlow & PyTorch : рдпрджреНрдпрдкрд┐ рдореБрдЦреНрдпрддрдГ deep learning рдХреЗ рд▓рд┐рдП рд╣реИрдВ, рдпреЗ linear regression рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдкреНрд░рднрд╛рд╡реА рдврдВрдЧ рд╕реЗ рд╕рдВрднрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред
рд╣рд░ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХреЗ рдЕрдкрдиреЗ рдлрд╛рдпрджреЗ рд╣реИрдВред рдпрд╣ рдЖрдкрдХреЗ regression рдХрд╛рд░реНрдп рдХреА рдЬрдЯрд┐рд▓рддрд╛ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИред
Python рдореЗрдВ рдПрдХ рдпрд╛ рдЕрдзрд┐рдХ predictors рдХреЗ рд╕рд╛рде Linear Regression
Linear regression рд╕рд░рд▓ рдФрд░ рдЬрдЯрд┐рд▓ рджреЛрдиреЛрдВ рдкреНрд░рдХрд╛рд░ рдХреЗ рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдВрднрд╛рд▓ рд╕рдХрддрд╛ рд╣реИред рдЗрд╕ рдЦрдВрдб рдореЗрдВ, рд╣рдо Python рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ predictor (simple) рдФрд░ рдХрдИ predictors (multiple) рдХреЗ рд╕рд╛рде linear regression рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред
Python рдореЗрдВ simple linear regression
Python рдореЗрдВ simple linear regression рдХреЗ рд▓рд┐рдП, рд╣рдо рдирд┐рдореНрди рдЪрд░рдгреЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВ:
рдЪрд░рдг 1: рд╕рд╣рд╕рдВрдмрдВрдз (correlation) рдирд┐рдХрд╛рд▓реЗрдВ
Correlation coefficient, x рдФрд░ y рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреА рддрд╛рдХрдд рдорд╛рдкрддрд╛ рд╣реИред рд╣рдо рдЗрд╕реЗ NumPy рд╕реЗ рдирд┐рдХрд╛рд▓рддреЗ рд╣реИрдВ:
import numpy as np
x = np. array( [ 1 , 2 , 3 , 4 , 5 ] )
y = np. array( [ 2 , 4 , 5 , 4 , 5 ] )
correlation = np. corrcoef( x, y) [ 0 , 1 ]
print ( "Correlation:" , correlation) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЪрд░рдг 2: рдврд▓рд╛рди рдФрд░ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдирд┐рдХрд╛рд▓реЗрдВ
рдврд▓рд╛рди B1 рдЗрд╕ рдкреНрд░рдХрд╛рд░ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛рддрд╛ рд╣реИ:
beta_1 = correlation * ( np. std( y) / np. std( x) ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЖрдк рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ рдХрд┐ рдпрд╣ рд╕рдореАрдХрд░рдг рдкрд╣рд▓реЗ рд╡рд╛рд▓реЗ рд╕реЗ рдереЛрдбрд╝рд╛ рднрд┐рдиреНрди рджрд┐рдЦрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдореИрдВрдиреЗ рдврд▓рд╛рди рдХреЛ x рдФрд░ y рдХреЗ рд╡рд┐рдЪрд▓рдиреЛрдВ рдХреЗ рдЧреБрдгрди рдХреЗ рдпреЛрдЧ рдХреЛ рдЬреЛрдбрд╝рдХрд░, рдлрд┐рд░ x рдореЗрдВ рд╡рд░реНрдЧ-рд╡рд┐рдЪрд▓рдиреЛрдВ рдХреЗ рдпреЛрдЧ рд╕реЗ рднрд╛рдЧ рджреЗрдХрд░ рдкрд╛рдпрд╛ рдерд╛ред рдпрд╣ рдирдпрд╛ рддрд░реАрдХрд╛тАФcorrelation рдФрд░ standard deviation рдХрд╛ рдЙрдкрдпреЛрдЧтАФрдЕрд▓рдЧ рдкреНрд░рддреАрдд рд╣реЛ рд╕рдХрддрд╛ рд╣реИ, рдкрд░ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╡рд╣реА рд╣реИред рдкрд╣рд▓реЗ рдХреЗ рд╕рдореАрдХрд░рдг рдХреЛ рдкреБрдирд░реНрд▓реЗрдЦрд┐рдд рдХрд░рдХреЗ, рд╣рдо рдврд▓рд╛рди рдХреЛ r рдХреЗ рд░реВрдк рдореЗрдВ, y рдФрд░ x рдХреЗ standard deviations рдХреЗ рдЕрдиреБрдкрд╛рдд рд╕реЗ рдЧреБрдгрд╛ рдХрд░ рд╡реНрдпрдХреНрдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рджреЛрдиреЛрдВ рд░реВрдк рдмреАрдЬрдЧрдгрд┐рддреАрдп рд░реВрдк рд╕реЗ рд╕рдорддреБрд▓реНрдп рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВред
рдЕрдм, рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдХреЗ рд▓рд┐рдП:
beta_0 = np. mean( y) - beta_1 * np. mean( x) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЪрд░рдг 3: рдирд┐рдХрд╛рд▓реЗ рдЧрдП рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░реЗрдВ
рдЕрдм рдЬрдмрдХрд┐ рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдЧреБрдгрд╛рдВрдХ рд╣реИрдВ, рд╣рдо рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рди рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред
y_pred = beta_0 + beta_1 * xрд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЗрди рдЪрд░рдгреЛрдВ рд╕реЗ рдЧреБрдЬрд░рдирд╛, рдореЗрд░реА рд░рд╛рдп рдореЗрдВ, scikit-learn рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдЧрдгрдирд╛рдУрдВ рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛрддрд╛ рд╣реИред
Python рдореЗрдВ multiple linear regression
Multiple linear regression, simple linear regression рдХреА рдЕрд╡рдзрд╛рд░рдгрд╛ рдХреЛ рдЗрд╕ рддрд░рд╣ рд╡рд┐рд╕реНрддреГрдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдФрд░ рдХрдИ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдореЙрдбрд▓ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред рдпрд╣ рд╣рдореЗрдВ рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдЕрдХреЗрд▓рд╛ рдПрдХ predictor рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рднрд┐рдиреНрдирддрд╛ рдХреЛ рдкрд░реНрдпрд╛рдкреНрдд рд░реВрдк рд╕реЗ рдирд╣реАрдВ рд╕рдордЭрд╛ рдкрд╛рддрд╛ред
Python рдореЗрдВ multiple linear regression рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЖрдо рддреМрд░ рдкрд░ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдмреАрдЬрдЧрдгрд┐рдд рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЙрди рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рдЧрдгрдирд╛ рдХрд░рддреЗ рд╣реИрдВ рдЬреЛ residual sum of squares рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░реЗрдВред рдХрдИ рдмрд╛рд░ рдкрдврд╝рд╛рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рд╕реВрддреНрд░, multiple linear regression рдХреЗ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рдЧрдгрдирд╛ рдХреЗ рд▓рд┐рдП, normal equation рдХрд╣рд▓рд╛рддрд╛ рд╣реИ:
рдЬрд╣рд╛рдБ:
X рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХрд╛ рдореИрдЯреНрд░рд┐рдХреНрд╕ рд╣реИ (рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдХреЗ рд▓рд┐рдП ones рдХрд╛ рдПрдХ рдХреЙрд▓рдо рд╕рд╣рд┐рдд),
y рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдорд╛рдиреЛрдВ рдХрд╛ рд╡реЗрдХреНрдЯрд░ рд╣реИред
X T рдореИрдЯреНрд░рд┐рдХреНрд╕ X рдХрд╛ рдЯреНрд░рд╛рдВрд╕рдкреЛрдЬрд╝ рд╣реИред
( X T X) -1 , X T X рдХрд╛ рд╡реНрдпреБрддреНрдХреНрд░рдо (inverse) рд╣реИред
рдпрд╣ рд╕рдореАрдХрд░рдг рдЙрди рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреЗ рдЗрд╖реНрдЯрддрдо рдорд╛рди рджреЗрддрд╛ рд╣реИ рдЬреЛ рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддреЗ рд╣реИрдВред
рдпрд╣рд╛рдБ Python рдореЗрдВ, рдореИрдЯреНрд░рд┐рдХреНрд╕ рдСрдкрд░реЗрд╢рдВрд╕ рдХреЗ рд▓рд┐рдП NumPy рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, multiple linear regression рдХрд░рдиреЗ рдХрд╛ рдПрдХ рдЙрджрд╛рд╣рд░рдг рд╣реИ:
import numpy as np
X = np. array( [ [ 1 , 1 ] , [ 1 , 2 ] , [ 2 , 2 ] , [ 2 , 3 ] ] )
y = np. array( [ 6 , 8 , 9 , 11 ] )
X = np. column_stack( ( np. ones( X. shape[ 0 ] ) , X) )
beta = np. linalg. inv( X. T @ X) @ X. T @ y
print ( "Coefficients:" , beta) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрд╣ рд╡рд┐рдзрд┐ рддрдм рдЕрдЪреНрдЫреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддреА рд╣реИ рдЬрдм predictors рд╕реНрд╡рддрдВрддреНрд░ рд╣реЛрдВ, рд▓реЗрдХрд┐рди рдЬрдм predictors рдореЗрдВ рдЙрдЪреНрдЪ рд╕рд╣рд╕рдВрдмрдВрдз рд╣реЛрддрд╛ рд╣реИ , рддреЛ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдЗрдирд╡рд░реНрдЬрд╝рди рдЕрд╕реНрдерд┐рд░ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕реА рдХрд╛рд░рдг, scikit-learn рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝, рдЕрдзрд┐рдХ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд░реВрдк рд╕реЗ рд╕реНрдерд┐рд░ рд╡рд┐рдзрд┐тАФ QR decomposition тАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреА рд╣реИрдВ рддрд╛рдХрд┐ regression рдЧреБрдгрд╛рдВрдХ рдирд┐рдХрд╛рд▓реЗ рдЬрд╛ рд╕рдХреЗрдВред рдЗрд╕рд▓рд┐рдП, рдпрджреНрдпрдкрд┐ рд╣рдо normal equation рд╕реЗ рдЧреБрдгрд╛рдВрдХ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ, рдпрд╣ рдЬрд╛рди рд▓реЗрдВ рдХрд┐ рдЬрдм рд╣рдо scikitlearn рдХреА LinearRegression() рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдЕрдВрджрд░ рд╣реА рдЕрдВрджрд░ QR decomposition рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реЛрддрд╛ рд╣реИред
рдорд▓реНрдЯреАрдХреЛрд▓рд┐рдирд┐рдпрд░рд┐рдЯреА рдХрд╛ рд╕рдорд╛рдзрд╛рди
рдЕрдм multiple linear regression in Python рдореЗрдВ рдПрдХ рдЪрд┐рдВрддрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рд╕рд╛рдордиреЗ рдЖрдиреЗ рд╡рд╛рд▓реА рдмрд╛рдд рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдирд╛ рдЙрдкрдпреБрдХреНрдд рд╣реИред Multicollinearity рддрдм рд╣реЛрддреА рд╣реИ рдЬрдм рджреЛ рдпрд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдЕрддреНрдпрдзрд┐рдХ рд╕рд╣рд╕рдВрдмрджреНрдз рд╣реЛрдВ, рдЬрд┐рд╕рд╕реЗ рдЙрдирдХреЗ рд╡реНрдпрдХреНрддрд┐рдЧрдд рдкреНрд░рднрд╛рд╡реЛрдВ рдХреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдкрд╣рдЪрд╛рдирдирд╛ рдХрдард┐рди рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕рд╕реЗ рдЧреБрдгрд╛рдВрдХ рдЕрдиреБрдорд╛рди рдЕрд╕реНрдерд┐рд░ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред Multicollinearity рдХрд╛ рдкрддрд╛ рд▓рдЧрд╛рдиреЗ рдФрд░ рдЙрд╕реЗ рдХрдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдк variance inflation factor (VIF) рдХреА рдЧрдгрдирд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЖрдк рдЕрддреНрдпрдзрд┐рдХ рд╕рд╣рд╕рдВрдмрджреНрдз рдЪрд░реЛрдВ рдХреЛ рд╣рдЯрд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдпрд╛ regularization рддрдХрдиреАрдХреЛрдВтАФрдЬреИрд╕реЗ ridge regression рдФрд░ lasso regression тАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
Python рдореЗрдВ Linear Regression рдореЙрдбрд▓ рдХрд╛ рдирд┐рджрд╛рди рдФрд░ рдореВрд▓реНрдпрд╛рдВрдХрди
Linear regression рдореЙрдбрд▓ рдмрдирд╛рдиреЗ рдХреЗ рдмрд╛рдж, рдЕрдЧрд▓рд╛ рдХрджрдо рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдирд╛ рдФрд░ рдпрд╣ рд╕рддреНрдпрд╛рдкрд┐рдд рдХрд░рдирд╛ рд╣реИ рдХрд┐ рд╡рд╣ рдЖрдзрд╛рд░рднреВрдд рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреЛ рдкреВрд░рд╛ рдХрд░рддрд╛ рд╣реИред рдпрд╣ рдЖрдкрдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдХреА рд╡рд┐рд╢реНрд╡рд╕рдиреАрдпрддрд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╕рдВрднрд╛рд╡рд┐рдд рд╕реБрдзрд╛рд░реЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИред
Residual рд╡рд┐рд╢реНрд▓реЗрд╖рдг
Residual рд╡рд┐рд╢реНрд▓реЗрд╖рдг, linear regression рдбрд╛рдпрдЧреНрдиреЛрд╕реНрдЯрд┐рдХреНрд╕ рдХрд╛ рдореБрдЦреНрдп рднрд╛рдЧ рд╣реИред рдпрд╣ linear regression рдХреА рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреА рдЬрд╛рдБрдЪ рдХрд░рдиреЗ рдФрд░ рд╕рдВрднрд╛рд╡рд┐рдд рдЙрд▓реНрд▓рдВрдШрдиреЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИред рдЕрд╡рд╢реЗрд╖реЛрдВ рдХреЛ рд╢реВрдиреНрдп рдХреЗ рдЖрд╕рдкрд╛рд╕ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рд░реВрдк рд╕реЗ рдмрд┐рдЦрд░рд╛ рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП, рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реНрдкрд╖реНрдЯ рдкреИрдЯрд░реНрди рдХреЗред рдпрд╣рд╛рдБ residual plots рдФрд░ Q-Q plots рдЬреИрд╕реЗ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдЯреВрд▓реНрд╕ рдХрд╛рдо рдЖрддреЗ рд╣реИрдВ:
Residual Plot: рдЕрд╡рд╢реЗрд╖реЛрдВ рдмрдирд╛рдо рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рдиреЛрдВ (рдпрд╛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ) рдХрд╛ scatter plot рдпрд╣ рдЬрд╛рдБрдЪрдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдХреНрдпрд╛ рдХреЛрдИ рдРрд╕рд╛ рд╕рдВрдмрдВрдз рд╣реИ рдЬрд┐рд╕реЗ рдореЙрдбрд▓ рдиреЗ рдХреИрдкреНрдЪрд░ рдирд╣реАрдВ рдХрд┐рдпрд╛ред рдЖрджрд░реНрд╢ рд░реВрдк рд╕реЗ, рдкреНрд▓реЙрдЯ рдореЗрдВ рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реНрдкрд╖реНрдЯ рдкреИрдЯрд░реНрди рдХреЗ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рдлреИрд▓рд╛рд╡ рджрд┐рдЦрдирд╛ рдЪрд╛рд╣рд┐рдП, рдЬреЛ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдиреЗ рд░реИрдЦрд┐рдХ рд╕рдВрдмрдВрдз рдХреЛ рдЕрдЪреНрдЫреА рддрд░рд╣ рдХреИрдкреНрдЪрд░ рдХрд┐рдпрд╛ рд╣реИред
Q-Q Plot (Quantile-Quantile Plot) : Q-Q рдкреНрд▓реЙрдЯ рдпрд╣ рдЖрдХрд▓рди рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЕрд╡рд╢реЗрд╖ рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рддрд░рдг рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВ рдпрд╛ рдирд╣реАрдВред Linear regression рдХреЗ рдорд╛рдиреНрдп рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП, рдЕрд╡рд╢реЗрд╖ рд▓рдЧрднрдЧ рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рд╡рд┐рддрд░рд┐рдд рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред Q-Q рдкреНрд▓реЙрдЯ рдкрд░ рд╕реАрдзреА рд░реЗрдЦрд╛ рд╕рд╛рдорд╛рдиреНрдпрддрд╛ рдХрд╛ рд╕рдВрдХреЗрдд рджреЗрддреА рд╣реИред
Python рдореЗрдВ, рд╣рдо рдпреЗ рдкреНрд▓реЙрдЯ рдЖрд╕рд╛рдиреА рд╕реЗ matplotlib, seaborn, рдФрд░ statsmodels рдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╕реЗ рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред
import numpy as np
import matplotlib. pyplot as plt
import seaborn as sns
import statsmodels. api as sm
X = np. array( [ [ 1 , 1 ] , [ 1 , 2 ] , [ 2 , 2 ] , [ 2 , 3 ] ] )
y = np. array( [ 6 , 8 , 9 , 11 ] )
X = sm. add_constant( X)
model = sm. OLS( y, X) . fit( )
residuals = model. resid
plt. figure( figsize= ( 10 , 5 ) )
plt. subplot( 1 , 2 , 1 )
plt. scatter( model. fittedvalues, residuals)
plt. axhline( y= 0 , color= 'r' , linestyle= '--' )
plt. xlabel( 'Fitted Values' )
plt. ylabel( 'Residuals' )
plt. title( 'Residual Plot' )
plt. subplot( 1 , 2 , 2 )
sm. qqplot( residuals, line = '45' , ax= plt. gca( ) )
plt. title( 'Q-Q Plot' )
plt. tight_layout( )
plt. show( ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХреНрд╕
рджреГрд╢реНрдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдорд╛рддреНрд░рд╛рддреНрдордХ рдореАрдЯреНрд░рд┐рдХреНрд╕ рдпрд╣ рдЖрдХрд▓рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рд╣реИрдВ рдХрд┐ linear regression рдореЙрдбрд▓ рдбреЗрдЯрд╛ рдкрд░ рдХрд┐рддрдирд╛ рдЕрдЪреНрдЫрд╛ рдлрд┐рдЯ рдмреИрдарддрд╛ рд╣реИред рдХреБрдЫ рдкреНрд░рдореБрдЦ рдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рд╣реИрдВ:
R-squared (R┬▓): рдпрд╣ рдореАрдЯреНрд░рд┐рдХ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рдХрд┐рддрдиреА рд╡рд┐рдЪрд░рдгрддрд╛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рджреНрд╡рд╛рд░рд╛ рд╕рдордЭрд╛рдИ рдЬрд╛ рд╕рдХрддреА рд╣реИред R┬▓ рдХрд╛ рдорд╛рди 1 рдХреЗ рдХрд░реАрдм рд╣реЛрдиреЗ рдкрд░ рдореЙрдбрд▓ рдЕрдзрд┐рдХ рд╡рд┐рдЪрд░рдг рд╕рдордЭрд╛рддрд╛ рд╣реИ, рдЬрдмрдХрд┐ 0 рдХреЗ рдХрд░реАрдм рд╣реЛрдиреЗ рдкрд░ рдореЙрдбрд▓ рдбреЗрдЯрд╛ рдкрд░ рдЕрдЪреНрдЫреА рддрд░рд╣ рдлрд┐рдЯ рдирд╣реАрдВ рд╣реЛрддрд╛ред
Adjusted R-squared : рдпрд╣ рдореАрдЯреНрд░рд┐рдХ рдореЙрдбрд▓ рдореЗрдВ predictors рдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЗ рд▓рд┐рдП R┬▓ рдХреЛ рд╕рдорд╛рдпреЛрдЬрд┐рдд рдХрд░рддрд╛ рд╣реИред рдЕрд▓рдЧ-рдЕрд▓рдЧ predictors рд╡рд╛рд▓реЗ рдореЙрдбрд▓реЛрдВ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реИред
Root Mean Squared Error (RMSE): RMSE рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдореЗрдВ рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреА рдФрд╕рдд рдкрд░рд┐рдорд╛рдг рдорд╛рдкрддрд╛ рд╣реИ, рдЬреЛ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреА рдЗрдХрд╛рдЗрдпреЛрдВ рдореЗрдВ рд╣реА рд╣реЛрддрд╛ рд╣реИред рдХрдо RMSE рдмреЗрд╣рддрд░ рдкреНрд░реЗрдбрд┐рдХреНрдЯрд┐рд╡ рдкреНрд░рджрд░реНрд╢рди рджрд░реНрд╢рд╛рддрд╛ рд╣реИред
Mean Absolute Error (MAE): MAE рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдореЗрдВ рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреА рдФрд╕рдд рдкрд░рд┐рдорд╛рдг рдорд╛рдкрддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди RMSE рдХреЗ рд╡рд┐рдкрд░реАрдд, рдпрд╣ рдмрдбрд╝реА рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреЛ рдЙрддрдирд╛ рджрдВрдбрд┐рдд рдирд╣реАрдВ рдХрд░рддрд╛ред рдЗрд╕реЗ рд╕рдордЭрдирд╛ рдЖрд╕рд╛рди рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреА рд╣реА рдЗрдХрд╛рдЗрдпреЛрдВ рдореЗрдВ рд╣реЛрддрд╛ рд╣реИред
рдЗрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ Python рдореЗрдВ statsmodels рдпрд╛ scikit-learn рдХреЗ рд╕рд╛рде рдЖрд╕рд╛рдиреА рд╕реЗ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
from sklearn. metrics import mean_squared_error, mean_absolute_error, r2_score
import numpy as np
y_pred = model. predict( X)
r_squared = r2_score( y, y_pred)
print ( "R-squared:" , r_squared)
n = len ( y)
p = X. shape[ 1 ] - 1
adj_r_squared = 1 - ( 1 - r_squared) * ( n - 1 ) / ( n - p - 1 )
print ( "Adjusted R-squared:" , adj_r_squared)
rmse = np. sqrt( mean_squared_error( y, y_pred) )
print ( "Root Mean Squared Error (RMSE):" , rmse)
mae = mean_absolute_error( y, y_pred)
print ( "Mean Absolute Error (MAE):" , mae) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЗрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдХреЗ, рдЖрдк рдореЙрдбрд▓ рдХреА рд╕рдЯреАрдХрддрд╛, goodness of fit, рдФрд░ рдирдП рдбреЗрдЯрд╛ рдкрд░ рдЙрд╕рдХреЗ рд╕рд╛рдорд╛рдиреНрдпреАрдХрд░рдг рдХреА рдХреНрд╖рдорддрд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рдкреНрд░рд╛рдкреНрдд рдХрд░рддреЗ рд╣реИрдВред
рдЕрдкрдиреЗ Regression рдореЙрдбрд▓ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдирд╛
рдЬрдм рдЖрдк рдЕрдкрдиреЗ linear regression рдореЙрдбрд▓ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░ рд▓реЗрдВ, рддреЛ рдЕрдЧрд▓рд╛ рдХрджрдо рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рд╕реБрдзрд╛рд░рдиреЗ рдХреЗ рддрд░реАрдХреЛрдВ рдХреА рддрд▓рд╛рд╢ рдХрд░рдирд╛ рд╣реИред рдПрдХ рд╕рд╛рдорд╛рдиреНрдп рддрд░реАрдХрд╛ рд╣реИ feature transformations , рдЬреЛ nonlinear рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдВрдмреЛрдзрд┐рдд рдХрд░ рд╕рдХрддреА рд╣реИрдВ рдФрд░ рдореЙрдбрд▓ рдХреЛ рдбреЗрдЯрд╛ рдореЗрдВ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдкреИрдЯрд░реНрди рдХреЛ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдХреИрдкреНрдЪрд░ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреА рд╣реИрдВред
рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ linear regression рдореЗрдВ, рдореЙрдбрд▓ рд╕реНрд╡рддрдВрддреНрд░ (predictors) рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреЗ рдмреАрдЪ рд░реИрдЦрд┐рдХ рд╕рдВрдмрдВрдз рдорд╛рди рдХрд░ рдЪрд▓рддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдХрдИ рд╡рд╛рд╕реНрддрд╡рд┐рдХ-рд╡рд┐рд╢реНрд╡ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдореЗрдВ nonlinear рд╕рдВрдмрдВрдз рд╣реЛрддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдПрдХ рд╕рд╛рдзрд╛рд░рдг linear рдореЙрдбрд▓ рдареАрдХ рд╕реЗ рдХреИрдкреНрдЪрд░ рдирд╣реАрдВ рдХрд░ рдкрд╛рддрд╛ред Logarithmic рдпрд╛ square root рдЬреИрд╕реЗ рд░реВрдкрд╛рдВрддрд░рдг рд▓рд╛рдЧреВ рдХрд░рдХреЗ, рдЖрдк рдХрднреА-рдХрднреА рдореЙрдбрд▓ рдХрд╛ рдкреНрд░рджрд░реНрд╢рди рд╕реБрдзрд╛рд░ рд╕рдХрддреЗ рд╣реИрдВред
Logarithmic рд░реВрдкрд╛рдВрддрд░рдг
рдЗрд╕реЗ рдЕрдХреНрд╕рд░ рддрдм рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдЬрдм рдХреЛрдИ рдлрд╝реАрдЪрд░ рдШрд╛рддреАрдп рд╡реГрджреНрдзрд┐ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдпрд╛ рдЙрд╕рдХреЗ рдорд╛рди рдмрд╣реБрдд рдмрдбрд╝реЗ рдзрдирд╛рддреНрдордХ рд╣реЛрддреЗ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЕрддреНрдпрдзрд┐рдХ skewed рдЖрдп (income) рдбреЗрдЯрд╛тАФрдЬрд╣рд╛рдБ рдХреБрдЫ рдмрд╣реБрдд рдКрдБрдЪреЗ рдорд╛рди рд╣рд╛рд╡реА рд╣реЛрдВтАФрдХреЛ рд░реВрдкрд╛рдВрддрд░рд┐рдд рдХрд░рдиреЗ рд╕реЗ рд╡рд┐рддрд░рдг рдЕрдзрд┐рдХ рд╕рд╛рдорд╛рдиреНрдп рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
import numpy as np
df[ 'log_income' ] = np. log( df[ 'income' ] + 1 ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
Square root рд░реВрдкрд╛рдВрддрд░рдг
рдпрд╣ рдЙрди рдлрд╝реАрдЪрд░реНрд╕ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬреЛ рджреНрд╡рд┐рдШрд╛рдд (quadratic) рд╕рдВрдмрдВрдз рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдХрд╛рдЙрдВрдЯреНрд╕ рдХреЛ рджрд░реНрд╢рд╛рдиреЗ рд╡рд╛рд▓рд╛ рдлрд╝реАрдЪрд░ (рдЬреИрд╕реЗ рдХрд┐рд╕реА рд╡реЗрдмрд╕рд╛рдЗрдЯ рдкрд░ рд╡рд┐рдЬрд╝рд┐рдЯреНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛) square root рд░реВрдкрд╛рдВрддрд░рдг рд╕реЗ рд▓рд╛рднрд╛рдиреНрд╡рд┐рдд рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
df[ 'sqrt_visits' ] = np. sqrt( df[ 'visits' ] ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЗрди рдлрд╝реАрдЪрд░реНрд╕ рдХрд╛ рд░реВрдкрд╛рдВрддрд░рдг рдХрд░рдХреЗ, рдЖрдк рдореЙрдбрд▓ рдХреЛ рдЙрди рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдХреИрдкреНрдЪрд░ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ linear рджреГрд╖реНрдЯрд┐рдХреЛрдг рдкрд╣рд▓реЗ рдЪреВрдХ рд░рд╣рд╛ рдерд╛ред рдХреБрдВрдЬреА рд╣реИ рд╡рд┐рднрд┐рдиреНрди рд░реВрдкрд╛рдВрддрд░рдгреЛрдВ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░рдирд╛ рдФрд░ рдЙрдирдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рдореЙрдбрд▓ рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдкрд░ рджреЗрдЦрдирд╛ред рдпрд╣ рдПрдХ рдПрдХ-рдЖрдХрд╛рд░-рд╕рдмрдХреЗ-рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рддрд░реАрдХрд╛ рдирд╣реАрдВ рд╣реИ, рдФрд░ рдЗрд╕рдХреЗ рд▓рд┐рдП рдкреНрд░рд╛рдпреЛрдЧрд┐рдХ рдкрд░реАрдХреНрд╖рдг рдЬрд░реВрд░реА рд╣реИред
Normalization рдФрд░ standardization
Feature transformations рдХреЗ рдЕрддрд┐рд░рд┐рдХреНрдд, рдЕрдкрдиреЗ regression рдореЙрдбрд▓ рдкрд░ normalization рдФрд░ standardization рдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рд╕рдордЭрдирд╛ рднреА рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ, рдЦрд╛рд╕рдХрд░ рдЬрдм рдЖрдк рд╡рд┐рднрд┐рдиреНрди рдЗрдХрд╛рдЗрдпреЛрдВ рдпрд╛ рд╕реНрдХреЗрд▓ рд╡рд╛рд▓реЗ рдлрд╝реАрдЪрд░реНрд╕ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░ рд░рд╣реЗ рд╣реЛрдВред Normalization рдореЗрдВ рдлрд╝реАрдЪрд░ рдорд╛рдиреЛрдВ рдХреЛ рдПрдХ рд░реЗрдВрдЬтАФрдЖрдорддреМрд░ рдкрд░ [0, 1]тАФрдореЗрдВ rescale рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред Standardization рдореЗрдВ рдлрд╝реАрдЪрд░реНрд╕ рдХреЛ 0 рдорд╛рдзреНрдп (mean) рдФрд░ 1 рдорд╛рдирдХ рд╡рд┐рдЪрд▓рди (standard deviation) рдкрд░ rescale рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЬрдм рдЖрдкрдХреЗ рдкрд╛рд╕ рдХрдИ predictors рд╣реЛрдВ, рддреЛ рдбреЗрдЯрд╛ рдХреЛ normalize рдпрд╛ standardize рдХрд░рдирд╛ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХреЛ рдЕрдзрд┐рдХ рд╕рд╛рд░реНрдердХ рдмрдирд╛рддрд╛ рд╣реИред рдпрд╛рдиреА, рдпрд╣ рджрд┐рдЦрд╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдкреНрд░рддреНрдпреЗрдХ predictor, рдЕрдиреНрдп predictors рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рдХрд┐рддрдирд╛ рдпреЛрдЧрджрд╛рди рджреЗрддрд╛ рд╣реИред рдпрд╣ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рддрдм рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬрдм predictors рдЕрд▓рдЧ-рдЕрд▓рдЧ рд╕реНрдХреЗрд▓ рдкрд░ рд╣реЛрдВред
рдирд┐рд╖реНрдХрд░реНрд╖
Linear regression рдХреА рдЧрд╣рд░реА рд╕рдордЭ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдирд┐рд░рдВрддрд░ рдЕрднреНрдпрд╛рд╕ рдФрд░ рдЕрдиреНрд╡реЗрд╖рдг рдЖрд╡рд╢реНрдпрдХ рд╣реИред рдЕрдкрдиреЗ рдЬреНрдЮрд╛рди рдХреЛ рдФрд░ рдЧрд╣рд░рд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, multicollinearity рдХреЛ рд╕рдВрднрд╛рд▓рдирд╛, heteroscedasticity , рдФрд░ Ridge рдФрд░ Lasso regression рдЬреИрд╕реА regularization рддрдХрдиреАрдХреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдиреЗ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВред QR decomposition рдФрд░ variance inflation factor рдХреА рд╕рдордЭ рдордЬрдмреВрдд рдХрд░рдирд╛ рднреА рдореЙрдбрд▓ рдбрд╛рдпрдЧреНрдиреЛрд╕реНрдЯрд┐рдХреНрд╕ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рд╛рде рд╣реА, normalization рдмрдирд╛рдо standardization рдХреЛ рд╕рдордЭрдирд╛ feature scaling рдирд┐рд░реНрдгрдпреЛрдВ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛрдЧрд╛ред
Python, рдЕрдкрдиреА рд╕рдореГрджреНрдз рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдХреЛрд╕рд┐рд╕реНрдЯрдотАФрдЬреИрд╕реЗ NumPy,
statsmodelsрдФрд░scikit-learnтАФрдХреА рдмрджреМрд▓рдд рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХреЛрдВ рдХреА рдкрд╕рдВрджреАрджрд╛ рднрд╛рд╖рд╛ рдмрди рдЧрдпрд╛ рд╣реИред рдЗрд╕рдХреА рд╕рд╣рдЬрддрд╛ рдФрд░ рдмрд╣реБрдореБрдЦреА рдкреНрд░рддрд┐рднрд╛ рдЗрд╕реЗ linear regression рдХреЗ рд╕реИрджреНрдзрд╛рдВрддрд┐рдХ рдЖрдзрд╛рд░реЛрдВ рдХреЛ рд╕рдордЭрдиреЗ рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреА рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ рдЙрд╕реЗ рд▓рд╛рдЧреВ рдХрд░рдиреЗтАФрджреЛрдиреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдмрдирд╛рддреА рд╣реИредрдЗрд╕ рдЧрд╛рдЗрдб рдореЗрдВ, рдореИрдВ рдЖрдкрдХреЛ Python рдореЗрдВ linear regression рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╣рд░ рдЬрд░реВрд░реА рдмрд╛рдд рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рдХрд░рд╛рдКрдВрдЧрд╛ред рд╣рдо рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВрдЧреЗтАФlinear regression рдХреНрдпрд╛ рд╣реИ рдФрд░ рдпрд╣ рдЗрддрдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдХреНрдпреЛрдВ рд╣реИред рдлрд┐рд░, рд╣рдо рдЗрд╕рдХреА рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА рджреЗрдЦреЗрдВрдЧреЗтАФрдЖрдзрд╛рд░рднреВрдд рд╕рдореАрдХрд░рдгреЛрдВ рдФрд░ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреЛ рд╕рдордЭрддреЗ рд╣реБрдПред рдЖрдк рдЬрд╛рдиреЗрдВрдЧреЗ рдХрд┐ рд╡рд┐рднрд┐рдиреНрди Python рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╕реЗ linear regression рдХреИрд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИтАФNumPy рдХреЗ рд╕рд╛рде рдореИрдиреБрдЕрд▓ рдЧрдгрдирд╛ рд╕реЗ рд▓реЗрдХрд░
scikit-learnрдХреЗ рд╕рд╛рде рд╕реБрд╡реНрдпрд╡рд╕реНрдерд┐рдд рдЗрдореНрдкреНрд▓реАрдореЗрдВрдЯреЗрд╢рди рддрдХред рд╣рдо simple рдФрд░ multiple рджреЛрдиреЛрдВ linear regression рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗ, рдФрд░ рдореИрдВ рдЖрдкрдХреЛ рджрд┐рдЦрд╛рдКрдВрдЧрд╛ рдХрд┐ рдЕрдкрдиреЗ рдореЙрдбрд▓реЛрдВ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХреИрд╕реЗ рдХрд░реЗрдВ рдФрд░ рдЙрдирдХрд╛ рдкреНрд░рджрд░реНрд╢рди рдХреИрд╕реЗ рдмреЗрд╣рддрд░ рдмрдирд╛рдПрдВредLinear Regression рдХреНрдпрд╛ рд╣реИ?
Linear regression рдПрдХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╡рд┐рдзрд┐ рд╣реИ, рдЬрд┐рд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдЖрд╢реНрд░рд┐рдд рдЪрд░ (target) рдФрд░ рдПрдХ рдпрд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ (predictors) рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреЛ рдореЙрдбрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдЙрджреНрджреЗрд╢реНрдп рдпрд╣ рд╣реИ рдХрд┐ рдПрдХ рд░реИрдЦрд┐рдХ рд╕рдореАрдХрд░рдг рдЦреЛрдЬрд╛ рдЬрд╛рдП рдЬреЛ рдЗрд╕ рд╕рдВрдмрдВрдз рдХрд╛ рд╕рд░реНрд╡реЛрддреНрддрдо рд╡рд░реНрдгрди рдХрд░реЗред
Linear regression рдХрд╛ рд╡реНрдпрд╛рдкрдХ рдЙрдкрдпреЛрдЧ predictive modeling, inferential statistics, рдФрд░ рдбреЗрдЯрд╛ рдореЗрдВ рдЕрдВрддрд░реНрд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИред рдЗрд╕рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдореЗрдВ рдмрд┐рдХреНрд░реА рдХрд╛ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рд▓рдЧрд╛рдирд╛, рдЬреЛрдЦрд┐рдо рдХрд╛ рдЖрдХрд▓рди рдХрд░рдирд╛, рдФрд░ рд▓рдХреНрд╖реНрдп рдкрд░рд┐рдгрд╛рдо рдкрд░ рд╡рд┐рднрд┐рдиреНрди рдЪрд░реЛрдВ рдХреЗ рдкреНрд░рднрд╛рд╡ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдирд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред
Simple linear regression рдХреНрдпрд╛ рд╣реИ?
Simple linear regression рдХреЗ рд▓рд┐рдП, рдпрд╣ рджреНрд╡рд┐-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рд░реЗрдЦрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рд╣реЛрддрд╛ рд╣реИ; multiple linear regression (рджреЛ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдХреЗ рд╕рд╛рде) рдХреЗ рд▓рд┐рдП, рд╕рдВрдмрдВрдз рддреНрд░рд┐-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рд╕рдорддрд▓ рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ; рдФрд░ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХреЗ рд▓рд┐рдП, рд╕рдореАрдХрд░рдг рдЙрдЪреНрдЪ-рдЖрдпрд╛рдореА рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ hyperplane рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддрд╛ рд╣реИред
рдЖрдЗрдП simple linear regression рдореЙрдбрд▓ рд╕реЗ рд╢реБрд░реВ рдХрд░реЗрдВ, рдЬрд┐рд╕рдореЗрдВ, рдЬреИрд╕рд╛ рдХрд┐ рдореИрдВрдиреЗ рдмрддрд╛рдпрд╛, рдХреЗрд╡рд▓ рдПрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓ рд╣реЛрддрд╛ рд╣реИред рдЗрд╕реЗ рдЗрд╕ рд╕рдореАрдХрд░рдг рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ:
рдЬрд╣рд╛рдБ:
Multiple linear regression рдХреНрдпрд╛ рд╣реИ?
рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, multiple linear regression рдЗрд╕ рдЕрд╡рдзрд╛рд░рдгрд╛ рдХреЛ рдХрдИ predictor рд╡реЗрд░рд┐рдПрдмрд▓реНрд╕ рддрдХ рд╡рд┐рд╕реНрддрд╛рд░рд┐рдд рдХрд░рддрд╛ рд╣реИ:
рдЬрд╣рд╛рдБ:
Linear Regression рдХреЗ рдкреАрдЫреЗ рдХреА рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА
рдпрд╣ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐ linear regression рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ, рдЗрд╕рдХреЗ рдкреНрд░рдореБрдЦ рдШрдЯрдХреЛрдВ рдХреЛ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд░рдХреЗ рджреЗрдЦрддреЗ рд╣реИрдВред
Linear рдореЙрдбрд▓ рдХрд╛ рд╕рдореАрдХрд░рдг
рд╣рдордиреЗ рдКрдкрд░, рдПрдХрд▓ рдФрд░ рдмрд╣реБ predictor рдХреЗ рд╕рд╛рде, linear regression рдХреА рд╕рдореАрдХрд░рдгреЗрдВ рджреЗрдЦреАрдВред рдЕрдм, рдореИрдВ рдЗрди рд╕рдореАрдХрд░рдгреЛрдВ рдХреЗ рдПрдХ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдкрд╣рд▓реВ рдкрд░ рдмрд╛рдд рдХрд░рдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реВрдБред┬а
Linear рд╢рдмреНрдж, linear regression рдореЗрдВ, рдореЙрдбрд▓ рдХреЗ рдкреНрд░рдХрд╛рд░реНрдпрд╛рддреНрдордХ рд░реВрдк рдХреЛ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рддрд╛ рд╣реИ, рдЬрд░реВрд░реА рдирд╣реАрдВ рдХрд┐ рдбреЗрдЯрд╛ рдХреЗ рдЖрдХрд╛рд░ рдХреЛред рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рдЗрд╕рдХрд╛ рдЕрд░реНрде рд╣реИ рдХрд┐:
Ordinary least squares (OLS) рд╡рд┐рдзрд┐
рд╕рд░реНрд╡реЛрддреНрддрдо-рдлрд┐рдЯрд┐рдВрдЧ рд░реЗрдЦрд╛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, linear regression ordinary least squares (OLS) рд╡рд┐рдзрд┐ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред OLS рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддрд╛ рд╣реИ:
OLS рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддрд╛ рд╣реИ:
рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ B0 рдФрд░ B1 рдХреЗ рд╕рд░реНрд╡реЛрддреНрддрдо рд╕рдВрднрд╡ рдЖрдХрд▓рди рджреЗрддрд╛ рд╣реИред
Linear regression рдХреА рдорд╛рдиреНрдпрддрд╛рдПрдБ
рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рдкрд░рд┐рдгрд╛рдореЛрдВ рдХреЗ рд▓рд┐рдП linear regression рдореЗрдВ рдХреБрдЫ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХрд╛ рдкреВрд░рд╛ рд╣реЛрдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИ:
рдЗрди рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХрд╛ рд╕рддреНрдпрд╛рдкрди рд╣рдорд╛рд░реЗ рдореЙрдбрд▓ рдХреЛ рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рдФрд░ рдорд╛рдиреНрдп рдмрдирд╛рддрд╛ рд╣реИред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдпрджрд┐ рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рд░реИрдЦрд┐рдХ рдирд╣реАрдВ рд╣реИ, рддреЛ рдореЙрдбрд▓ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпрд╛рдБ рдЧрд▓рдд рд╣реЛ рд╕рдХрддреА рд╣реИрдВред рдпрджрд┐ heteroscedasticity рд╣реИ, рддреЛ confidence intervals рдЧрд▓рдд рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред
Python рдореЗрдВ Linear Regression рдХрд░рдиреЗ рдХреЗ рддрд░реАрдХреЗ
Python рдореЗрдВ linear regression рдХрдИ рддрд░реАрдХреЛрдВ рд╕реЗ рд▓рд╛рдЧреВ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдореИрдВ рдЖрдкрдХреЛ рддреАрди рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рдзрд┐рдпреЛрдВ рд╕реЗ рд▓реЗ рдЪрд▓реВрдБрдЧрд╛: NumPy рдХреЗ рд╕рд╛рде рдореИрдиреБрдЕрд▓ рдЧрдгрдирд╛, statsmodels рдХреЗ рд╕рд╛рде рд╡рд┐рд╕реНрддреГрдд рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдореЙрдбрд▓рд┐рдВрдЧ, рдФрд░
scikit-learnрдХреЗ рд╕рд╛рде рд╕реБрд╡реНрдпрд╡рд╕реНрдерд┐рдд рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧредрдореИрдиреБрдЕрд▓ рдХреИрд▓рдХреБрд▓реЗрд╢рди рддрд░реАрдХрд╛ (NumPy)
Simple linear regression (рдПрдХ predictor рд╡реЗрд░рд┐рдПрдмрд▓) рдХреЗ рд▓рд┐рдП, рдЖрдк NumPy рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ regression рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЛ рдореИрдиреБрдЕрд▓ рд░реВрдк рд╕реЗ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред рдЗрд╕рдореЗрдВ рдкрд╣рд▓реЗ рд╕реНрд╡рддрдВрддреНрд░ рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░реЛрдВ рдХрд╛ рдФрд╕рдд рдирд┐рдХрд╛рд▓рдирд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред рдлрд┐рд░ рд╣рдо рдврд▓рд╛рди (B0) рдХреА рдЧрдгрдирд╛ рдХрд░рддреЗ рд╣реИрдВ:
рдПрдХ рдмрд╛рд░ рдврд▓рд╛рди рдорд┐рд▓рдиреЗ рдкрд░, рд╣рдо рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ (B1) рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:
рдпрджрд┐ рдЖрдк рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ NumPy рдПрдХ built-in рдлрд╝рдВрдХреНрд╢рди
np.polyfit()рднреА рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдХреЗрд╡рд▓ рдПрдХ рдкрдВрдХреНрддрд┐ рдХреЗ рдХреЛрдб рдореЗрдВ linear regression рдХрд░ рд╕рдХрддрд╛ рд╣реИредрдпрд╣ рддрд░реАрдХрд╛ simple linear regression рдХреЗ рдкреАрдЫреЗ рдХреЗ рдЧрдгрд┐рдд рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рдЙрдкрдпреЛрдЧреА рд╣реИ, рд▓реЗрдХрд┐рди рдмрдбрд╝реЗ рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдЕрд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ, рдХрдо рд╕рдВрдЦреНрдпрд╛рддреНрдордХ-рд╕рдЯреАрдХ, рдФрд░ multiple regression рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдирд╣реАрдВ рд╣реИред
рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ (statsmodels)
Linear regression рдХрд░рдиреЗ рдХрд╛ рдПрдХ рдЕрдзрд┐рдХ рд╕рдХреНрд╖рдо рддрд░реАрдХрд╛
statsmodelsрдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реИ, рдЬреЛ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдореЙрдбрд▓ рдФрд░ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдЙрдкрдХрд░рдг рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИредStatsmodels рдХреЗ рд╕рд╛рде Ordinary Least Squares (OLS) рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░рдиреЗ рдХреЗ рдЪрд░рдг:
рдбреЗрдЯрд╛ рддреИрдпрд╛рд░ рдХрд░реЗрдВ: рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдЙрдЪрд┐рдд рд░реВрдк рд╕реЗ рд╕рдВрд░рдЪрд┐рдд рд╣реЛред
Constant рдЬреЛрдбрд╝реЗрдВ: рдпрд╣ рд╕рдореАрдХрд░рдг рдореЗрдВ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдкрдж рдХрд╛ рд╣рд┐рд╕рд╛рдм рд░рдЦрддрд╛ рд╣реИред
рдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░реЗрдВ:
statsmodelsрд╕реЗOLS()рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ regression рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдПрдБредрдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░реЗрдВ:
.summary()рдлрд╝рдВрдХреНрд╢рди рд╡рд┐рд╕реНрддреГрдд рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рджреЗрддрд╛ рд╣реИ, рдЬрд┐рдирдореЗрдВ рдЧреБрдгрд╛рдВрдХ, p-values, рдФрд░ R-squared рд╢рд╛рдорд┐рд▓ рд╣реИрдВредрдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ (scikit-learn)
scikit-learnрдЕрдкрдиреА рд╕рд░рд▓рддрд╛, рд╕реНрдХреЗрд▓реЗрдмрд┐рд▓рд┐рдЯреА, рдФрд░ рдЕрдиреНрдп ML рдЯреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЗрдВрдЯреАрдЧреНрд░реЗрд╢рди рдХреЗ рдХрд╛рд░рдг рд╡реНрдпрд╛рдкрдХ рд░реВрдк рд╕реЗ рдЙрдкрдпреЛрдЧ рд╣реЛрддреА рд╣реИред рдпрд╣LinearRegressionрдХреНрд▓рд╛рд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ linear regression рдХрд░рдиреЗ рдХрд╛ рд╕рд░рд▓ рдФрд░ рдХреБрд╢рд▓ рддрд░реАрдХрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИредрд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдореНрдкреЛрд░реНрдЯ рдХрд░реЗрдВ рдФрд░ рдЕрдкрдирд╛ рдбреЗрдЯрд╛рд╕реЗрдЯ рд▓реЛрдб рдХрд░реЗрдВред
Predictor рд╡реЗрд░рд┐рдПрдмрд▓ рдХреЛ reshape рдХрд░реЗрдВ рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ (single-variable regression рдХреЗ рд▓рд┐рдП)ред
рдореЙрдбрд▓ рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдмрдирд╛рдПрдБ
LinearRegression()рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗредрдореЙрдбрд▓ рдлрд┐рдЯ рдХрд░реЗрдВ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдбреЗрдЯрд╛ рдкрд░ред
рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ:
.coeff_рдврд▓рд╛рди рджреЗрддрд╛ рд╣реИ, рдЬрдмрдХрд┐.intercept_рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рджреЗрддрд╛ рд╣реИредрдЕрдиреНрдп рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╡рд┐рдзрд┐рдпрд╛рдБ
NumPy,
statsmodels, рдФрд░scikit-learnрд╕реЗ рдЖрдЧреЗ, рдХрдИ рдЕрдиреНрдп Python рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рднреА regression рдХреА рдХреНрд╖рдорддрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИрдВ:рд╣рд░ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХреЗ рдЕрдкрдиреЗ рдлрд╛рдпрджреЗ рд╣реИрдВред рдпрд╣ рдЖрдкрдХреЗ regression рдХрд╛рд░реНрдп рдХреА рдЬрдЯрд┐рд▓рддрд╛ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИред
Python рдореЗрдВ рдПрдХ рдпрд╛ рдЕрдзрд┐рдХ predictors рдХреЗ рд╕рд╛рде Linear Regression
Linear regression рд╕рд░рд▓ рдФрд░ рдЬрдЯрд┐рд▓ рджреЛрдиреЛрдВ рдкреНрд░рдХрд╛рд░ рдХреЗ рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдВрднрд╛рд▓ рд╕рдХрддрд╛ рд╣реИред рдЗрд╕ рдЦрдВрдб рдореЗрдВ, рд╣рдо Python рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ predictor (simple) рдФрд░ рдХрдИ predictors (multiple) рдХреЗ рд╕рд╛рде linear regression рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред
Python рдореЗрдВ simple linear regression
Python рдореЗрдВ simple linear regression рдХреЗ рд▓рд┐рдП, рд╣рдо рдирд┐рдореНрди рдЪрд░рдгреЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВ:
рдЪрд░рдг 1: рд╕рд╣рд╕рдВрдмрдВрдз (correlation) рдирд┐рдХрд╛рд▓реЗрдВ
Correlation coefficient,
xрдФрд░yрдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреА рддрд╛рдХрдд рдорд╛рдкрддрд╛ рд╣реИред рд╣рдо рдЗрд╕реЗ NumPy рд╕реЗ рдирд┐рдХрд╛рд▓рддреЗ рд╣реИрдВ:рдЪрд░рдг 2: рдврд▓рд╛рди рдФрд░ рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдирд┐рдХрд╛рд▓реЗрдВ
рдврд▓рд╛рди B1 рдЗрд╕ рдкреНрд░рдХрд╛рд░ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛рддрд╛ рд╣реИ:
рдЖрдк рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ рдХрд┐ рдпрд╣ рд╕рдореАрдХрд░рдг рдкрд╣рд▓реЗ рд╡рд╛рд▓реЗ рд╕реЗ рдереЛрдбрд╝рд╛ рднрд┐рдиреНрди рджрд┐рдЦрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдореИрдВрдиреЗ рдврд▓рд╛рди рдХреЛ x рдФрд░ y рдХреЗ рд╡рд┐рдЪрд▓рдиреЛрдВ рдХреЗ рдЧреБрдгрди рдХреЗ рдпреЛрдЧ рдХреЛ рдЬреЛрдбрд╝рдХрд░, рдлрд┐рд░ x рдореЗрдВ рд╡рд░реНрдЧ-рд╡рд┐рдЪрд▓рдиреЛрдВ рдХреЗ рдпреЛрдЧ рд╕реЗ рднрд╛рдЧ рджреЗрдХрд░ рдкрд╛рдпрд╛ рдерд╛ред рдпрд╣ рдирдпрд╛ рддрд░реАрдХрд╛тАФcorrelation рдФрд░ standard deviation рдХрд╛ рдЙрдкрдпреЛрдЧтАФрдЕрд▓рдЧ рдкреНрд░рддреАрдд рд╣реЛ рд╕рдХрддрд╛ рд╣реИ, рдкрд░ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╡рд╣реА рд╣реИред рдкрд╣рд▓реЗ рдХреЗ рд╕рдореАрдХрд░рдг рдХреЛ рдкреБрдирд░реНрд▓реЗрдЦрд┐рдд рдХрд░рдХреЗ, рд╣рдо рдврд▓рд╛рди рдХреЛ r рдХреЗ рд░реВрдк рдореЗрдВ, y рдФрд░ x рдХреЗ standard deviations рдХреЗ рдЕрдиреБрдкрд╛рдд рд╕реЗ рдЧреБрдгрд╛ рдХрд░ рд╡реНрдпрдХреНрдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рджреЛрдиреЛрдВ рд░реВрдк рдмреАрдЬрдЧрдгрд┐рддреАрдп рд░реВрдк рд╕реЗ рд╕рдорддреБрд▓реНрдп рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВред
рдЕрдм, рдЗрдВрдЯрд░рд╕реЗрдкреНрдЯ рдХреЗ рд▓рд┐рдП:
рдЪрд░рдг 3: рдирд┐рдХрд╛рд▓реЗ рдЧрдП рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░реЗрдВ
рдЕрдм рдЬрдмрдХрд┐ рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдЧреБрдгрд╛рдВрдХ рд╣реИрдВ, рд╣рдо рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рди рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВред
рдЗрди рдЪрд░рдгреЛрдВ рд╕реЗ рдЧреБрдЬрд░рдирд╛, рдореЗрд░реА рд░рд╛рдп рдореЗрдВ,
scikit-learnрдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдЧрдгрдирд╛рдУрдВ рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛрддрд╛ рд╣реИредPython рдореЗрдВ multiple linear regression
Multiple linear regression, simple linear regression рдХреА рдЕрд╡рдзрд╛рд░рдгрд╛ рдХреЛ рдЗрд╕ рддрд░рд╣ рд╡рд┐рд╕реНрддреГрдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдФрд░ рдХрдИ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░реЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдореЙрдбрд▓ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред рдпрд╣ рд╣рдореЗрдВ рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рджреЗрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдЕрдХреЗрд▓рд╛ рдПрдХ predictor рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рднрд┐рдиреНрдирддрд╛ рдХреЛ рдкрд░реНрдпрд╛рдкреНрдд рд░реВрдк рд╕реЗ рдирд╣реАрдВ рд╕рдордЭрд╛ рдкрд╛рддрд╛ред
Python рдореЗрдВ multiple linear regression рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЖрдо рддреМрд░ рдкрд░ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдмреАрдЬрдЧрдгрд┐рдд рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЙрди рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рдЧрдгрдирд╛ рдХрд░рддреЗ рд╣реИрдВ рдЬреЛ residual sum of squares рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░реЗрдВред рдХрдИ рдмрд╛рд░ рдкрдврд╝рд╛рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рд╕реВрддреНрд░, multiple linear regression рдХреЗ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рдЧрдгрдирд╛ рдХреЗ рд▓рд┐рдП, normal equation рдХрд╣рд▓рд╛рддрд╛ рд╣реИ:
рдЬрд╣рд╛рдБ:
рдпрд╣ рд╕рдореАрдХрд░рдг рдЙрди рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреЗ рдЗрд╖реНрдЯрддрдо рдорд╛рди рджреЗрддрд╛ рд╣реИ рдЬреЛ рд╡рд░реНрдЧ рддреНрд░реБрдЯрд┐ рдпреЛрдЧ рдХреЛ рдиреНрдпреВрдирддрдо рдХрд░рддреЗ рд╣реИрдВред
рдпрд╣рд╛рдБ Python рдореЗрдВ, рдореИрдЯреНрд░рд┐рдХреНрд╕ рдСрдкрд░реЗрд╢рдВрд╕ рдХреЗ рд▓рд┐рдП NumPy рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, multiple linear regression рдХрд░рдиреЗ рдХрд╛ рдПрдХ рдЙрджрд╛рд╣рд░рдг рд╣реИ:
рдпрд╣ рд╡рд┐рдзрд┐ рддрдм рдЕрдЪреНрдЫреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддреА рд╣реИ рдЬрдм predictors рд╕реНрд╡рддрдВрддреНрд░ рд╣реЛрдВ, рд▓реЗрдХрд┐рди рдЬрдм predictors рдореЗрдВ рдЙрдЪреНрдЪ рд╕рд╣рд╕рдВрдмрдВрдз рд╣реЛрддрд╛ рд╣реИ, рддреЛ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдЗрдирд╡рд░реНрдЬрд╝рди рдЕрд╕реНрдерд┐рд░ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕реА рдХрд╛рд░рдг,
scikit-learnрдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝, рдЕрдзрд┐рдХ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд░реВрдк рд╕реЗ рд╕реНрдерд┐рд░ рд╡рд┐рдзрд┐тАФQR decompositionтАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреА рд╣реИрдВ рддрд╛рдХрд┐ regression рдЧреБрдгрд╛рдВрдХ рдирд┐рдХрд╛рд▓реЗ рдЬрд╛ рд╕рдХреЗрдВред рдЗрд╕рд▓рд┐рдП, рдпрджреНрдпрдкрд┐ рд╣рдо normal equation рд╕реЗ рдЧреБрдгрд╛рдВрдХ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ, рдпрд╣ рдЬрд╛рди рд▓реЗрдВ рдХрд┐ рдЬрдм рд╣рдоscikitlearnрдХреАLinearRegression()рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдЕрдВрджрд░ рд╣реА рдЕрдВрджрд░ QR decomposition рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реЛрддрд╛ рд╣реИредрдорд▓реНрдЯреАрдХреЛрд▓рд┐рдирд┐рдпрд░рд┐рдЯреА рдХрд╛ рд╕рдорд╛рдзрд╛рди
рдЕрдм multiple linear regression in Python рдореЗрдВ рдПрдХ рдЪрд┐рдВрддрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рд╕рд╛рдордиреЗ рдЖрдиреЗ рд╡рд╛рд▓реА рдмрд╛рдд рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдирд╛ рдЙрдкрдпреБрдХреНрдд рд╣реИред Multicollinearity рддрдм рд╣реЛрддреА рд╣реИ рдЬрдм рджреЛ рдпрд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░ рдЕрддреНрдпрдзрд┐рдХ рд╕рд╣рд╕рдВрдмрджреНрдз рд╣реЛрдВ, рдЬрд┐рд╕рд╕реЗ рдЙрдирдХреЗ рд╡реНрдпрдХреНрддрд┐рдЧрдд рдкреНрд░рднрд╛рд╡реЛрдВ рдХреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдкрд╣рдЪрд╛рдирдирд╛ рдХрдард┐рди рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕рд╕реЗ рдЧреБрдгрд╛рдВрдХ рдЕрдиреБрдорд╛рди рдЕрд╕реНрдерд┐рд░ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред Multicollinearity рдХрд╛ рдкрддрд╛ рд▓рдЧрд╛рдиреЗ рдФрд░ рдЙрд╕реЗ рдХрдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдк variance inflation factor (VIF) рдХреА рдЧрдгрдирд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЖрдк рдЕрддреНрдпрдзрд┐рдХ рд╕рд╣рд╕рдВрдмрджреНрдз рдЪрд░реЛрдВ рдХреЛ рд╣рдЯрд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдпрд╛ regularization рддрдХрдиреАрдХреЛрдВтАФрдЬреИрд╕реЗ ridge regression рдФрд░ lasso regressionтАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
Python рдореЗрдВ Linear Regression рдореЙрдбрд▓ рдХрд╛ рдирд┐рджрд╛рди рдФрд░ рдореВрд▓реНрдпрд╛рдВрдХрди
Linear regression рдореЙрдбрд▓ рдмрдирд╛рдиреЗ рдХреЗ рдмрд╛рдж, рдЕрдЧрд▓рд╛ рдХрджрдо рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдирд╛ рдФрд░ рдпрд╣ рд╕рддреНрдпрд╛рдкрд┐рдд рдХрд░рдирд╛ рд╣реИ рдХрд┐ рд╡рд╣ рдЖрдзрд╛рд░рднреВрдд рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреЛ рдкреВрд░рд╛ рдХрд░рддрд╛ рд╣реИред рдпрд╣ рдЖрдкрдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпреЛрдВ рдХреА рд╡рд┐рд╢реНрд╡рд╕рдиреАрдпрддрд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╕рдВрднрд╛рд╡рд┐рдд рд╕реБрдзрд╛рд░реЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИред
Residual рд╡рд┐рд╢реНрд▓реЗрд╖рдг
Residual рд╡рд┐рд╢реНрд▓реЗрд╖рдг, linear regression рдбрд╛рдпрдЧреНрдиреЛрд╕реНрдЯрд┐рдХреНрд╕ рдХрд╛ рдореБрдЦреНрдп рднрд╛рдЧ рд╣реИред рдпрд╣ linear regression рдХреА рдорд╛рдиреНрдпрддрд╛рдУрдВ рдХреА рдЬрд╛рдБрдЪ рдХрд░рдиреЗ рдФрд░ рд╕рдВрднрд╛рд╡рд┐рдд рдЙрд▓реНрд▓рдВрдШрдиреЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИред рдЕрд╡рд╢реЗрд╖реЛрдВ рдХреЛ рд╢реВрдиреНрдп рдХреЗ рдЖрд╕рдкрд╛рд╕ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рд░реВрдк рд╕реЗ рдмрд┐рдЦрд░рд╛ рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП, рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реНрдкрд╖реНрдЯ рдкреИрдЯрд░реНрди рдХреЗред рдпрд╣рд╛рдБ residual plots рдФрд░ Q-Q plots рдЬреИрд╕реЗ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдЯреВрд▓реНрд╕ рдХрд╛рдо рдЖрддреЗ рд╣реИрдВ:
Python рдореЗрдВ, рд╣рдо рдпреЗ рдкреНрд▓реЙрдЯ рдЖрд╕рд╛рдиреА рд╕реЗ
matplotlib,seaborn, рдФрд░statsmodelsрдЬреИрд╕реА рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рд╕реЗ рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВредрдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХреНрд╕
рджреГрд╢реНрдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдорд╛рддреНрд░рд╛рддреНрдордХ рдореАрдЯреНрд░рд┐рдХреНрд╕ рдпрд╣ рдЖрдХрд▓рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рд╣реИрдВ рдХрд┐ linear regression рдореЙрдбрд▓ рдбреЗрдЯрд╛ рдкрд░ рдХрд┐рддрдирд╛ рдЕрдЪреНрдЫрд╛ рдлрд┐рдЯ рдмреИрдарддрд╛ рд╣реИред рдХреБрдЫ рдкреНрд░рдореБрдЦ рдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рд╣реИрдВ:
рдЗрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ Python рдореЗрдВ
statsmodelsрдпрд╛scikit-learnрдХреЗ рд╕рд╛рде рдЖрд╕рд╛рдиреА рд╕реЗ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:рдЗрди рдореАрдЯреНрд░рд┐рдХреНрд╕ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдХреЗ, рдЖрдк рдореЙрдбрд▓ рдХреА рд╕рдЯреАрдХрддрд╛, goodness of fit, рдФрд░ рдирдП рдбреЗрдЯрд╛ рдкрд░ рдЙрд╕рдХреЗ рд╕рд╛рдорд╛рдиреНрдпреАрдХрд░рдг рдХреА рдХреНрд╖рдорддрд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рдкреНрд░рд╛рдкреНрдд рдХрд░рддреЗ рд╣реИрдВред
рдЕрдкрдиреЗ Regression рдореЙрдбрд▓ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдирд╛
рдЬрдм рдЖрдк рдЕрдкрдиреЗ linear regression рдореЙрдбрд▓ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░ рд▓реЗрдВ, рддреЛ рдЕрдЧрд▓рд╛ рдХрджрдо рдЙрд╕рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рд╕реБрдзрд╛рд░рдиреЗ рдХреЗ рддрд░реАрдХреЛрдВ рдХреА рддрд▓рд╛рд╢ рдХрд░рдирд╛ рд╣реИред рдПрдХ рд╕рд╛рдорд╛рдиреНрдп рддрд░реАрдХрд╛ рд╣реИ feature transformations, рдЬреЛ nonlinear рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рд╕рдВрдмреЛрдзрд┐рдд рдХрд░ рд╕рдХрддреА рд╣реИрдВ рдФрд░ рдореЙрдбрд▓ рдХреЛ рдбреЗрдЯрд╛ рдореЗрдВ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдкреИрдЯрд░реНрди рдХреЛ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдХреИрдкреНрдЪрд░ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреА рд╣реИрдВред
Feature transformations
рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ linear regression рдореЗрдВ, рдореЙрдбрд▓ рд╕реНрд╡рддрдВрддреНрд░ (predictors) рдФрд░ рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдХреЗ рдмреАрдЪ рд░реИрдЦрд┐рдХ рд╕рдВрдмрдВрдз рдорд╛рди рдХрд░ рдЪрд▓рддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдХрдИ рд╡рд╛рд╕реНрддрд╡рд┐рдХ-рд╡рд┐рд╢реНрд╡ рдбреЗрдЯрд╛ рд╕реЗрдЯреНрд╕ рдореЗрдВ nonlinear рд╕рдВрдмрдВрдз рд╣реЛрддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдПрдХ рд╕рд╛рдзрд╛рд░рдг linear рдореЙрдбрд▓ рдареАрдХ рд╕реЗ рдХреИрдкреНрдЪрд░ рдирд╣реАрдВ рдХрд░ рдкрд╛рддрд╛ред Logarithmic рдпрд╛ square root рдЬреИрд╕реЗ рд░реВрдкрд╛рдВрддрд░рдг рд▓рд╛рдЧреВ рдХрд░рдХреЗ, рдЖрдк рдХрднреА-рдХрднреА рдореЙрдбрд▓ рдХрд╛ рдкреНрд░рджрд░реНрд╢рди рд╕реБрдзрд╛рд░ рд╕рдХрддреЗ рд╣реИрдВред
Logarithmic рд░реВрдкрд╛рдВрддрд░рдг
рдЗрд╕реЗ рдЕрдХреНрд╕рд░ рддрдм рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдЬрдм рдХреЛрдИ рдлрд╝реАрдЪрд░ рдШрд╛рддреАрдп рд╡реГрджреНрдзрд┐ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдпрд╛ рдЙрд╕рдХреЗ рдорд╛рди рдмрд╣реБрдд рдмрдбрд╝реЗ рдзрдирд╛рддреНрдордХ рд╣реЛрддреЗ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЕрддреНрдпрдзрд┐рдХ skewed рдЖрдп (income) рдбреЗрдЯрд╛тАФрдЬрд╣рд╛рдБ рдХреБрдЫ рдмрд╣реБрдд рдКрдБрдЪреЗ рдорд╛рди рд╣рд╛рд╡реА рд╣реЛрдВтАФрдХреЛ рд░реВрдкрд╛рдВрддрд░рд┐рдд рдХрд░рдиреЗ рд╕реЗ рд╡рд┐рддрд░рдг рдЕрдзрд┐рдХ рд╕рд╛рдорд╛рдиреНрдп рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
Square root рд░реВрдкрд╛рдВрддрд░рдг
рдпрд╣ рдЙрди рдлрд╝реАрдЪрд░реНрд╕ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬреЛ рджреНрд╡рд┐рдШрд╛рдд (quadratic) рд╕рдВрдмрдВрдз рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреЗ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдХрд╛рдЙрдВрдЯреНрд╕ рдХреЛ рджрд░реНрд╢рд╛рдиреЗ рд╡рд╛рд▓рд╛ рдлрд╝реАрдЪрд░ (рдЬреИрд╕реЗ рдХрд┐рд╕реА рд╡реЗрдмрд╕рд╛рдЗрдЯ рдкрд░ рд╡рд┐рдЬрд╝рд┐рдЯреНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛) square root рд░реВрдкрд╛рдВрддрд░рдг рд╕реЗ рд▓рд╛рднрд╛рдиреНрд╡рд┐рдд рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
рдЗрди рдлрд╝реАрдЪрд░реНрд╕ рдХрд╛ рд░реВрдкрд╛рдВрддрд░рдг рдХрд░рдХреЗ, рдЖрдк рдореЙрдбрд▓ рдХреЛ рдЙрди рд╕рдВрдмрдВрдзреЛрдВ рдХреЛ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдХреИрдкреНрдЪрд░ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреЗ рд╣реИрдВ рдЬрд┐рдиреНрд╣реЗрдВ linear рджреГрд╖реНрдЯрд┐рдХреЛрдг рдкрд╣рд▓реЗ рдЪреВрдХ рд░рд╣рд╛ рдерд╛ред рдХреБрдВрдЬреА рд╣реИ рд╡рд┐рднрд┐рдиреНрди рд░реВрдкрд╛рдВрддрд░рдгреЛрдВ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░рдирд╛ рдФрд░ рдЙрдирдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рдореЙрдбрд▓ рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдкрд░ рджреЗрдЦрдирд╛ред рдпрд╣ рдПрдХ рдПрдХ-рдЖрдХрд╛рд░-рд╕рдмрдХреЗ-рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рддрд░реАрдХрд╛ рдирд╣реАрдВ рд╣реИ, рдФрд░ рдЗрд╕рдХреЗ рд▓рд┐рдП рдкреНрд░рд╛рдпреЛрдЧрд┐рдХ рдкрд░реАрдХреНрд╖рдг рдЬрд░реВрд░реА рд╣реИред
Normalization рдФрд░ standardization
Feature transformations рдХреЗ рдЕрддрд┐рд░рд┐рдХреНрдд, рдЕрдкрдиреЗ regression рдореЙрдбрд▓ рдкрд░ normalization рдФрд░ standardization рдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рд╕рдордЭрдирд╛ рднреА рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ, рдЦрд╛рд╕рдХрд░ рдЬрдм рдЖрдк рд╡рд┐рднрд┐рдиреНрди рдЗрдХрд╛рдЗрдпреЛрдВ рдпрд╛ рд╕реНрдХреЗрд▓ рд╡рд╛рд▓реЗ рдлрд╝реАрдЪрд░реНрд╕ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░ рд░рд╣реЗ рд╣реЛрдВред Normalization рдореЗрдВ рдлрд╝реАрдЪрд░ рдорд╛рдиреЛрдВ рдХреЛ рдПрдХ рд░реЗрдВрдЬтАФрдЖрдорддреМрд░ рдкрд░ [0, 1]тАФрдореЗрдВ rescale рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред Standardization рдореЗрдВ рдлрд╝реАрдЪрд░реНрд╕ рдХреЛ 0 рдорд╛рдзреНрдп (mean) рдФрд░ 1 рдорд╛рдирдХ рд╡рд┐рдЪрд▓рди (standard deviation) рдкрд░ rescale рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЬрдм рдЖрдкрдХреЗ рдкрд╛рд╕ рдХрдИ predictors рд╣реЛрдВ, рддреЛ рдбреЗрдЯрд╛ рдХреЛ normalize рдпрд╛ standardize рдХрд░рдирд╛ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХреЛ рдЕрдзрд┐рдХ рд╕рд╛рд░реНрдердХ рдмрдирд╛рддрд╛ рд╣реИред рдпрд╛рдиреА, рдпрд╣ рджрд┐рдЦрд╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдкреНрд░рддреНрдпреЗрдХ predictor, рдЕрдиреНрдп predictors рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, рдЖрд╢реНрд░рд┐рдд рдЪрд░ рдореЗрдВ рдХрд┐рддрдирд╛ рдпреЛрдЧрджрд╛рди рджреЗрддрд╛ рд╣реИред рдпрд╣ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рддрдм рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬрдм predictors рдЕрд▓рдЧ-рдЕрд▓рдЧ рд╕реНрдХреЗрд▓ рдкрд░ рд╣реЛрдВред
рдирд┐рд╖реНрдХрд░реНрд╖
Linear regression рдХреА рдЧрд╣рд░реА рд╕рдордЭ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдирд┐рд░рдВрддрд░ рдЕрднреНрдпрд╛рд╕ рдФрд░ рдЕрдиреНрд╡реЗрд╖рдг рдЖрд╡рд╢реНрдпрдХ рд╣реИред рдЕрдкрдиреЗ рдЬреНрдЮрд╛рди рдХреЛ рдФрд░ рдЧрд╣рд░рд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, multicollinearity рдХреЛ рд╕рдВрднрд╛рд▓рдирд╛, heteroscedasticity, рдФрд░ Ridge рдФрд░ Lasso regression рдЬреИрд╕реА regularization рддрдХрдиреАрдХреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдиреЗ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВред QR decomposition рдФрд░ variance inflation factor рдХреА рд╕рдордЭ рдордЬрдмреВрдд рдХрд░рдирд╛ рднреА рдореЙрдбрд▓ рдбрд╛рдпрдЧреНрдиреЛрд╕реНрдЯрд┐рдХреНрд╕ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рд╛рде рд╣реА, normalization рдмрдирд╛рдо standardization рдХреЛ рд╕рдордЭрдирд╛ feature scaling рдирд┐рд░реНрдгрдпреЛрдВ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛрдЧрд╛ред