рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

рдирд┐рдГрд╢реБрд▓реНрдХ рдХреЛрд░реНрд╕

Python рдореЗрдВ A/B Testing

рдордзреНрдпрд╡рд░реНрддреА4 рдШрдВрдЯреЗ

Learn the practical uses of A/B testing in Python to run and analyze experiments. Master p-values, sanity checks, and analysis to guide business decisions.

Python4 рдШрдВрдЯреЗрдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдгрдкрддреНрд░

рдЕрдкрдирд╛ рдирд┐рдГрд╢реБрд▓реНрдХ рдЦрд╛рддрд╛ рдмрдирд╛рдПрдБ

Google рдХреЗ рд╕рд╛рде рдЬрд╛рд░реА рд░рдЦреЗрдВ
рдпрд╛
рдЬрд╛рд░реА рд░рдЦрдХрд░, рдЖрдк рд╣рдорд╛рд░реА рдЙрдкрдпреЛрдЧ рдХреА рд╢рд░реНрддреЗрдВ, рд╣рдорд╛рд░реА рдЧреЛрдкрдиреАрдпрддрд╛ рдиреАрддрд┐ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЖрдкрдХрд╛ рдбреЗрдЯрд╛ USA рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реИред

рд╣рдЬрд╝рд╛рд░реЛрдВ рдХрдВрдкрдирд┐рдпреЛрдВ рдХреЗ рд╢рд┐рдХреНрд╖рд╛рд░реНрдерд┐рдпреЛрдВ рджреНрд╡рд╛рд░рд╛ рдкрд╕рдВрдж рдХрд┐рдпрд╛ рдЧрдпрд╛

рдХрд┐рд╕реА рдЯреАрдо рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?

рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрдЬрд╝рдорд╛рдПрдБ тЖТ

рдХреЛрд░реНрд╕ рд╡рд┐рд╡рд░рдг

рдЗрд╕ рдкрд╛рдареНрдпрдХреНрд░рдо рдореЗрдВ, рдЖрдк A/B рдкрд░реАрдХреНрд╖рдг рдХреА рджреБрдирд┐рдпрд╛ рдореЗрдВ рдЧрд╣рд░рд╛рдИ рд╕реЗ рдЙрддрд░реЗрдВрдЧреЗ, рдЗрд╕рдХреЗ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдЙрдкрдпреЛрдЧ рдорд╛рдорд▓реЛрдВ рдХреА рдЧрд╣рд░реА рд╕рдордЭ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВрдЧреЗ, рдФрд░ Python рдореЗрдВ рдЗрди A/B рдкрд░реАрдХреНрд╖рдгреЛрдВ рдХреЛ рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд░рдирд╛, рдЪрд▓рд╛рдирд╛ рдФрд░ рдЙрдирдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред

рдЬрд╛рдиреЗрдВ рдХрд┐ A/B рдкрд░реАрдХреНрд╖рдг рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддреЗ рд╣реИрдВ



рдХреНрдпрд╛ рдЖрдк рдЬрд╛рдирддреЗ рд╣реИрдВ рдХрд┐ рдЬрдм рднреА рдЖрдк рдЗрдВрдЯрд░рдиреЗрдЯ рдмреНрд░рд╛рдЙрдЬрд╝ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдЖрдкрдХреЗ рдХрд┐рд╕реА A/B рдкрд░реАрдХреНрд╖рдг рдореЗрдВ рднрд╛рдЧ рд▓реЗрдиреЗ рдХреА рд▓рдЧрднрдЧ рдкреВрд░реА рдЧрд╛рд░рдВрдЯреА рд╣реЛрддреА рд╣реИ? рд╕рд░реНрдЪ рдЗрдВрдЬрди рдФрд░ рдИ-рдХреЙрдорд░реНрд╕ рд╕рд╛рдЗрдЯреЛрдВ рд╕реЗ рд▓реЗрдХрд░ рд╕реЛрд╢рд▓ рдиреЗрдЯрд╡рд░реНрдХреНрд╕ рдФрд░ рдорд╛рд░реНрдХреЗрдЯрд┐рдВрдЧ рдЕрднрд┐рдпрд╛рдиреЛрдВ рддрдХ тАФ рд╕рднреА рд╡реНрдпрд╡рд╕рд╛рдп AB рдкрд░реАрдХреНрд╖рдг рдХреА рд╢рдХреНрддрд┐ рдХрд╛ рд▓рд╛рдн рдЙрдард╛рдиреЗ рдХреЗ рд▓рд┐рдП рд╕рд░реНрд╡рд╢реНрд░реЗрд╖реНрда рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдХреЛрдВ, рд╡реИрдЬреНрдЮрд╛рдирд┐рдХреЛрдВ рдФрд░ рдЗрдВрдЬреАрдирд┐рдпрд░реЛрдВ рдХреЛ рдирд┐рдпреБрдХреНрдд рдХрд░рддреЗ рд╣реИрдВред рд╡рд┐рднрд┐рдиреНрди рд╡реЗрд░рд┐рдПрдВрдЯреНрд╕ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдЧреНрд░рд╛рд╣рдХ рдЕрдиреБрднрд╡ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдиреЗ, рдореБрдирд╛рдлрд╝рд╛ рдЕрдзрд┐рдХрддрдо рдХрд░рдиреЗ, рдЕрдЧрд▓реЗ рд╕рд░реНрд╡реЛрддреНрддрдо рдбрд┐рдЬрд╝рд╛рдЗрди рдХреЛ рд╕реВрдЪрд┐рдд рдХрд░рдиреЗ, рдФрд░ рднреА рдмрд╣реБрдд рдХреБрдЫ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░ рд╕рдХрддрд╛ рд╣реИред

Python рдореЗрдВ A/B рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдиреЗрдВ



рдЖрдк рд╕рд╣реА рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛ рд╕реАрдЦрдХрд░ рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВрдЧреЗ, рдлрд┐рд░ рдпрд╣ рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдирд┐рд░реНрдгрд╛рдпрдХ рдкрд░рд┐рдгрд╛рдо рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рд╕реИрдВрдкрд▓ рдЖрдХрд╛рд░ рдФрд░ рдЕрд╡рдзрд┐ рдХрд╛ рдЕрдиреБрдорд╛рди рдХреИрд╕реЗ рд▓рдЧрд╛рдпрд╛ рдЬрд╛рдПред рдЗрд╕ рдкрд╛рдареНрдпрдХреНрд░рдо рдХреЗ рджреМрд░рд╛рди, рдЖрдк A/B рдкрд░реАрдХреНрд╖рдг рдореЗрдВ рд╕рд╣рд╛рдпрддрд╛ рдХреЗ рд▓рд┐рдП Python рдкреИрдХреЗрдЬреЛрдВ рдХреА рдПрдХ рд╢реНрд░реГрдВрдЦрд▓рд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ, рдЬрд┐рдирдореЗрдВ statsmodels, scipy, рдФрд░ pingouin рд╢рд╛рдорд┐рд▓ рд╣реИрдВред

рдкрд╛рдареНрдпрдХреНрд░рдо рдХреЗ рдЕрдВрдд рддрдХ, рдЖрдк рд╕рдЯреАрдХ рдкрд░рд┐рдгрд╛рдо рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рдЖрд╡рд╢реНрдпрдХ рдЬрд╛рдБрдЪ-рдкрд░рдЦ рдЪрд▓рд╛ рд╕рдХреЗрдВрдЧреЗ, p-values рдХреА рдХрд▓рд╛ рдореЗрдВ рдирд┐рдкреБрдг рд╣реЛ рдЬрд╛рдПрдВрдЧреЗ, рдФрд░ A/B tests рдХреЗ рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рдЖрд╕рд╛рдиреА рдФрд░ рдЖрддреНрдорд╡рд┐рд╢реНрд╡рд╛рд╕ рдХреЗ рд╕рд╛рде рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░ рд╕рдХреЗрдВрдЧреЗ, рддрд╛рдХрд┐ рд╕рдмрд╕реЗ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╡реНрдпрд╛рд╡рд╕рд╛рдпрд┐рдХ рдирд┐рд░реНрдгрдпреЛрдВ рдХрд╛ рдорд╛рд░реНрдЧрджрд░реНрд╢рди рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред

рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ

рдкрд╛рдареНрдпрдХреНрд░рдо

рдХреЛрд░реНрд╕ рд░реВрдкрд░реЗрдЦрд╛

1

A/B Testing рдХрд╛ рдУрд╡рд░рд╡реНрдпреВ

рдЗрд╕ рдЪреИрдкреНрдЯрд░ рдореЗрдВ, рдЖрдк A/B рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдХреА рдмреБрдирд┐рдпрд╛рдж рд╕реАрдЦреЗрдВрдЧреЗред рдЖрдк рд╕реНрдкрд╖реНрдЯ рд╕реНрдЯреЗрдкреНрд╕ рдФрд░ рдпреВрдЬрд╝ рдХреЗрд╕ рджреЗрдЦреЗрдВрдЧреЗ, рд╕рдордЭреЗрдВрдЧреЗ рдХрд┐ A/B рдЯреЗрд╕реНрдЯ рдбрд┐рдЬрд╝рд╛рдЗрди рдФрд░ рд░рди рдХрд░рдиреЗ рдХреЗ рдХрд╛рд░рдг рдФрд░ рдЙрдирдХреА рд╡реИрд▓реНрдпреВ рдХреНрдпрд╛ рд╣реИ, рдФрд░ рд╕рдмрд╕реЗ рдЖрдо рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдбрд┐рдЬрд╝рд╛рдЗрди рд╡ рдПрд╕реНрдЯреАрдореЗрд╢рди рдлрд╝реНрд░реЗрдорд╡рд░реНрдХреНрд╕ рдЬрд╛рдиреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
2

рдПрдХреНрд╕рдкреЗрд░рд┐рдореЗрдВрдЯ рдбрд┐рдЬрд╝рд╛рдЗрди рдФрд░ рдкреНрд▓рд╛рдирд┐рдВрдЧ

рдЪреИрдкреНрдЯрд░ 2 рдореЗрдВ, рдЖрдк рдПрдХреНрд╕рдкреЗрд░рд┐рдореЗрдВрдЯ рдбрд┐рдЬрд╝рд╛рдЗрди рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗред рдордЬрд╝рдмреВрдд A/B рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рд╣рд╛рдЗрдкреЛрдереЗрд╕рд┐рд╕ рдмрдирд╛рдирд╛ рд╕реАрдЦрдиреЗ рд╕реЗ рд╢реБрд░реБрдЖрдд рд╣реЛрдЧреА, рдФрд░ рдЖрдк power, error rates, рдФрд░ minimum detectable effects рдЬреИрд╕реЗ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдХреЙрдиреНрд╕реЗрдкреНрдЯ рднреА рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗред рдЕрдВрдд рдореЗрдВ, рдЖрдк рдирд┐рд░реНрдгрд╛рдпрдХ рдирддреАрдЬреЗ рдкрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рдЙрдкрдпреБрдХреНрдд рд╕реИрдВрдкрд▓ рд╕рд╛рдЗрдЬрд╝ рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдирд╛ рдФрд░ рдорд▓реНрдЯрд┐рдкрд▓ рдХрдВрдкреИрд░рд┐рдЬрд╝рдиреНрд╕ рд╡рд╛рд▓реЗ рдкрд░рд┐рджреГрд╢реНрдпреЛрдВ рдХреЛ рд╕рдВрднрд╛рд▓рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
3

рдбреЗрдЯрд╛ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ, рд╕реИрдиреАрдЯреА рдЪреЗрдХреНрд╕, рдФрд░ рд░рд┐рдЬрд╝рд▓реНрдЯреНрд╕ рдПрдирд╛рд▓рд┐рд╕рд┐рд╕

рдпрд╣рд╛рдБ, рдЖрдк A/B рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдбреЗрдЯрд╛ рдХреЛ рд╕рд╛рдлрд╝ рдХрд░рдиреЗ, рдкреНрд░реАрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ, рдФрд░ рдПрдХреНрд╕рдкреНрд▓реЛрд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рдПрдХ рдареЛрд╕ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдЬрд╛рдиреЗрдВрдЧреЗ, рд╕рд╛рде рд╣реА рд╡реИрдз рдирддреАрдЬреЗ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЬрд╝рд░реВрд░реА рд╕реИрдиреАрдЯреА рдЪреЗрдХреНрд╕ рд╕реАрдЦреЗрдВрдЧреЗред рдЖрдк proportions рдХреЗ рдЕрдВрддрд░ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рд╡рд╛рд▓реЗ A/B рдЯреЗрд╕реНрдЯ рдХрд╛ рд╡рд┐рд╕реНрддреГрдд рд╕реНрдкрд╖реНрдЯреАрдХрд░рдг рдФрд░ рдЙрджрд╛рд╣рд░рдг рднреА рджреЗрдЦреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
4

рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдкрд╣рд▓реВ рдФрд░ рдирд┐рд░реНрдгрдп рд▓реЗрдирд╛

рдЕрдВрддрд┐рдо рдЪреИрдкреНрдЯрд░ рдореЗрдВ, рдЖрдк means рдХреЗ рдЕрдВрддрд░ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдХреЗ рдлрд╝реНрд░реЗрдорд╡рд░реНрдХреНрд╕ рд╡рд┐рдХрд╕рд┐рдд рдХрд░реЗрдВрдЧреЗ рдФрд░ рдЬрд╣рд╛рдБ рдХрдИ рдзрд╛рд░рдгрд╛рдПрдБ рдкреВрд░реА рдирд╣реАрдВ рд╣реЛрддреАрдВ рд╡рд╣рд╛рдБ non-parametric рдЯреЗрд╕реНрдЯреНрд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВрдЧреЗред рдЖрдк ratio рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рддреЗ рд╕рдордп Delta method рд▓рд╛рдЧреВ рдХрд░рдирд╛ рднреА рд╕реАрдЦреЗрдВрдЧреЗ, рдФрд░ A/B рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдореЗрдВ рд╕рд░реНрд╡реЛрддреНрддрдо рдкреНрд░рдерд╛рдПрдБ рддрдерд╛ рдХреБрдЫ рдПрдбрд╡рд╛рдВрд╕реНрдб рдЯреЙрдкрд┐рдХреНрд╕ рдЦреЛрдЬреЗрдВрдЧреЗ рддрд╛рдХрд┐ рдЖрдкрдХреА рдорд╣рд╛рд░рдд рдФрд░ рдмрдврд╝реЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ

Python рдореЗрдВ A/B Testing

рдХреЛрд░реНрд╕
рдкреВрд░реНрдг

рдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдЕрд░реНрдЬрд┐рдд рдХрд░реЗрдВ

рдЕрднреА рдирд╛рдорд╛рдВрдХрди рдХрд░реЗрдВ

DataCamp for Mobile рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреМрд╢рд▓ рдмрдврд╝рд╛рдПрдБ

рд╣рдорд╛рд░реЗ рдореЛрдмрд╛рдЗрд▓ рдХреЛрд░реНрд╕ рдФрд░ рд░реЛрдЬрд╝рд╛рдирд╛ 5-рдорд┐рдирдЯ рдХреА рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдЪрд▓рддреЗ-рдлрд┐рд░рддреЗ рдкреНрд░рдЧрддрд┐ рдХрд░реЗрдВред