рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

рдирд┐рдГрд╢реБрд▓реНрдХ рдХреЛрд░реНрд╕

Introduction to Data Engineering

рдордзреНрдпрд╡рд░реНрддреА4 рдШрдВрдЯреЗ

рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдХреА рджреБрдирд┐рдпрд╛ рдХреЛ рдЗрд╕ рд╕рдВрдХреНрд╖рд┐рдкреНрдд рдкрд╛рдареНрдпрдХреНрд░рдо рдореЗрдВ рдЬрд╛рдиреЗрдВ, рдЬрд┐рд╕рдореЗрдВ ETL рдФрд░ рдХреНрд▓рд╛рдЙрдб рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рдЬреИрд╕реЗ рдЯреВрд▓ рдФрд░ рд╡рд┐рд╖рдп рд╢рд╛рдорд┐рд▓ рд╣реИрдВред

Python4 рдШрдВрдЯреЗрдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдгрдкрддреНрд░

рдЕрдкрдирд╛ рдирд┐рдГрд╢реБрд▓реНрдХ рдЦрд╛рддрд╛ рдмрдирд╛рдПрдБ

Google рдХреЗ рд╕рд╛рде рдЬрд╛рд░реА рд░рдЦреЗрдВ
рдпрд╛
рдЬрд╛рд░реА рд░рдЦрдХрд░, рдЖрдк рд╣рдорд╛рд░реА рдЙрдкрдпреЛрдЧ рдХреА рд╢рд░реНрддреЗрдВ, рд╣рдорд╛рд░реА рдЧреЛрдкрдиреАрдпрддрд╛ рдиреАрддрд┐ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЖрдкрдХрд╛ рдбреЗрдЯрд╛ USA рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реИред

рд╣рдЬрд╝рд╛рд░реЛрдВ рдХрдВрдкрдирд┐рдпреЛрдВ рдХреЗ рд╢рд┐рдХреНрд╖рд╛рд░реНрдерд┐рдпреЛрдВ рджреНрд╡рд╛рд░рд╛ рдкрд╕рдВрдж рдХрд┐рдпрд╛ рдЧрдпрд╛

рдХрд┐рд╕реА рдЯреАрдо рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?

рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрдЬрд╝рдорд╛рдПрдБ тЖТ

рдХреЛрд░реНрд╕ рд╡рд┐рд╡рд░рдг

рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдореЗрдВ рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВ

рдХреНрдпрд╛ рдЖрдк рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдореЗрдВ рдХрд░рд┐рдпрд░ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдирдиреЗ рдХреЗ рд▓рд┐рдП рдЙрддреНрд╕реБрдХ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдпрд╣ рдирд╣реАрдВ рдЬрд╛рдирддреЗ рдХрд┐ рд╢реБрд░реБрдЖрдд рдХрд╣рд╛рдБ рд╕реЗ рдХрд░реЗрдВ? рдпрд╛ рд╢рд╛рдпрдж рдЖрдк рдЕрдЧрд▓реЗ рдХрджрдо рдЙрдард╛рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдпрд╣ рдЬрд╛рдирдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ рдХрд┐ рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдХреНрдпрд╛ рдХрд░рддреЗ рд╣реИрдВ? рдпрд╣ рдЪрд╛рд░ рдШрдВрдЯреЗ рдХрд╛ рдкрд╛рдареНрдпрдХреНрд░рдо рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдХрд╛ рдкрд░рд┐рдЪрдп рд╣реИ рдФрд░ рдЙрди рдореБрдЦреНрдп рдЕрд╡рдзрд╛рд░рдгрд╛рдУрдВ, рддрдХрдиреАрдХреЛрдВ рдФрд░ рдЙрдкрдХрд░рдгреЛрдВ рдХреЛ рд╕рдордЭрд╛рддрд╛ рд╣реИ рдЬрд┐рдиреНрд╣реЗрдВ рдЗрд╕ рдХрд╛рдо рдХреЛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдкрдХреЛ рдЬрд╛рдирдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИред

рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдХреА рдЕрд╡рдзрд╛рд░рдгрд╛рдПрдБ рдФрд░ рддрдХрдиреАрдХреЗрдВ рд╕реАрдЦреЗрдВ

рдЖрдк рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдФрд░ рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рдХреЗ рдмреАрдЪ рдХреЗ рдЕрдВрддрд░ (рдФрд░ рд╡реЗ рдХреИрд╕реЗ рд╕рд╛рде рдорд┐рд▓рдХрд░ рдХрд╛рдо рдХрд░рддреЗ рд╣реИрдВ) рдХреЛ рд╕рдордЭрдиреЗ рд╕реЗ рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВрдЧреЗ, рдЗрд╕рдХреЗ рдмрд╛рдж рдЖрдк рдЗрд╕ рдХреНрд╖реЗрддреНрд░ рдХреЗ рдЙрдкрдХрд░рдгреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдФрд░ рдЬрд╛рдиреЗрдВрдЧреЗ, рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдХреНрд▓рд╛рдЙрдб рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рдФрд░ рдкреИрд░реЗрд▓рд▓ рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рдкрд░ рдЪрд░реНрдЪрд╛ рдХрд░реЗрдВрдЧреЗред рджреВрд╕рд░реЗ рдЕрдзреНрдпрд╛рдп рдХреЗ рдЕрдВрдд рддрдХ, рдЖрдк SQL рдФрд░ NoSQL рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ, DataFrames рдХреЗ рдЙрдкрдпреЛрдЧ, рдФрд░ рд╕рдорд╛рдирд╛рдВрддрд░ рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рдХреЗ рдЗрддрдиреЗ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реЛрдиреЗ рдХреЗ рдХрд╛рд░рдг рдХреЛ рд╕рдордЭ рдЬрд╛рдПрдВрдЧреЗред

рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдЕрднреНрдпрд╛рд╕реЛрдВ рдореЗрдВ ETL рдХрд░реЗрдВ

ETL рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдПрдХ рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдХреЗ рдХрд╛рд░реНрдпрдкреНрд░рд╡рд╛рд╣ рдХрд╛ рдореВрд▓ рд╣реИред рдЖрдк рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдбреЗрдЯрд╛ рдХреЛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рдЙрддреНрдкрдиреНрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рдХрд░рдиреЗ рд╣реЗрддреБ рдЙрд╕реЗ рдХреИрд╕реЗ рдирд┐рдХрд╛рд▓рд╛, рд░реВрдкрд╛рдВрддрд░рд┐рдд рдФрд░ рд▓реЛрдб рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдкрд╛рдареНрдпрдХреНрд░рдо рдХреЗ рдЕрдВрдд рдореЗрдВ, рдЖрдк рд╡рд╛рд╕реНрддрд╡рд┐рдХ рджреБрдирд┐рдпрд╛ рдХреЗ рдбреЗрдЯрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рд╕реНрд╡рдпрдВ рдПрдХ ETL рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдФрд░ рд╢реЗрдбреНрдпреВрд▓ рдХрд░рдХреЗ рдЗрд╕ рд╕рднреА рдЬреНрдЮрд╛рди рдХреЛ рдЕрднреНрдпрд╛рд╕ рдореЗрдВ рд▓рдЧрд╛рдПрдВрдЧреЗред

рд╣рдорд╛рд░реЗ рдЕрднреНрдпрд╛рд╕ рдФрд░ рдЗрдВрдЯрд░реИрдХреНрдЯрд┐рд╡ рдкрд░реАрдХреНрд╖рдг рдЖрдкрдХреЛ рдЕрдкрдиреЗ рдирдП рдЬреНрдЮрд╛рди рдХреА рд╕рдореАрдХреНрд╖рд╛ рдХрд░рдиреЗ рдФрд░ рдЙрд╕реЗ рджреГрдврд╝ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреЗ рд╣реИрдВ, рддрд╛рдХрд┐ рдЖрдкрдХрд╛ Statement of Accomplishment рдкреНрд░рд╛рдкреНрдд рд╣реЛрдиреЗ рдХреЗ рдмрд╛рдж рдЖрдк рдЙрд╕реЗ рдЖрддреНрдорд╡рд┐рд╢реНрд╡рд╛рд╕ рдХреЗ рд╕рд╛рде рдЪрд░реНрдЪрд╛ рдФрд░ рд▓рд╛рдЧреВ рдХрд░ рд╕рдХреЗрдВред

рдпрд╣ рдкрд░рд┐рдЪрдпрд╛рддреНрдордХ рдкрд╛рдареНрдпрдХреНрд░рдо рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдЯреНрд░реИрдХ рдХрд╛ рд╣рд┐рд╕реНрд╕рд╛ рд╣реИ, рдЬреЛ рдЖрдкрдХреЛ рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдХреА рд╕рдордЭ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдорд╛рд░реНрдЧ рдФрд░ рдПрдХ рдкреЗрд╢реЗрд╡рд░ рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдмрдирдиреЗ рдХреА рджрд┐рд╢рд╛ рдореЗрдВ рдЕрдЧрд▓реЗ рдХрджрдореЛрдВ рдХрд╛ рд╕реНрдкрд╖реНрдЯ рд╕реЗрдЯ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ.

рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ

рдкрд╛рдареНрдпрдХреНрд░рдо

рдХреЛрд░реНрд╕ рд░реВрдкрд░реЗрдЦрд╛

1

Introduction to Data Engineering

рдЗрд╕ рдкрд╣рд▓реЗ рдЪреИрдкреНрдЯрд░ рдореЗрдВ, рдЖрдк рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдХреА рджреБрдирд┐рдпрд╛ рд╕реЗ рд░реВрдмрд░реВ рд╣реЛрдВрдЧреЗ! рдЬрд╛рдирд┐рдП рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдФрд░ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ, рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░реНрд╕ рджреНрд╡рд╛рд░рд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╡рд┐рднрд┐рдиреНрди рдЯреВрд▓реНрд╕ рдХрд╛ рдУрд╡рд░рд╡реНрдпреВ рд▓реАрдЬрд┐рдП, рдФрд░ рд╕рдордЭ рдмрдврд╝рд╛рдЗрдП рдХрд┐ рдХреНрд▓рд╛рдЙрдб рдЯреЗрдХреНрдиреЛрд▓реЙрдЬреА рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдореЗрдВ рдХреИрд╕реЗ рднреВрдорд┐рдХрд╛ рдирд┐рднрд╛рддреА рд╣реИ.
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
2

Data engineering toolbox

рдЕрдм рдЬрдмрдХрд┐ рдЖрдк рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдФрд░ рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рдХреЗ рдореБрдЦреНрдп рдЕрдВрддрд░ рдЬрд╛рди рдЪреБрдХреЗ рд╣реИрдВ, рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдХрд╛ рдЯреВрд▓рдмреЙрдХреНрд╕ рдПрдХреНрд╕рдкреНрд▓реЛрд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рд╣реЛ рдЬрд╛рдЗрдП! рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░реНрд╕ рджреНрд╡рд╛рд░рд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░рд╣ рдХреЗ рдбреЗрдЯрд╛рдмреЗрд╕ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рд╕реАрдЦреЗрдВ, рд╕рдордЭреЗрдВ рдХрд┐ рдкреИрд░реЗрд▓рд▓ рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рдЙрдирдХреЗ рдЯреВрд▓рдХрд┐рдЯ рдХреА рдиреАрдВрд╡ рдХреНрдпреЛрдВ рд╣реИ, рдФрд░ рд╢реЗрдбреНрдпреВрд▓рд┐рдВрдЧ рдлреНрд░реЗрдорд╡рд░реНрдХреНрд╕ рдХреА рдорджрдж рд╕реЗ рдбреЗрдЯрд╛ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдЬреЙрдмреНрд╕ рдХреЛ рд╢реЗрдбреНрдпреВрд▓ рдХрд░рдирд╛ рд╕реАрдЦреЗрдВ.
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
3

Extract, Transform and Load (ETL)

рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░реНрд╕ рдХреЗ рдЯреВрд▓рдмреЙрдХреНрд╕ рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рд╣реЛрдиреЗ рдХреЗ рдмрд╛рдж, рдЕрдм рд╕рдордп рд╣реИ рдПрдХ рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░ рдХреЗ рд░реЛрдЬрд╝рдорд░реНрд░рд╛ рдХреЗ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдореЗрдВ рдЙрддрд░рдиреЗ рдХрд╛! ETL рдХреЗ рд╕рд╛рде, рдЖрдк рд╕реАрдЦреЗрдВрдЧреЗ рдХрд┐ рдХреИрд╕реЗ рд╡рд┐рднрд┐рдиреНрди рд╕реНрд░реЛрддреЛрдВ рд╕реЗ рдХрдЪреНрдЪрд╛ рдбреЗрдЯрд╛ рдПрдХреНрд╕рдЯреНрд░реИрдХреНрдЯ рдХрд░реЗрдВ, рдЗрд╕ рдХрдЪреНрдЪреЗ рдбреЗрдЯрд╛ рдХреЛ рдРрд╕реЗ рдЗрдирд╕рд╛рдЗрдЯреНрд╕ рдореЗрдВ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдо рдХрд░реЗрдВ рдЬрд┐рдиреНрд╣реЗрдВ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗ, рдФрд░ рдЙрдиреНрд╣реЗрдВ рдЙрдкрдпреБрдХреНрдд рдбреЗрдЯрд╛рдмреЗрд╕ рдореЗрдВ рд▓реЛрдб рдХрд░реЗрдВ рддрд╛рдХрд┐ рдЙрдирдХрд╛ рддреБрд░рдВрдд рдЙрдкрдпреЛрдЧ рд╣реЛ рд╕рдХреЗ.
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
4

Case Study: DataCamp

рдкрд┐рдЫрд▓реЗ рддреАрди рдЪреИрдкреНрдЯрд░реНрд╕ рдореЗрдВ рдЖрдкрдиреЗ рдЬреЛ рд╕реАрдЦрд╛, рдЙрд╕реЗ DataCamp рдХреЗ рдПрдХ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдбреЗрдЯрд╛ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рдпреВрдЬрд╝ рдХреЗрд╕ рдХреЗ рдЬрд╝рд░рд┐рдП рд╕рдореЗрдЯреЗрдВ! рдЖрдк рдПрдХ ETL рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдЪрд▓рд╛рдПрдБрдЧреЗ рдФрд░ рд╢реЗрдбреНрдпреВрд▓ рдХрд░реЗрдВрдЧреЗ, рдЬреЛ рдХрдЪреНрдЪреЗ рдХреЛрд░реНрд╕ рд░реЗрдЯрд┐рдВрдЧ рдбреЗрдЯрд╛ рдХреЛ рдмрджрд▓рдХрд░ DataCamp рдЫрд╛рддреНрд░реЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рдХреЛрд░реНрд╕ рд░рд┐рдХрдореЗрдВрдбреЗрд╢рдВрд╕ рдореЗрдВ рдмрджрд▓ рджреЗрдЧреА!
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ

Introduction to Data Engineering

рдХреЛрд░реНрд╕
рдкреВрд░реНрдг

рдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдЕрд░реНрдЬрд┐рдд рдХрд░реЗрдВ

рдЕрднреА рдирд╛рдорд╛рдВрдХрди рдХрд░реЗрдВ

DataCamp for Mobile рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреМрд╢рд▓ рдмрдврд╝рд╛рдПрдБ

рд╣рдорд╛рд░реЗ рдореЛрдмрд╛рдЗрд▓ рдХреЛрд░реНрд╕ рдФрд░ рд░реЛрдЬрд╝рд╛рдирд╛ 5-рдорд┐рдирдЯ рдХреА рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдЪрд▓рддреЗ-рдлрд┐рд░рддреЗ рдкреНрд░рдЧрддрд┐ рдХрд░реЗрдВред