рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ
рд╢реНрд░реЗрдгреА
рдкреНрд░реМрджреНрдпреЛрдЧрд┐рдХрд┐рдпрд╛рдБ

PySpark рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓реНрд╕

PySpark рд╕реЗ рдЬреБрдбрд╝реА рдирд╡реАрдирддрдо рдЦрдмрд░реЛрдВ, рддрдХрдиреАрдХреЛрдВ рдФрд░ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рд╕реЗ рдЕрдкрдбреЗрдЯ рд░рд╣реЗрдВред рд╣рдорд╛рд░реЗ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓реНрд╕ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдЪрд░рдг-рджрд░-рдЪрд░рдг рдирд┐рд░реНрджреЗрд╢реЛрдВ рдФрд░ рдЙрдкрдпреЛрдЧ рдХреЗ рдЙрджрд╛рд╣рд░рдгреЛрдВ рд╕реЗ рднрд░рдкреВрд░ рд╣реИрдВ, рдЬрд┐рдирд╕реЗ рдЖрдк рдЕрдкрдиреА рд╕реНрдХрд┐рд▓ рдмрдврд╝рд╛ рд╕рдХрддреЗ рд╣реИрдВред
2 рдпрд╛ рдЙрд╕рд╕реЗ рдЕрдзрд┐рдХ рд▓реЛрдЧреЛрдВ рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?DataCamp for Business рдЖрдЬрд╝рдорд╛рдПрдБ
PySpark

PySpark рдлрд╝рд┐рд▓реНрдЯрд░ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓: рддрдХрдиреАрдХреЗрдВ, рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдЯрд┐рдкреНрд╕, рдФрд░ рдЙрдкрдпреЛрдЧ рдорд╛рдорд▓реЗ

рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХреЗ рд╕рд╛рде рдкреНрд░рднрд╛рд╡реА PySpark рдлрд╝рд┐рд▓реНрдЯрд░рд┐рдВрдЧ рддрдХрдиреАрдХреЗрдВ рд╕реАрдЦреЗрдВред рдкреНрд░реЗрдбрд┐рдХреЗрдЯ рдкреБрд╢рдбрд╛рдЙрди, рдкрд╛рд░реНрдЯрд┐рд╢рди рдкреНрд░реВрдирд┐рдВрдЧ, рдФрд░ рдЙрдиреНрдирдд рдлрд╝рд┐рд▓реНрдЯрд░ рдлрд╝рдВрдХреНрд╢рдВрд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдмрдврд╝рд╛рдПрдБред

Derrick Mwiti

PySpark

рд╕реНрдХреЗрд▓реЗрдмрд▓ рдбреЗрдЯрд╛ рдПрдЧреНрд░реАрдЧреЗрд╢рди рдХреЗ рд▓рд┐рдП PySpark рдХреЗ groupBy рдореЗрдВ рдорд╣рд╛рд░рдд

PySpark рдХреЗ groupBy рдореЗрдердб рдХрд╛ рдЕрдиреНрд╡реЗрд╖рдг рдХрд░реЗрдВ, рдЬреЛ рдбреЗрдЯрд╛ рдкреНрд░реЛрдлреЗрд╢рдирд▓реНрд╕ рдХреЛ рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдкрд░ рдПрдЧреНрд░реАрдЧреЗрдЯ рдлрдВрдХреНрд╢рдВрд╕ рдЪрд▓рд╛рдиреЗ рджреЗрддрд╛ рд╣реИред рдпрд╣ рдЖрдкрдХреЗ рдмрдбрд╝реЗ рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдХреЛ рддреЗрдЬрд╝реА рд╕реЗ рдкрд╛рд░реНрдЯрд┐рд╢рди рдФрд░ рд╕рдВрдХреНрд╖реЗрдк рдХрд░рдиреЗ рдХрд╛ рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рддрд░реАрдХрд╛ рд╣реИ, Spark рдХреА рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рддрдХрдиреАрдХреЛрдВ рдХрд╛ рд▓рд╛рдн рдЙрдард╛рддреЗ рд╣реБрдПред

Tim Lu

PySpark

PySpark Joins: рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдореЗрдВ рдЬреЙрдЗрди рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░реЗрдВ

рдЬрд╛рдиреЗрдВ рдХрд┐ PySpark рдЬреЙрдЗрдиреЛрдВ рдХреЛ рдХреИрд╕реЗ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░реЗрдВ, рд╢рдлрд▓реНрд╕ рдХрдо рдХрд░реЗрдВ, рд╕реНрдХреНрдпреВ рд╕рдБрднрд╛рд▓реЗрдВ, рдФрд░ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрдиреЛрдВ рддрдерд╛ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рд╡рд░реНрдХрдлрд╝реНрд▓реЛрдЬрд╝ рдореЗрдВ рдкреНрд░рджрд░реНрд╢рди рдмреЗрд╣рддрд░ рдХрд░реЗрдВред

Derrick Mwiti

PySpark

PySpark Read CSV: рдмрдбрд╝реЗ рдлрд╝рд╛рдЗрд▓реЛрдВ рдХреЛ рдХреБрд╢рд▓рддрд╛рдкреВрд░реНрд╡рдХ рд▓реЛрдб рдХрд░реЗрдВ рдФрд░ рдкреНрд░реЛрд╕реЗрд╕ рдХрд░реЗрдВ

PySpark рдореЗрдВ CSV рдлрд╛рдЗрд▓реЗрдВ рдХреБрд╢рд▓рддрд╛рдкреВрд░реНрд╡рдХ рдХреИрд╕реЗ рдкрдврд╝реЗрдВ рд╕реАрдЦреЗрдВред рд╡рд┐рдХрд▓реНрдкреЛрдВ, рд╕реНрдХреАрдорд╛ рд╣реИрдВрдбрд▓рд┐рдВрдЧ, рдХрдВрдкреНрд░реЗрд╢рди, рдкрд╛рд░реНрдЯрд┐рд╢рдирд┐рдВрдЧ, рдФрд░ рдмрд┐рдЧ рдбреЗрдЯрд╛ рд╕рдлрд▓рддрд╛ рдХреЗ рд╕рд░реНрд╡реЛрддреНрддрдо рдкреНрд░рдерд╛рдУрдВ рдХрд╛ рдЕрдиреНрд╡реЗрд╖рдг рдХрд░реЗрдВред

Derrick Mwiti

PySpark

PySpark UDFs рдФрд░ Pandas UDFs рдХрд╛ рдкреНрд░рднрд╛рд╡реА рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ

рдЬрд╛рдиреЗрдВ рдХрд┐ PySpark UDFs, рдЬрд┐рдирдореЗрдВ Pandas UDFs рднреА рд╢рд╛рдорд┐рд▓ рд╣реИрдВ, рдХреИрд╕реЗ рдмрдирд╛рдПрдВ, рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝ рдХрд░реЗрдВ рдФрд░ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ рддрд╛рдХрд┐ рдХрд╕реНрдЯрдо рдбреЗрдЯрд╛ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдореЗрд╢рди рдХреБрд╢рд▓рддрд╛рдкреВрд░реНрд╡рдХ рд╕рдВрднрд╛рд▓реЗ рдЬрд╛ рд╕рдХреЗрдВ рдФрд░ Spark рдХрд╛ рдкреНрд░рджрд░реНрд╢рди рдмреЗрд╣рддрд░ рд╣реЛред

Derrick Mwiti

PySpark

DataFrame рдХреЙрд▓рдо рдЯреНрд░рд╛рдВрд╕рдлрд╝реЙрд░реНрдореЗрд╢рди рдХреЗ рд▓рд┐рдП PySpark withColumn() рдореЗрдВ рдорд╣рд╛рд░рдд рд╣рд╛рд╕рд┐рд▓ рдХрд░реЗрдВ

рдЬрд╛рдиреЗрдВ рдХрд┐ PySpark withColumn() рдХрд╛ рдкреНрд░рднрд╛рд╡реА рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ DataFrame рдХреЙрд▓рдо рдХреИрд╕реЗ рдЬреЛрдбрд╝реЗрдВ, рдЕрдкрдбреЗрдЯ рдХрд░реЗрдВ рдФрд░ рдЯреНрд░рд╛рдВрд╕рдлрд╝реЙрд░реНрдо рдХрд░реЗрдВред рд╕рд┐рдВрдЯреИрдХреНрд╕, рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ рдФрд░ рд╕рд░реНрд╡реЛрддреНрддрдо рд╡реНрдпрд╡рд╣рд╛рд░ рд╢рд╛рдорд┐рд▓ред

Derrick Mwiti