рдореБрдЦреНрдп рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдБ

рдирд┐рдГрд╢реБрд▓реНрдХ рдХреЛрд░реНрд╕

Keras рдХреЗ рд╕рд╛рде Machine Translation

рдЙрдиреНрдирдд4 рдШрдВрдЯреЗ

рдХреНрдпрд╛ рдЖрдк Google Translate рдЬреИрд╕реЗ рдЙрддреНрдкрд╛рджреЛрдВ рдХреЗ рдкреАрдЫреЗ рдореМрдЬреВрдж рдореЙрдбрд▓реЛрдВ рдХреА рдЖрдВрддрд░рд┐рдХ рдХрд╛рд░реНрдпрдкреНрд░рдгрд╛рд▓реА рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдирдиреЗ рдХреЗ рд▓рд┐рдП рдЙрддреНрд╕реБрдХ рд╣реИрдВ?

Python4 рдШрдВрдЯреЗрдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдгрдкрддреНрд░

рдЕрдкрдирд╛ рдирд┐рдГрд╢реБрд▓реНрдХ рдЦрд╛рддрд╛ рдмрдирд╛рдПрдБ

Google рдХреЗ рд╕рд╛рде рдЬрд╛рд░реА рд░рдЦреЗрдВ
рдпрд╛
рдЬрд╛рд░реА рд░рдЦрдХрд░, рдЖрдк рд╣рдорд╛рд░реА рдЙрдкрдпреЛрдЧ рдХреА рд╢рд░реНрддреЗрдВ, рд╣рдорд╛рд░реА рдЧреЛрдкрдиреАрдпрддрд╛ рдиреАрддрд┐ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЖрдкрдХрд╛ рдбреЗрдЯрд╛ USA рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реИред

рд╣рдЬрд╝рд╛рд░реЛрдВ рдХрдВрдкрдирд┐рдпреЛрдВ рдХреЗ рд╢рд┐рдХреНрд╖рд╛рд░реНрдерд┐рдпреЛрдВ рджреНрд╡рд╛рд░рд╛ рдкрд╕рдВрдж рдХрд┐рдпрд╛ рдЧрдпрд╛

рдХрд┐рд╕реА рдЯреАрдо рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ?

рд╡реНрдпрд╡рд╕рд╛рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрдЬрд╝рдорд╛рдПрдБ тЖТ

рдХреЛрд░реНрд╕ рд╡рд┐рд╡рд░рдг

рдпреВрд░реЛрдкреАрдп рдпрд╛рддреНрд░рд╛ рдХреЗ рд▓рд┐рдП рджреНрд╡рд┐рднрд╛рд╖реА рд╢рдмреНрджрдХреЛрд╢ рд╕рд╛рде рд▓реЗ рдЬрд╛рдирд╛ рдпрд╛ рд╡рд┐рджреЗрд╢реА рднрд╛рд╖рд╛ рдХрд╛ рд╣реЛрдорд╡рд░реНрдХ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЗрдЬрд╝ рдкрд░ рд░рдЦрдирд╛ рдЕрдм рдмреАрддреА рдмрд╛рдд рд╣реИред рдЕрдм рдЖрдк рдЗрдВрдЯрд░рдиреЗрдЯ рдкрд░ рдЬрд╛рддреЗ рд╣реИрдВ рдФрд░ рдХрд┐рд╕реА рднрд╛рд╖рд╛ рдЕрдиреБрд╡рд╛рдж рд╕реЗрд╡рд╛ рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рдХреЗ рддреБрд░рдВрдд рд╕рдордЭ рд▓реЗрддреЗ рд╣реИрдВ рдХрд┐ рд╕рдбрд╝рдХ рд╕рдВрдХреЗрдд рдХрд╛ рдорддрд▓рдм рдХреНрдпрд╛ рд╣реИ, рдпрд╛ рдХрд┐рд╕реА рд╡рд┐рджреЗрд╢реА рдХрд╛ рдЙрдирдХреА рднрд╛рд╖рд╛ рдореЗрдВ рдЕрднрд┐рд╡рд╛рджрди рдФрд░ рдзрдиреНрдпрд╡рд╛рдж рдХреИрд╕реЗ рдХрд░реЗрдВред рдЗрди рднрд╛рд╖рд╛ рдЕрдиреБрд╡рд╛рдж рд╕реЗрд╡рд╛рдУрдВ рдХреЗ рдкреАрдЫреЗ рдЬрдЯрд┐рд▓ рдорд╢реАрди рдЯреНрд░рд╛рдВрд╕рд▓реЗрд╢рди рдореЙрдбрд▓ рд╣реЛрддреЗ рд╣реИрдВред рдХреНрдпрд╛ рдЖрдкрдиреЗ рдХрднреА рд╕реЛрдЪрд╛ рд╣реИ рдХрд┐ рдпреЗ рдореЙрдбрд▓ рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддреЗ рд╣реИрдВ? рдЗрд╕ рдХреЛрд░реНрд╕ рдореЗрдВ рдЖрдк рдорд╢реАрди рдЯреНрд░рд╛рдВрд╕рд▓реЗрд╢рди рдореЙрдбрд▓ рдХреЗ рдЕрдВрджрд░реВрдиреА рдХрд╛рдордХрд╛рдЬ рдХреЛ рд╕рдордЭреЗрдВрдЧреЗред рдЖрдк Keras, рдЬреЛ Python-рдЖрдзрд╛рд░рд┐рдд рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИ, рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ рдЯреНрд░рд╛рдВрд╕рд▓реЗрд╢рди рдореЙрдбрд▓ рдЗрдореНрдкреНрд▓реАрдореЗрдВрдЯ рдХрд░реЗрдВрдЧреЗред рдЗрд╕рдХреЗ рдмрд╛рдж рдЖрдк рдореЙрдбрд▓ рдХреЛ рдЕрдВрдЧреНрд░реЗрдЬреА рд╕реЗ рдлреНрд░реЗрдВрдЪ рдЕрдиреБрд╡рд╛рдж рдХреЗ рд▓рд┐рдП рдЯреНрд░реЗрди рдХрд░реЗрдВрдЧреЗ, рдФрд░ рдЖрдкрдХреЛ рдЕрдкрдирд╛ рдореЙрдбрд▓ рдмреЗрд╣рддрд░ рдХрд░рдиреЗ рдХреА рддрдХрдиреАрдХреЗрдВ рднреА рджрд┐рдЦрд╛рдИ рдЬрд╛рдПрдБрдЧреАред рдХреЛрд░реНрд╕ рдХреЗ рдЕрдВрдд рддрдХ, рдЖрдкрдХреЗ рдкрд╛рд╕ рдорд╢реАрди рдЯреНрд░рд╛рдВрд╕рд▓реЗрд╢рди рдореЙрдбрд▓реЛрдВ рдХреА рдЧрд╣рд░реА рд╕рдордЭ рд╣реЛрдЧреА рдФрд░ рдЖрдк рдЙрдиреНрд╣реЗрдВ рдФрд░ рдЕрдзрд┐рдХ рд╕рд░рд╛рд╣реЗрдВрдЧреЗ!

рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ

рдкрд╛рдареНрдпрдХреНрд░рдо

рдХреЛрд░реНрд╕ рд░реВрдкрд░реЗрдЦрд╛

1

Machine Translation рдХрд╛ рдкрд░рд┐рдЪрдп

рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ, рдЖрдк рд╕рдордЭреЗрдВрдЧреЗ рдХрд┐ encoder-decoder рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рдХреНрдпрд╛ рд╣реИ рдФрд░ рдорд╢реАрди рдЯреНрд░рд╛рдВрд╕рд▓реЗрд╢рди рдореЗрдВ рдЗрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рд╣реЛрддрд╛ рд╣реИред рдЖрдк Gated Recurrent Units (GRUs) рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рднреА рдЬрд╛рдиреЗрдВрдЧреЗ рдФрд░ рджреЗрдЦреЗрдВрдЧреЗ рдХрд┐ рдЗрдиреНрд╣реЗрдВ encoder-decoder рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рдореЗрдВ рдХреИрд╕реЗ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
2

Keras рдХреЗ рд╕рд╛рде Encoder-Decoder рдореЙрдбрд▓ рдЗрдореНрдкреНрд▓реАрдореЗрдВрдЯ рдХрд░рдирд╛

рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ, рдЖрдк Keras functional API рдХреЗ рд╕рд╛рде encoder-decoder рдореЙрдбрд▓ рдЗрдореНрдкреНрд▓реАрдореЗрдВрдЯ рдХрд░реЗрдВрдЧреЗред рдРрд╕рд╛ рдХрд░рддреЗ рд╣реБрдП, рдЖрдк RepeatVector рдФрд░ TimeDistributed рдЬреИрд╕реЗ рдХрдИ рдЙрдкрдпреЛрдЧреА Keras рд▓реЗрдпрд░реНрд╕ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╕реАрдЦреЗрдВрдЧреЗред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
3

рдЯреНрд░реЗрдирд┐рдВрдЧ рдФрд░ рдЕрдиреБрд╡рд╛рдж рдЬрдирд░реЗрдЯ рдХрд░рдирд╛

рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ, рдЖрдк рдкрд╣рд▓реЗ рд╕реЗ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдореЙрдбрд▓ рдХреЛ рдЯреНрд░реЗрди рдХрд░реЗрдВрдЧреЗ рдФрд░ рдлрд┐рд░ рдПрдХ рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЕрдиреБрд╡рд╛рдж рдЬрдирд░реЗрдЯ рдХрд░реЗрдВрдЧреЗред рдЖрдк рджреЗрдЦреЗрдВрдЧреЗ рдХрд┐ рд╣рдорд╛рд░рд╛ рдореЙрдбрд▓ рд╡рд╛рдХреНрдпреЛрдВ рдХрд╛ рдЕрдиреБрд╡рд╛рдж рдХрд░рддреЗ рд╕рдордп рдЕрдЪреНрдЫрд╛ рдкреНрд░рджрд░реНрд╢рди рдХрд░рддрд╛ рд╣реИред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ
4

Teacher Forcing рдФрд░ Word Embeddings

рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ, рдЖрдк Teacher Forcing рдирд╛рдордХ рддрдХрдиреАрдХ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╕реАрдЦреЗрдВрдЧреЗ, рдЬреЛ рдЯреНрд░рд╛рдВрд╕рд▓реЗрд╢рди рдореЙрдбрд▓реЛрдВ рдХреЛ рдмреЗрд╣рддрд░ рдФрд░ рддреЗрдЬрд╝реА рд╕реЗ рдЯреНрд░реЗрди рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреА рд╣реИред рдлрд┐рд░ рдЖрдк рдЬрд╛рдиреЗрдВрдЧреЗ рдХрд┐ word embeddings рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдореЙрдбрд▓ рдХреЛ рдФрд░ рднреА рдмреЗрд╣рддрд░ рдХреИрд╕реЗ рдмрдирд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
рдЕрдзреНрдпрд╛рдп рд╢реБрд░реВ рдХрд░реЗрдВ

Keras рдХреЗ рд╕рд╛рде Machine Translation

рдХреЛрд░реНрд╕
рдкреВрд░реНрдг

рдЙрдкрд▓рдмреНрдзрд┐ рдХрд╛ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдЕрд░реНрдЬрд┐рдд рдХрд░реЗрдВ

рдЕрднреА рдирд╛рдорд╛рдВрдХрди рдХрд░реЗрдВ

DataCamp for Mobile рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдбреЗрдЯрд╛ рдХреМрд╢рд▓ рдмрдврд╝рд╛рдПрдБ

рд╣рдорд╛рд░реЗ рдореЛрдмрд╛рдЗрд▓ рдХреЛрд░реНрд╕ рдФрд░ рд░реЛрдЬрд╝рд╛рдирд╛ 5-рдорд┐рдирдЯ рдХреА рдХреЛрдбрд┐рдВрдЧ рдЪреБрдиреМрддрд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдЪрд▓рддреЗ-рдлрд┐рд░рддреЗ рдкреНрд░рдЧрддрд┐ рдХрд░реЗрдВред