рдЗрд╕ рд╕рдордп, рдпреЗ рдЫрд╣ рдХреБрдЫ рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп рдУрдкрдитАСрд╕реЛрд░реНрд╕ LLMs рд╣реИрдВ:
LLaMA2
BLOOM
Falcon 180B
OPT-175B
GPT-Neox
Vicuna 13-B
рдФрд░ рд╕рднреА рдореЗрдВ рдПрдХ рд╣реА рдХрдореА рд╣реИтАКтАФтАКрдмрд╣реБрдд рдЫреЛрдЯреА рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ, рдЬреЛ рдЕрдзрд┐рдХрддрдо 2048 рдЯреЛрдХрди рддрдХ рд╣реА рдкрд╣реБрдБрдЪрддреА рд╣реИред рд╕реНрд╡рд╛рдорд┐рддреНрд╡ рд╡рд╛рд▓реЗ рдореЙрдбрд▓реЛрдВ рдЬреИрд╕реЗ GPT-3.5 рдФрд░ GPT-4 рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, рдЬреЛ 32k рдЯреЛрдХрди (рд▓рдЧрднрдЧ 50 рдкреЗрдЬ рдХреЗ рдкрд╛рда) рддрдХ рдХреА рд▓рдВрдмрд╛рдИ рджреЗрддреЗ рд╣реИрдВ, рдУрдкрдитАСрд╕реЛрд░реНрд╕ LLMs рднрд╛рд░реА рдкрд┐рдЫрдбрд╝рддреЗ рджрд┐рдЦрддреЗ рд╣реИрдВред
рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ рдореВрд▓ рд░реВрдк рд╕реЗ LLMs рдХреА тАЬрдореЗрдореЛрд░реАтАЭ рд╣реИред 2048тАСрдЯреЛрдХрди рд╡рд┐рдВрдбреЛ рдХрд╛ рдорддрд▓рдм рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдПрдХ рд╕рдордп рдореЗрдВ рдмрд╛рддрдЪреАрдд рдХреЗ рдХреЗрд╡рд▓ 2048 рдЯреЛрдХрди рд╣реА тАЬрдпрд╛рджтАЭ рд░рдЦ рд╕рдХрддрд╛ рд╣реИред рдпрд╣ рдЙрди рдХрд╛рд░реНрдпреЛрдВ рдореЗрдВ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдХрд╛рдлреА рдкреНрд░рднрд╛рд╡рд┐рдд рдХрд░рддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдмрдбрд╝рд╛ рд╕рдВрджрд░реНрдн рдирд┐рд░реНрдгрд╛рдпрдХ рд╣реЛрддрд╛ рд╣реИ тАФ рдЬреИрд╕реЗ рд╕рд╛рд░рд╛рдВрд╢рдг, рдЕрдиреБрд╡рд╛рдж, рдХреЛрдб рдЬрдирд░реЗрд╢рди рдЖрджрд┐ред
рдЗрд╕ рдЕрд╣рдо рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рдорд╛рдзрд╛рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, Salesforce рдиреЗ XGen-7B рдореЙрдбрд▓ рдХреА рдШреЛрд╖рдгрд╛ рдХреА, рдЬрд┐рд╕рдореЗрдВ 8k рдЯреЛрдХрди рдХреА рд╢рд╛рдирджрд╛рд░ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ рд╣реИ (рдЕрдиреНрдп рд╕рдорд╛рди LLMs рд╕реЗ 4 рдЧреБрдирд╛ рдЕрдзрд┐рдХ)ред рдпрд╣ рд▓реЗрдЦ рдореЙрдбрд▓ рдХреА рдкреНрд░рдореБрдЦ рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХреЛ рдХрд╡рд░ рдХрд░рддрд╛ рд╣реИ рдФрд░ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдХрд┐ рдЗрд╕реЗ рдПрдХ рд╕реИрдВрдкрд▓ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рдХреИрд╕реЗ рдЙрдкрдпреЛрдЧ рдФрд░ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд┐рдпрд╛ рдЬрд╛рдПред
XGen 7B рдХреНрдпреЛрдВ рдЪреБрдиреЗрдВ?
рдЬреНрдпрд╛рджрд╛рддрд░ рд▓реЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП, рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ рдЬреИрд╕реА рд╕рдВрдЦреНрдпрд╛рдПрдБ рддрдм рддрдХ рдорд╛рдпрдиреЗ рдирд╣реАрдВ рд░рдЦрддреАрдВ, рдЬрдм рддрдХ рд╡реЗ рдареЛрд╕ рд▓рд╛рднреЛрдВ рдореЗрдВ рдЕрдиреБрд╡рд╛рдж рди рд╣реЛ рдЬрд╛рдПрдБред рддреЛ, рдпрд╣рд╛рдБ рдЗрд╕рдХреА рдХреБрдЫ рдореБрдЦреНрдп рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдБ рдФрд░ рд╡реЗ рдЖрдкрдХреЗ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕ рдкрд░ рдХреНрдпрд╛ рдкреНрд░рднрд╛рд╡ рдбрд╛рд▓ рд╕рдХрддреА рд╣реИрдВ:
рдХреЙрдореНрдкреИрдХреНрдЯ, рдкрд░ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА
рд╕рд┐рд░реНрдл 7 рдмрд┐рд▓рд┐рдпрди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдЕрдкреЗрдХреНрд╖рд╛рдХреГрдд рдЫреЛрдЯреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрд╛рд╡рдЬреВрдж, XGen рдЕрдкрдиреА рдХреНрд╖рдорддрд╛ рд╕реЗ рдХрд╣реАрдВ рдЕрдзрд┐рдХ рдкреНрд░рджрд░реНрд╢рди рджреЗрддрд╛ рд╣реИтАКтАФтАКрдЬреЛ рдЕрдХреНрд╕рд░ рдХрд╣реАрдВ рдмрдбрд╝реЗ рдореЙрдбрд▓реЛрдВ рдХреЗ рдмрд░рд╛рдмрд░ рдпрд╛ рдмреЗрд╣рддрд░ рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рджрдХреНрд╖рддрд╛ рдбреЗрд╡рд▓рдкрд░реНрд╕ рдФрд░ рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЧреЗрдотАСрдЪреЗрдВрдЬрд░ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рд╕реЗ рд╣рд╛рдИтАСрдПрдВрдб рд▓реЛрдХрд▓ рдорд╢реАрдиреЛрдВ рдкрд░ рд╣реА рдЕрддреНрдпрд╛рдзреБрдирд┐рдХ AI рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдЪрд▓рд╛рдирд╛ рдФрд░ рддреИрдирд╛рдд рдХрд░рдирд╛ рд╕рдВрднрд╡ рд╣реЛрддрд╛ рд╣реИ, рдмрд┐рдирд╛ рдмрдбрд╝реЗ рдХреНрд▓рд╛рдЙрдб рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдкрд░ рдирд┐рд░реНрднрд░ рд░рд╣реЗред рдЖрдХрд╛рд░ рдФрд░ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рдЗрд╕ рд╕рдВрддреБрд▓рди рдХреЗ рдХрд╛рд░рдг XGen рд╕реНрдЯрд╛рд░реНрдЯрдЕрдкреНрд╕ рд╕реЗ рд▓реЗрдХрд░ рд╢реИрдХреНрд╖рдгрд┐рдХ рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рддрдХ, рд╡реНрдпрд╛рдкрдХ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕рдореВрд╣ рдХреЗ рд▓рд┐рдП рдЦрд╛рд╕рд╛ рдЖрдХрд░реНрд╖рдХ рд╣реИред
рдмрд╣реБрдЙрджреНрджреЗрд╢реАрдп рдореЙрдбрд▓ рд╡реЗрд░рд┐рдПрдВрдЯ
рд╡рд┐рднрд┐рдиреНрди рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЛ рд╕рдордЭрддреЗ рд╣реБрдП, XGen рддреАрди рд╕рдВрд╕реНрдХрд░рдг рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рд╣реИрдВ:
XGen-7B-4K-base: 4k рдЯреЛрдХрди рд╕реАрдХреНрд╡реЗрдВрд╕ рд▓рдВрдмрд╛рдИ рдХреЗ рд╕рд╛рде, рдпрд╣ рд╕рдВрд╕реНрдХрд░рдг рдордзреНрдпрдо рдЖрдХрд╛рд░ рдХреЗ рд╕рдВрджрд░реНрдн рд╡рд╛рд▓реА рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рд╣реИред рдпрд╣ Apache 2.0 рд▓рд╛рдЗрд╕реЗрдВрд╕ рдХреЗ рдЕрдВрддрд░реНрдЧрдд рд▓рд╛рдЗрд╕реЗрдВрд╕реНрдб рд╣реИред
XGen-7B-8K-base: рдпрд╣ рдлреНрд▓реИрдЧрд╢рд┐рдк рдореЙрдбрд▓ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ 8k рдЯреЛрдХрди рд╕реАрдХреНрд╡реЗрдВрд╕ рд▓рдВрдмрд╛рдИ рд╣реИ, рдЬреЛ рдмрдбрд╝реЗ рдкрд╛рда рдмреНрд▓реЙрдХреНрд╕ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рд╕реЗ рд▓рд╛рднрд╛рдиреНрд╡рд┐рдд рд╣реЛрдиреЗ рд╡рд╛рд▓реЗ рдЬрдЯрд┐рд▓ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдЕрдкрдиреЗ рд╕рдордХрдХреНрд╖ рдХреА рддрд░рд╣, рдпрд╣ рднреА Apache 2.0 рд▓рд╛рдЗрд╕реЗрдВрд╕ рдХреЗ рддрд╣рдд рдЙрдкрд▓рдмреНрдз рд╣реИ, рдпрд╛рдиреА рдЗрд╕реЗ рд▓рдЧрднрдЧ рдХрд┐рд╕реА рднреА рдЙрджреНрджреЗрд╢реНрдп рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
XGen-7B-{4K,8K}-inst: рд╕рд╛рд░реНрд╡рдЬрдирд┐рдХ рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдирд▓ рдбреЗрдЯрд╛ рдкрд░ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди, рдпреЗ рдореЙрдбрд▓ рдЗрдВрдЯрд░рдПрдХреНрдЯрд┐рд╡ рдФрд░ рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдирд▓ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдЕрдиреБрдХреВрд▓рд┐рдд рд╣реИрдВ, рдФрд░ рдЧреИрд░тАСрд╡реНрдпрд╛рд╡рд╕рд╛рдпрд┐рдХ рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП рдЙрдкрд▓рдмреНрдз рд╣реИрдВред рдпрд╣ рд╡реЗрд░рд┐рдПрдВрдЯ рд╢реИрдХреНрд╖рд┐рдХ рдЙрдкрдХрд░рдгреЛрдВ, рдЗрдВрдЯрд░рдПрдХреНрдЯрд┐рд╡ рдмреЙрдЯреНрд╕ рдФрд░ рдРрд╕реЗ рдЕрдиреНрдп рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрджрд░реНрд╢ рд╣реИ, рдЬрд╣рд╛рдБ рдорд╛рд░реНрдЧрджрд░реНрд╢рди рдпрд╛ рдирд┐рд░реНрджреЗрд╢ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реЛрддреЗ рд╣реИрдВред
рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдкрд░ рдЙрдЪреНрдЪ рдкреНрд░рджрд░реНрд╢рди
рдореЙрдбрд▓ рдХреА рд╡рд╛рд╕реНрддрд╡рд┐рдХ рддрд╛рдХрдд рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдореЗрдВ рдЭрд▓рдХрддреА рд╣реИред XGen рд╕рдорд╛рди рдЖрдХрд╛рд░ рдХреЗ рдореЙрдбрд▓реЛрдВ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ MMLU, HumanEval рдЖрджрд┐ рдЬреИрд╕реЗ рд╡рд┐рд╡рд┐рдз рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдкрд░ рд╢реАрд░реНрд╖ рдкрд░ рд░рд╣рддрд╛ рд╣реИред рд╡рд┐рд╕реНрддреГрдд рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рд▓рд┐рдП, рдШреЛрд╖рдгрд╛ рдкреЛрд╕реНрдЯ XGen рдХреА рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдЙрдкрд▓рдмреНрдзрд┐рдпреЛрдВ рдХрд╛ рд╕рдордЧреНрд░ рдЕрд╡рд▓реЛрдХрди рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред
рд▓рдВрдмреА рдЕрдиреБрдХреНрд░рдо рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓рд┐рдд
рджреЛрд╣рд░рд╛рд╡ рдХрд╛ рдЬреЛрдЦрд┐рдо рд▓реЗрддреЗ рд╣реБрдП, рдлрд┐рд░ рднреА рдХрд╣рдирд╛ рд╣реЛрдЧрд╛ рдХрд┐ XGen рдмрдбрд╝реЗ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд╡рд┐рдВрдбреЛ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╡рд╛рд▓реЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрддреНрдпрдзрд┐рдХ рдЕрдиреБрдХреВрд▓рд┐рдд рд╣реИред рдпрд╣ рдХреНрд╖рдорддрд╛ рд╡рд┐рд╕реНрддреГрдд рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╕рд╛рд░рд╛рдВрд╢рдг рдЬреИрд╕реЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ, рдЬрд╣рд╛рдБ рдкреВрд░реЗ рдкрд╛рда рдХреЛ рд╕рдордЭрдирд╛ рд╕рдЯреАрдХ рд╕рд╛рд░рд╛рдВрд╢ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЬрд╝рд░реВрд░реА рд╣реИред рдЗрд╕реА рддрд░рд╣, рд╡реНрдпрд╛рдкрдХ рдкреНрд░рд╢реНрдитАСрдЙрддреНрддрд░ рдФрд░ рд▓рдореНрдмреЗтАСрдлрд╝реЙрд░реНрдо рдХрдВрдЯреЗрдВрдЯ рдЬрдирд░реЗрд╢рди рдореЗрдВ, XGen рдХреА рдмрдбрд╝реА рдорд╛рддреНрд░рд╛ рдореЗрдВ рдЬрд╛рдирдХрд╛рд░реА рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рдиреЗ рдХреА рдХреНрд╖рдорддрд╛ рдЕрдзрд┐рдХ рд╕реБрд╕рдВрдЧрдд, рд╕рдВрджрд░реНрднрд╛рдиреБрдХреВрд▓ рдЖрдЙрдЯрдкреБрдЯ рджреЗрддреА рд╣реИред
Salesforce XGen 7B рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╡рд┐рд╡рд░рдг
рддреЛ, XGen рдпреЗ рдкреНрд░рднрд╛рд╡рд╢рд╛рд▓реА рдирддреАрдЬреЗ рдХреИрд╕реЗ рд╣рд╛рд╕рд┐рд▓ рдХрд░рддрд╛ рд╣реИ? рд╕реНрд╡рд╛рднрд╛рд╡рд┐рдХ рд╣реИ, рдЗрд╕рдХрд╛ рдЙрддреНрддрд░ Salesforce рдХреЗ AI рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рджреНрд╡рд╛рд░рд╛ рдЕрдкрдирд╛рдП рдЧрдП рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдФрд░ рдЕрдиреБрдХреВрд▓рди рддрд░реАрдХреЛрдВ рдореЗрдВ рдирд┐рд╣рд┐рдд рд╣реИред
XGen рдХреА рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд░рдгрдиреАрддрд┐ рджреЛ рдЪрд░рдгреЛрдВ рдореЗрдВ рдмрдВрдЯреА рд╣реИред рд╕реНрдЯреЗрдЬ 1 рдореЗрдВ, рдПрдХ рдирдпрд╛ рдореЙрдбрд▓ 1.37 рдЯреНрд░рд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛, рдЬрд┐рд╕рдореЗрдВ рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛ рдбреЗрдЯрд╛ рдФрд░ рдХреЛрдб рдХрд╛ рдорд┐рд╢реНрд░рдг рд╢рд╛рдорд┐рд▓ рдерд╛ред
рджреВрд╕рд░реЗ рдЪрд░рдг рдореЗрдВ, рдмреЗрд╣рддрд░ рдХреЛрдб рдЬрдирд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рдЕрддрд┐рд░рд┐рдХреНрдд 55 рдмрд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдХреЗ рдХреЛрдб рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛:
рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдЗрдитАСрд╣рд╛рдЙрд╕ рд▓рд╛рдЗрдмреНрд░реЗрд░реА JaxFormer рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдХрд┐рдпрд╛ рдЧрдпрд╛, рдЬрд┐рд╕реЗ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ TPUтАСv4 рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдкрд░ рдбреЗрдЯрд╛ рдФрд░ рдореЙрдбрд▓ рдкреИрд░реЗрд▓рд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рд╕рд╛рде рдХреБрд╢рд▓ LLM рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
XGen 7B рдХреА рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ рдФрд░ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди
рдЕрдкрдиреЗ рдЫреЛрдЯреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрд╛рд╡рдЬреВрдж, рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рд╣рд╛рдЬ рд╕реЗ XGen 7B рдЕрдм рднреА рдХрд╛рдлрд╝реА рдмрдбрд╝рд╛ рд╣реИред рдпрджрд┐ рдЖрдк рдЗрд╕реЗ рдХреНрд▓рд╛рдЙрдб рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреЗ рдмрд┐рдирд╛ рдЪрд▓рд╛рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ рд╣рд╛рдИтАСрдПрдВрдб рд▓реЛрдХрд▓ рдорд╢реАрдиреЛрдВ рдХреА рдЬрд╝рд░реВрд░рдд рд╣реЛрдЧреАред рдкреНрд░рд╛рдердорд┐рдХ рдЖрд╡рд╢реНрдпрдХрддрд╛ рдкрд░реНрдпрд╛рдкреНрдд рдмрдбрд╝реА RAM рд╣реИ тАФ 32 GB рд╕реЗ рдХрд╛рдлреА рдЕрдзрд┐рдХ тАФ рдХреНрдпреЛрдВрдХрд┐ рдореЙрдбрд▓ рдХреЛ HuggingFace рд╕реЗ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдореЗрдВ ~30 GB рд▓рдЧрддрд╛ рд╣реИред GPU рдХреЗ рд▓рд┐рдП, рдЬрд┐рддрдирд╛ рдмрдбрд╝рд╛ рдЙрддрдирд╛ рдмреЗрд╣рддрд░ред
рдпрджрд┐ рдЖрдкрдХреЗ PC рдореЗрдВ рдпреЗ рд╕реНрдкреЗрдХреНрд╕ рдирд╣реАрдВ рд╣реИрдВ, рддреЛ рд╕рдмрд╕реЗ рдХрд┐рдлрд╝рд╛рдпрддреА рд╡рд┐рдХрд▓реНрдк Colab Pro рд╣реИ, рдЬреЛ 40 GB RAM рдФрд░ 40GB GPU vRAM (A100s) рдХреЗ рд╕рд╛рде рдЖрддрд╛ рд╣реИред рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рдХреЗ рд▓рд┐рдП, рдореИрдВ Colab Pro рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛/рд░рд╣реА рд╣реВрдБ:
рд╕рдВрдЧрдд рдорд╢реАрди рд╕реЗрдЯрдЕрдк рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж, рдЕрдм рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдХрд╛ рд╕рдордп рд╣реИред рдпрджрд┐ рдЖрдк рд▓реЛрдХрд▓реА рдлреЙрд▓реЛ рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рд╕реНрдЯреЗрдк 0 рдПрдХ рд╡рд░реНрдЪреБрдЕрд▓ рдПрдирд╡рд╛рдпрд░рдирдореЗрдВрдЯ рдмрдирд╛рдирд╛ рд╣реИ:
$ conda create - n xgen - y
$ conda activate xgen
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
HuggingFace рд╕реЗ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдпрд╣ рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдХрд┐ GPUтАСрд╕рдкреЛрд░реНрдЯ рдХреЗ рд╕рд╛рде torch рдЗрдВрд╕реНрдЯреЙрд▓ рд╣реЛред рд╕рднреА рдЖрд╡рд╢реНрдпрдХ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрдорд╛рдВрдб рдпрд╣ рд╣реИ:
$ pip install torch torchvision torchaudio transformers[ torch]
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рд╣рдореЗрдВ рдмрд╛рдж рдореЗрдВ рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рд╕реНрдЯреЗрдк рдХреЗ рд▓рд┐рдП рдпреЗ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рднреА рдЪрд╛рд╣рд┐рдП рд╣реЛрдВрдЧреА:
$ pip install accelerate peft bitsandbytes trl datasets - - upgrade
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдХрд░реНрдиреЗрд▓ рд░реАрд╕реНрдЯрд╛рд░реНрдЯ рдХрд░рдирд╛ рди рднреВрд▓реЗрдВред
рдЙрдирдХреЗ рдЙрдкрдпреЛрдЧ рдкрд░ рдкрд╣реБрдБрдЪрддреЗ рд╣реА рдореИрдВ рд╣рд░ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреЛ рд╕рдордЭрд╛рдКрдБрдЧрд╛/рд╕рдордЭрд╛рдКрдБрдЧреАред
рдЕрдм, рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд╕реНрдирд┐рдкреЗрдЯ рдХреЗ рд╕рд╛рде рдкрд╣рд▓реА рдмрд╛рд░ рдореЙрдбрд▓ рдЪрд▓рд╛рддреЗ рд╣реИрдВред
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer. from_pretrained( "Salesforce/xgen-7b-8k-base" , trust_remote_code= True )
model = AutoModelForCausalLM. from_pretrained( "Salesforce/xgen-7b-8k-base" , torch_dtype= torch. bfloat16)
inputs = tokenizer( "DataCamp is one he ..." , return_tensors= "pt" )
sample = model. generate( ** inputs, max_length= 128 )
print ( tokenizer. decode( sample[ 0 ] ) )
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
AutoTokenizer рдХреНрд▓рд╛рд╕ 4098 рд▓рдВрдмрд╛рдИ рд╡рд╛рд▓реЗ рдореЙрдбрд▓ xgen-7b-4k-base рдХреЗ рд▓рд┐рдП рдСрдЯреЛтАСрдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░рддрд╛ рд╣реИред AutoModelForCausalLM рдХреНрд▓рд╛рд╕ рдЯреЗрдХреНрд╕реНрдЯ рдЬрдирд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рд▓реЛрдб рдХрд░рдиреЗ рд╣реЗрддреБ рд╣реИред
рд╣рдо inputs рдХреЗ рд░реВрдк рдореЗрдВ рдкреНрд░реЙрдореНрдкреНрдЯ рджреЗ рд░рд╣реЗ рд╣реИрдВ рдФрд░ model.generate рдХреЗ рдЕрдВрджрд░ рдЙрд╕реЗ рдЕрдирдкреИрдХ рдХрд░ 128 рдХреА рдЕрдзрд┐рдХрддрдо рдЯреЛрдХрди рд▓рдВрдмрд╛рдИ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░ рд░рд╣реЗ рд╣реИрдВред рдКрдкрд░ рдХрд╛ рдХреЛрдб рдкрд╣рд▓реА рдмрд╛рд░ рдЪрд▓рд╛рддреЗ рд╕рдордп рдХреБрдЫ рд╕рдордп рд▓реЗрдЧрд╛, рдХреНрдпреЛрдВрдХрд┐ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рд╣реЛрдирд╛ рд╣реИред
рдЕрдВрдд рдореЗрдВ рдореБрдЭреЗ рдпрд╣ рдЖрдЙрдЯрдкреБрдЯ рдорд┐рд▓рд╛:
DataCamp is one of the worldтАЩs leading providers of data science courses and training. . . рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдХреА рд╢реБрд░реБрдЖрдд рдареАрдХ рд╣реИ, рд▓реЗрдХрд┐рди рдЕрдВрдд рдХреА рдУрд░ рдзреАрд░реЗтАСрдзреАрд░реЗ рдЧрд┐рд░рд╛рд╡рдЯ рдЖрддреА рд╣реИред рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рд▓рд┐рдП рд╣рдореЗрдВ рдЗрд╕реЗ рдЯреНрдпреВрди рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред
Salesforce XGen 7B рдХрд╛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ
LLMs sklearn рдореЙрдбрд▓реЛрдВ рдЬреИрд╕реЗ рдирд╣реАрдВ рд╣реЛрддреЗ тАФ рдЬрд┐рдиреНрд╣реЗрдВ рдХреБрдЫ рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЗ рдХреЛрдб рдореЗрдВ рд╣рд╛рдЗрдкрд░рдкреИрд░рд╛рдореАрдЯрд░ рдЯреНрдпреВрди рдХрд░ рд▓реЗрдВред рдЗрд╕рд▓рд┐рдП, рд╣рдо XGen 7B рдХреЛ рдХрдИ рдЪрд░рдгреЛрдВ рдореЗрдВ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░реЗрдВрдЧреЗред рдореИрдВ рд╕реБрдЭрд╛рд╡ рджреВрдБрдЧрд╛/рджреВрдБрдЧреА рдХрд┐ рдЖрдк рд╣рд░ рд╕реНрдЯреЗрдк рдзреНрдпрд╛рди рд╕реЗ рд▓реЗрдВ, рдХреНрдпреЛрдВрдХрд┐ рдХрд╛рдлрд╝реА рд╡рд┐рд╡рд░рдг рд╣реЛрдВрдЧреЗред
рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ рдиреАрдЪреЗ рдмрддрд╛рдпрд╛ рдЧрдпрд╛ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ HuggingFace рдкрд░ рдореМрдЬреВрдж рдХрдИ LLMs рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░реЗрдЧрд╛, рдмрд╢рд░реНрддреЗ рдЖрдкрдХреЗ рдкрд╛рд╕ рдкрд░реНрдпрд╛рдкреНрдд рдХрдВрдкреНрдпреВрдЯ рдкрд╛рд╡рд░ рд╣реЛред
рдЪрд▓рд┐рдП рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВред
1. рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди
рд╣рдо рдпрд╣ рдЪрд░рдг рдкрд╣рд▓реЗ рдХрд╡рд░ рдХрд░ рдЪреБрдХреЗ рд╣реИрдВред рддреЛ, рдЖрдЗрдП рдЗрдВрд╕реНрдЯреЙрд▓ рдХреА рдЧрдИ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдФрд░ рдЙрдирдХреА рдЬрд╝рд░реВрд░рдд рдХрд╛ рд╕рдВрдХреНрд╖рд┐рдкреНрдд рдкреБрдирд░рд╛рд╡рд▓реЛрдХрди рдХрд░реЗрдВ:
torch: рдЯреЗрдВрд╕рд░ рдФрд░ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рдП PyTorch рд▓рд╛рдЗрдмреНрд░реЗрд░реА; GPU рдПрдХреНрд╕реЗрд▓рд░реЗрд╢рди рд╕рдХреНрд╖рдо рдХрд░рддреА рд╣реИред
transformers: Hugging Face рдХреА рдкреНрд░реАтАСрдЯреНрд░реЗрди NLP рдореЙрдбрд▓реЛрдВ рдХреА рд▓рд╛рдЗрдмреНрд░реЗрд░реАред
datasets: HuggingFace рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдЖрд╕рд╛рди рдбреЗрдЯрд╛ рд▓реЛрдбрд┐рдВрдЧ рдФрд░ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧред
accelerate: HuggingFace рдХреА рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рд▓рд╛рдЗрдмреНрд░реЗрд░реА, LLMs рдХреЗ рдбрд┐рд╕реНрдЯреНрд░рд┐рдмреНрдпреВрдЯреЗрдб рдЯреНрд░реЗрдирд┐рдВрдЧ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рддреА рд╣реИред
peft: LLM рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдЫреЛрдЯреЗ рд╣рд┐рд╕реНрд╕реЗ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХрд╛ рдкреИрдХреЗрдЬ, рдЬрд┐рд╕рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рддреЗрдЬрд╝ рд╣реЛрддрд╛ рд╣реИред
bitsandbytes: рдореЗрдореЛрд░реА рдФрд░ рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рджрдХреНрд╖рддрд╛ рдХреЗ рд▓рд┐рд╣рд╛рдЬрд╝ рд╕реЗ LLMs рдХреЗ рд▓рд┐рдП рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝реЗрд╢рди рд▓рд╛рдЗрдмреНрд░реЗрд░реАред
trl: RLHF (рдорд╛рдирд╡ рдлрд╝реАрдбрдмреИрдХ рдХреЗ рд╕рд╛рде рд░рд┐рдЗрдирдлреЛрд░реНрд╕рдореЗрдВрдЯ рд▓рд░реНрдирд┐рдВрдЧ) рд╕реЗ рдмрдбрд╝реЗ рдореЙрдбрд▓реЛрдВ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреА рддрдХрдиреАрдХреЗрдВред
рд╣рдо рдЙрдирдХреЗ рдЙрдкрдпреЛрдЧ рдкрд░ рдкрд╣реБрдБрдЪрддреЗ рд╣реА рд╣рд░ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреЗ рдлрд╝рд╛рдпрджреЗ рд╕рдордЭрд╛рдПрдБрдЧреЗред
2. рдЖрд╡рд╢реНрдпрдХ рдореЙрдбреНрдпреВрд▓ рдЖрдпрд╛рдд рдХрд░реЗрдВ
import os
import torch
from datasets import load_dataset
from transformers import (
AutoModelForCausalLM,
AutoTokenizer,
BitsAndBytesConfig,
TrainingArguments,
pipeline,
)
from peft import LoraConfig
from trl import SFTTrainer
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрд╣рд╛рдБ рд╣рдо рдЬрд┐рди рдирдИ рдХреНрд▓рд╛рд╕реЛрдВ рдФрд░ рдлрд╝рдВрдХреНрд╢рдиреЛрдВ рдХреЛ рдЖрдпрд╛рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рдЙрдирдХрд╛ рдПрдХ рдЕрд╡рд▓реЛрдХрди рд╣реИ:
BitsAndBytesConfig: рдмрд┐рдЯреНрд╕тАСрдПрдВрдбтАСрдмрд╛рдЗрдЯреНрд╕ рддрдХрдиреАрдХреЛрдВ рд╕реЗ рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЛ рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝ рдХрд░рдиреЗ рдХреА рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди, рдЬрд┐рд╕рд╕реЗ рдореЗрдореЛрд░реА рдФрд░ рдЧрдгрдирд╛ рджрдХреНрд╖рддрд╛ рдмрдврд╝рддреА рд╣реИред
TrainingArguments: рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ (рдЬреИрд╕реЗ рд▓рд░реНрдирд┐рдВрдЧ рд░реЗрдЯ, рдмреИрдЪ рд╕рд╛рдЗрдЬ) рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рддрд╛ рд╣реИред
pipeline: рдЯреЗрдХреНрд╕реНрдЯ рдЬрдирд░реЗрд╢рди рдЬреИрд╕реА рдЯрд╛рд╕реНрдХ рдкрд░ рдореЙрдбрд▓ рд▓рд╛рдЧреВ рдХрд░рдирд╛ рд╕рд░рд▓ рдмрдирд╛рддрд╛ рд╣реИред
LoraConfig: LoRA (LowтАСRank Adaptation ) рдХреЗ рд▓рд┐рдП рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди тАФ рдПрдХ рдкреИрд░рд╛рдореАрдЯрд░тАСрдЗрдлреАрд╢рд┐рдПрдВрдЯ рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рд╡рд┐рдзрд┐ рдЬреЛ рдореЙрдбрд▓ рдХреЛ рдЕрдкрдирд╛рдиреЗ рд╣реЗрддреБ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдЫреЛрдЯреЗ рд╕реЗрдЯ рдХреЛ рд╕рдорд╛рдпреЛрдЬрд┐рдд рдХрд░рддреА рд╣реИред
SFTTrainer: рд╕реБрдкрд░рд╡рд╛рдЗрдЬрд╝реНрдб рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ (SFT) рдХреЗ рд▓рд┐рдП рдЯреНрд░реЗрдирд░ рдХреНрд▓рд╛рд╕, рдЬреЛ рдорд╛рдирд╡ рдлрд╝реАрдбрдмреИрдХ рдпрд╛ рд▓реЗрдмрд▓реНрдб рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЛ рд╕реБрдЧрдо рдмрдирд╛рддреА рд╣реИред
3. рдмреЗрд╕ рдФрд░ рдЯреНрдпреВрди рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХреЗ рдХреЙрдиреНрдлрд╝рд┐рдЧреНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ
base_model = "Salesforce/xgen-7b-8k-base"
guanaco_dataset = "mlabonne/guanaco-llama2-1k"
new_model = "xgen-7b-8k-tuned"
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд▓рд┐рдП, рд╣рдо Guanaco LLaMA2 рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ, рдЬрд┐рд╕рдореЗрдВ 1000 рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдитАСрдЖрдЙрдЯрдкреБрдЯ рдкреЗрдпрд░реНрд╕ рд╣реИрдВ, рддрд╛рдХрд┐ LLMs рдХреЛ рдЗрдВрдЯрд░рдПрдХреНрдЯрд┐рд╡ рдФрд░ рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдирд▓ рдЯрд╛рд╕реНрдХ (рдЬреИрд╕реЗ рдЪреИрдЯрдмреЙрдЯреНрд╕) рдХреЗ рд▓рд┐рдП рдЯреНрдпреВрди рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред
4. рдбреЗрдЯрд╛ рд▓реЛрдб рдХрд░реЗрдВ
dataset = load_dataset( guanaco_dataset, split= "train" ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
HuggingFace рд╕реЗ рдбреЗрдЯрд╛ рд▓реЛрдб рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо load_dataset рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рдореЗрдВ рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рдкрд╛рде рдФрд░ рд╕реНрдкреНрд▓рд┐рдЯ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рддреЗ рд╣реИрдВред рд╣рдо рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рдирдореВрдиреЗ рдЯреЗрдХреНрд╕реНрдЯ рдлрд╝реЙрд░реНрдореЗрдЯ рдореЗрдВ рдмрджрд▓рдХрд░ рдФрд░ рдХреЛрдИ рд░реИрдВрдбрдо рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдитАСрдЖрдЙрдЯрдкреБрдЯ рдкреЗрдпрд░ рдЗрдВрдбреЗрдХреНрд╕ рдХрд░рдХреЗ рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ:
>> > dataset[ "text" ] [ 89 ]
< s> [ INST] In England, what vegetable is referred to as a rocket? [ / INST] The species name for "rocket" is "Eruca vesicaria" , and it's also sometimes called "eruca" .
However, other countries have different names for it:
* Arugula - America
* Garden Rocket or Rocket - Britain, Australia, South Africa, Ireland, New Zealand
Other names include "ruchetta" , "rucola" , "rucoli" , "rugula" , "colewoort" , and "roquette" .
The word transferred from Latin to Italian to English, which might explain the variants with similar pronunciation. < / s>
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
5. рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ
рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдореЗрдВ рдбреЗрдЯрд╛ рдХреЛ рджрд░реНрд╢рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреБрдХреНрдд рдмрд┐рдЯреНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛ рдШрдЯрд╛рдиреЗ рдХреА рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рддрдХрдиреАрдХ рд╣реИред рдпрд╣ рдореВрд▓ рдбреЗрдЯрд╛ рдХреЛ рдХрдо рдмрд┐рдЯреНрд╕ рдореЗрдВ рдЕрдиреБрдорд╛рдирд┐рдд рдХрд░рдХреЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдЕрдзрд┐рдХ рдХреЙрдореНрдкреИрдХреНрдЯ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдорд┐рд▓рддрд╛ рд╣реИред
рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рд╕реЗ рдореЙрдбрд▓ рдХрд╛ рдореЗрдореЛрд░реА рдлрд╝реБрдЯрдкреНрд░рд┐рдВрдЯ рдШрдЯрд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рджрдХреНрд╖рддрд╛ рд╕реБрдзрд░рддреА рд╣реИ рдФрд░ рдХрднреАтАСрдХрднреА рд╢реБрджреНрдзрддрд╛ рднреА рдмреЗрд╣рддрд░ рд╣реЛрддреА рд╣реИред
compute_dtype = torch. float16
quant_config = BitsAndBytesConfig(
load_in_4bit= True ,
bnb_4bit_quant_type= "nf4" ,
bnb_4bit_compute_dtype= compute_dta
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдкрд╣рд▓реЗ рд╣рдо compute_dtype рдХреЛ float16 рдкрд░ рд╕реЗрдЯ рдХрд░ рд╣рд░ рдЯреЗрдВрд╕рд░ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рддрдп рдХрд░рддреЗ рд╣реИрдВред рдлрд┐рд░ BitsAndBytesConfig рдХреЗ рдЬрд░рд┐рдП рдирд┐рдореНрди рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рддреЗ рд╣реИрдВ:
load_in_4bit=True: рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЗрдирдкреБрдЯ рдбреЗрдЯрд╛ 4 рдмрд┐рдЯреНрд╕ рдореЗрдВ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝ рд╣реЛрдЧрд╛ред
bnb_4bit_compute_dtype=compute_dtype: рдЧрдгрдирд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреБрдХреНрдд рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдКрдкрд░ рд╕реЗрдЯ float16 рд╣реИред
bnb_4bit_quant_type="nf4": 4тАСрдмрд┐рдЯ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдХрд╛ рдкреНрд░рдХрд╛рд░ рдмрддрд╛рддрд╛ рд╣реИ, рдпрд╣рд╛рдБ "nf4"ред
nf4 рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреНрд░рдХрд╛рд░ рдХрд╛ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рд╣реИ рдЬреЛ 4 рдмрд┐рдЯреНрд╕ рдХреЗ рд╕рд╛рде рдиреЙрдитАСрдпреВрдирд┐рдлрд╝реЙрд░реНрдо рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред рдХреБрдЫ рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ рдиреЙрдитАСрдпреВрдирд┐рдлрд╝реЙрд░реНрдо, рд╕рд╛рдзрд╛рд░рдг рдпреВрдирд┐рдлрд╝реЙрд░реНрдо рд╕реЗ рдмреЗрд╣рддрд░ рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
6. рдореЙрдбрд▓ рдФрд░ рдЙрд╕рдХреЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ
model = AutoModelForCausalLM. from_pretrained(
base_model,
quantization_config= quant_config,
device_map= "auto"
)
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрд╣ рдЪрд░рдг XGen рдХреЛ рдкреНрд░рд╛рд░рдВрднрд┐рдХ рдмрд╛рд░ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдЬреИрд╕рд╛ рд╣реА рд╣реИ, рдкрд░ рдЗрд╕ рдмрд╛рд░ рд╣рдо quantization_config рдореЗрдВ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд╛рд╕ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдФрд░ device_map рдХреЛ auto рдкрд░ рд╕реЗрдЯ рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддрд╛рдХрд┐ GPU рд╕реНрд╡рддрдГ рдЙрдкрдпреЛрдЧ рд╣реЛред
7. рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░реЗрдВ
tokenizer = AutoTokenizer. from_pretrained( base_model, trust_remote_code= True )
tokenizer. pad_token = tokenizer. eos_token
tokenizer. padding_side = "right"
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж, рд╣рдо рдкреИрдбреЗрдб рдЯреЛрдХрди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рддреЗ рд╣реИрдВред NLP рдореЗрдВ, рдкреИрдбреЗрдб рдЯреЛрдХрди рдРрд╕реЗ рд╡рд┐рд╢реЗрд╖ рдкреНрд░рддреАрдХ рд╣реЛрддреЗ рд╣реИрдВ рдЬрд┐рдирдХрд╛ рдЕрд░реНрде рдирд╣реАрдВ рд╣реЛрддрд╛, рдФрд░ рдЙрдиреНрд╣реЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдЗрдирдкреБрдЯ рдореЗрдВ рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИ рддрд╛рдХрд┐ рд╕рднреА рдЯреЛрдХрди рд╕рдорд╛рди рдЖрдХрд╛рд░ рдХреЗ рд╣реЛрдВред рд╕реНрдерд┐рд░ рдЖрдХрд╛рд░ рдХреЗ рдЯреЛрдХрди рдХрдИ NLP рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░реНрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреЗ рд╣реИрдВред
tokenizer.pad_token = tokenizer.eos_token рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдХреЗ рдкреИрдбрд┐рдВрдЧ рдЯреЛрдХрди рдХреЛ рд╡рд╛рдХреНрдптАСрд╕рдорд╛рдкреНрддрд┐ (EOS) рдЯреЛрдХрди рдХреЗ рд╕рдорд╛рди рд╕реЗрдЯ рдХрд░рддрд╛ рд╣реИред рдпрд╣ NLP рдореЗрдВ рдЖрдо рдкреНрд░рдЪрд▓рди рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рд╕реЗ рдореЙрдбрд▓ рд╡рд╛рдХреНрдп рдХреЗ рдЕрдВрдд рдФрд░ рдкреИрдбреЗрдб рдЯреЛрдХрди рдХреЗ рдмреАрдЪ рднреЗрдж рдХрд░ рд╕рдХрддрд╛ рд╣реИред tokenizer.padding_side = "right" рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдкреИрдбрд┐рдВрдЧ рдЗрдирдкреБрдЯ рд╕реАрдХреНрд╡реЗрдВрд╕ рдХреЗ рджрд╛рдПрдБ рдУрд░ рдЬреЛрдбрд╝реА рдЬрд╛рдПред
8. PEFT рдкреИрд░рд╛рдореАрдЯрд░реНрд╕
peft_params = LoraConfig(
lora_alpha= 16 ,
lora_dropout= 0.1 ,
r= 64 ,
bias= "none" ,
task_type= "CAUSAL_LM" ,
)
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдкреНрд░реАтАСрдЯреНрд░реЗрди LLMs рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд рдЕрдзрд┐рдХ рдбреЗрдЯрд╛ рдФрд░ рдХрдореНрдкреНрдпреВрдЯ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЬрд╝рд░реВрд░рдд рд╣реЛрддреА рд╣реИред ParameterтАСefficient FineтАСtuning (PEFT) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ, рд╣рдо рдХреБрд▓ рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдХреЗрд╡рд▓ рдПрдХ рд╣рд┐рд╕реНрд╕реЗ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рд░рдирдЯрд╛рдЗрдо рдореЗрдВ рдЙрд▓реНрд▓реЗрдЦрдиреАрдп рдХрдореА рдЖрддреА рд╣реИред рдЗрд╕ рддрдХрдиреАрдХ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╕реЗ рдкрдврд╝ рд╕рдХрддреЗ рд╣реИрдВред
LoraConfig рдХреНрд▓рд╛рд╕ LoRA (LowтАСRank Adaptation) рд╡рд┐рдзрд┐ рдХреА рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рд╕реЗрдЯ рдХрд░рддреА рд╣реИред LoRA, PEFT рдореЗрдВ рдЙрдкрдпреЛрдЧ рд╣реЛрдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреИрд░рд╛рдореАрдЯрд░рд╛рдЗрдЬрд╝реЗрд╢рди рд╣реИред рд╕рдордЧреНрд░ рд░реВрдк рд╕реЗ, рдКрдкрд░ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╕реНрдирд┐рдкреЗрдЯ LoRA рд▓реЗрдпрд░реНрд╕ рдХреА рдЕрдиреБрдХреВрд▓рдитАСрддрд╛рдХрдд, рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛ рдФрд░ рд▓реЗрдпрд░реНрд╕ рдХреЗ рдЕрдиреНрдп рдкрд╣рд▓реБрдУрдВ рдХреЛ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░рддрд╛ рд╣реИред
9. рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗрдЯ рдХрд░рдирд╛
training_params = TrainingArguments(
output_dir= "./results" ,
num_train_epochs= 1 ,
per_device_train_batch_size= 1 ,
gradient_accumulation_steps= 1 ,
optim= "paged_adamw_32bit" ,
learning_rate= 2e-4 ,
weight_decay= 0.001 ,
fp16= False ,
bf16= False ,
max_grad_norm= 0.3 ,
max_steps= - 1 ,
warmup_ratio= 0.03 ,
group_by_length= True ,
lr_scheduler_type= "constant" ,
)
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЕрдм рддрдХ рдкрд░рд┐рднрд╛рд╖рд┐рдд рд╕рднреА рдЪреАрдЬрд╝реЛрдВ рдХреЗ рдЕрд▓рд╛рд╡рд╛, XGen рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд▓рдЧрднрдЧ рджрд░реНрдЬрдирднрд░ рдФрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдЪрд╛рд╣рд┐рдПред рдЗрдирдореЗрдВ рдкрд░рд┐рдЪрд┐рдд рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдЬреИрд╕реЗ рд▓рд░реНрдирд┐рдВрдЧ рд░реЗрдЯ, рд▓рд░реНрдирд┐рдВрдЧ рд░реЗрдЯ рд╢реЗрдбреНрдпреВрд▓рд░реНрд╕, epochs рдХреА рд╕рдВрдЦреНрдпрд╛, рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝рд░ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ, рдФрд░ рдХреБрдЫ рдирдП рдЬреИрд╕реЗ warmup_ratio, fp16, bf16, weight_decay рдЖрджрд┐ред
рдлрд╝реЛрдХрд╕ рдмрдирд╛рдП рд░рдЦрдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЗрди рд╕рднреА рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХрд╛ рд╡рд┐рд╡рд░рдг рдпрд╣рд╛рдБ рдирд╣реАрдВ рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗ тАФ рдЗрдирдХреЗ рд▓рд┐рдП рдореИрдВ рдЖрдкрдХреЛ LLaMA2 рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдкрд░ рдЗрд╕ рдЙрддреНрдХреГрд╖реНрдЯ рд▓реЗрдЦ рдХреА рдУрд░ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рддрд╛/рдХрд░рддреА рд╣реВрдБред
10. рдЕрдм рдЯреНрдпреВрди рдХрд░реЗрдВ!
PEFT рдореЙрдбрд▓ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо trl рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреА SFTTrainer (Supervised fineтАСtuning) рдХреНрд▓рд╛рд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ, рдЬреЛ RLHF рдХрд╛ рдПрдХ рдкреНрд░рдореБрдЦ рдЪрд░рдг рд╣реИред
trainer = SFTTrainer(
model= model,
train_dataset= dataset,
peft_config= peft_params,
dataset_text_field= "text" ,
max_seq_length= None ,
tokenizer= tokenizer,
args= training_params,
packing= False ,
)
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЯреНрд░реЗрдирд░ рдХреЛ рдкреНрд░рд╛рд░рдВрдн рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЙрд╕реЗ рдореЙрдбрд▓, рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдбреЗрдЯрд╛рд╕реЗрдЯ, PEFT рдкреИрд░рд╛рдореАрдЯрд░реНрд╕, рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдФрд░ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рджреЗрддреЗ рд╣реИрдВред рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рд╢реБрд░реВ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдмрд╕ .train() рдХреЙрд▓ рдХрд░рдирд╛ рд╣реИ:
trainer. train( )
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ (рд╡рд┐рд╢реЗрд╖рдХрд░ epochs рдХреА рд╕рдВрдЦреНрдпрд╛) рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддреЗ рд╣реБрдП, рдкреНрд░рд╢рд┐рдХреНрд╖рдг 15 рдорд┐рдирдЯ рд╕реЗ рд▓реЗрдХрд░ рдХрдИ рдШрдВрдЯреЛрдВ рддрдХ рд▓реЗ рд╕рдХрддрд╛ рд╣реИред
11. рдореВрд▓реНрдпрд╛рдВрдХрди
рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреВрд░рд╛ рд╣реЛрдиреЗ рдкрд░, рд╣рдо рдЕрдкрдиреЗ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:
prompt = "Who wrote Python?"
pipe = pipeline( task= "text-generation" , model= model, tokenizer= tokenizer, max_length= 200 )
result = pipe( f"<s>[INST] { prompt} [/INST]" )
print ( result[ 0 ] [ 'generated_text' ] )
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдкреНрд░реЙрдореНрдкреНрдЯ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд┐рдП рдЧрдП model рдХреЛ рджреЗрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рд╣рдо рдкрд╣рд▓реЗ model рдФрд░ tokenizer рдХреЛ pipeline рдореЗрдВ рдкрд╛рд╕ рдХрд░рддреЗ рд╣реИрдВред pipeline рдлрд╝рдВрдХреНрд╢рди рдкреНрд░реАтАСрдЯреНрд░реЗрди рдореЙрдбрд▓ рд▓реЛрдб рдХрд░рдиреЗ, рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдХреЗ рд╕рд╛рде рдЗрдирдкреБрдЯ рдХреЛ рдкреНрд░реАтАСрдкреНрд░реЛрд╕реЗрд╕ рдХрд░рдиреЗ рдФрд░ рдпрджрд┐ рдХреЛрдИ рд╣реЛрдВ рддреЛ рдЬреЗрдирд░реЗрдЯ рдХрд┐рдП рдЧрдП рдЯреЗрдХреНрд╕реНрдЯ рдкрд░ рдХрд╕реНрдЯрдо рдкреЛрд╕реНрдЯтАСрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рд╕реНрдЯреЗрдк рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдХреЗ рдХрд╛рдо рдЖрддрд╛ рд╣реИред
рдКрдкрд░, рд╣рдо рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХреЛ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдлрд╝реЙрд░реНрдореИрдЯ рдХрд┐рдП рдЧрдП рдкреНрд░реЙрдореНрдкреНрдЯ рдХреЗ рд╕рд╛рде рдЪрд▓рд╛ рд░рд╣реЗ рд╣реИрдВ, рдЬрд┐рд╕реЗ <s>[INST] {prompt} [/INST] рдореЗрдВ рд░реИрдк рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ тАФ рдареАрдХ рд╡реИрд╕реЗ рд╣реА рдЬреИрд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рджреМрд░рд╛рди рдирд┐рд░реНрджреЗрд╢ рдереЗред рдкрд░рд┐рдгрд╛рдо рдпрд╣ рд╣реИ:
< s> [ INST] Who wrote Python? [ / INST] Python was created by Guido van Rossum, a Dutch computer programmer. He started working on the language in the late 1980s and released the first version in 1991. < / s>
Python is a high- level, general- purpose programming language that is widely used in various fields, including data science, machine learning, and web development. It is known for its readability, flexibility, and ease of use, making it a popular choice for beginners and experienced developers alike. < / s>
Python is an open - source language, meaning that anyone can access and modify the source code, making it a popular choice for developers who want to contribute to the community. < / s> . . .
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
12. рдореЙрдбрд▓ рдФрд░ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд╕рд╣реЗрдЬреЗрдВ
рдЬрдм рд╣рдо рдЕрдкрдиреЗ рдореЙрдбрд▓ рд╕реЗ рд╕рдВрддреБрд╖реНрдЯ рд╣реЛрдВ, рддреЛ рдЕрдВрддрддрдГ рдЗрд╕реЗ рд╕рд╣реЗрдЬрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
trainer. model. save_pretrained( new_model)
trainer. tokenizer. save_pretrained( new_model)
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЖрдк рдЗрд╕реЗ рдлрд┐рд░ рд╕реЗ AutoModelForCausalLM рдХреНрд▓рд╛рд╕ рдХреЗ рдЬрд░рд┐рдП рд▓реЛрдб рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:
fine_tuned_xgen = AutoModelForCausalLM. from_pretrained( new_model, . . . )
рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдирд┐рд╖реНрдХрд░реНрд╖
Salesforce рдХреЗ XGen 7B рдЬреИрд╕реЗ рдмрдбрд╝реЗ рднрд╛рд╖рд╛ рдореЙрдбрд▓ (LLMs) рдХреЗ рд╕рд╛рде рд╢реБрд░реБрдЖрдд рдХрд░рдирд╛ рдЖрд╕рд╛рди рд╣реИ, рд▓реЗрдХрд┐рди рдЙрдиреНрд╣реЗрдВ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЗ рдЕрдиреБрд░реВрдк рдмрдирд╛рдирд╛ рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рд╣реИред рдЫреЛрдЯреЗ рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдирд▓ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ XGen 7B рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХрд╛ рд╣рдорд╛рд░рд╛ рдЕрдиреБрднрд╡ рдЗрд╕реА рдЪреБрдиреМрддреА рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИред рд╡рд┐рднрд┐рдиреНрди рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рд╣реЗрддреБ рдкреНрд░рд╛рд╕рдВрдЧрд┐рдХ рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ (Hugging Face рдХреА datasets рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдЙрдкрд▓рдмреНрдз) рдФрд░ рдРрд╕реЗ рдХрдореНрдкреНрдпреВрдЯ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ рдЬреЛ 7 рдмрд┐рд▓рд┐рдпрди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╡рд╛рд▓реЗ рдореЙрдбрд▓ рдХреЛ рдЙрди рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд╕рдХреЗрдВред
рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рдирд┐рдореНрди рдЪрд░рдгреЛрдВ рдореЗрдВ рд╕рдВрдХреНрд╖реЗрдкрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рдХреА рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди
рдЖрд╡рд╢реНрдпрдХ рдореЙрдбреНрдпреВрд▓ рдЖрдпрд╛рдд рдХрд░рдирд╛
рдЧреНрд▓реЛрдмрд▓ рдХреЙрдиреНрдлрд╝рд┐рдЧреНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛
рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛рд╕реЗрдЯ рд▓реЛрдб рдХрд░рдирд╛
bitsandbytes рдХреЗ рд╕рд╛рде рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛
transformers рдХреЗ рдЬрд░рд┐рдП рдореЙрдбрд▓ рдФрд░ рдЙрд╕рдХреЗ рдЗрдирд┐рдЯ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛
рдореЙрдбрд▓ рдХреЗ рдЕрдиреБрд░реВрдк рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░рдирд╛
LoraConfig рдХреЗ рд╕рд╛рде LoRA рд▓реЗрдпрд░реНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ PEFT рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛
transformers рдХреЗ рдЬрд░рд┐рдП рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗрдЯ рдХрд░рдирд╛
trl рдХреЗ SFTTrainer рд╕реЗ рдореЙрдбрд▓ рдЯреНрдпреВрди рдХрд░рдирд╛
рд╕реИрдВрдкрд▓ рдкреНрд░реЙрдореНрдкреНрдЯреНрд╕ рд╕реЗ рдореЙрдбрд▓ рдХрд╛ рдкрд░реАрдХреНрд╖рдг/рдореВрд▓реНрдпрд╛рдВрдХрди
рдмрд╛рдж рдореЗрдВ рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдФрд░ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд╕рд╣реЗрдЬрдирд╛
рдпрджрд┐ рдХреБрдЫ рдЕрд╡рдзрд╛рд░рдгрд╛рдПрдБ рдпрд╛ рдХреЛрдб рд╕реНрдирд┐рдкреЗрдЯ рдЕрдм рднреА рдЕрдкрд░рд┐рдЪрд┐рдд рдпрд╛ рдзреБрдБрдзрд▓реЗ рд▓рдЧрддреЗ рд╣реИрдВ, рддреЛ рдореИрдВ рдЗрди рдЙрддреНрдХреГрд╖реНрдЯ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЕрдиреБрд╢рдВрд╕рд╛ рдХрд░рддрд╛/рдХрд░рддреА рд╣реВрдБ:
рдкрдврд╝рдиреЗ рдХреЗ рд▓рд┐рдП рдзрдиреНрдпрд╡рд╛рдж!
рдЗрд╕ рд╕рдордп, рдпреЗ рдЫрд╣ рдХреБрдЫ рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп рдУрдкрдитАСрд╕реЛрд░реНрд╕ LLMs рд╣реИрдВ:
рдФрд░ рд╕рднреА рдореЗрдВ рдПрдХ рд╣реА рдХрдореА рд╣реИтАКтАФтАКрдмрд╣реБрдд рдЫреЛрдЯреА рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ, рдЬреЛ рдЕрдзрд┐рдХрддрдо 2048 рдЯреЛрдХрди рддрдХ рд╣реА рдкрд╣реБрдБрдЪрддреА рд╣реИред рд╕реНрд╡рд╛рдорд┐рддреНрд╡ рд╡рд╛рд▓реЗ рдореЙрдбрд▓реЛрдВ рдЬреИрд╕реЗ GPT-3.5 рдФрд░ GPT-4 рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, рдЬреЛ 32k рдЯреЛрдХрди (рд▓рдЧрднрдЧ 50 рдкреЗрдЬ рдХреЗ рдкрд╛рда) рддрдХ рдХреА рд▓рдВрдмрд╛рдИ рджреЗрддреЗ рд╣реИрдВ, рдУрдкрдитАСрд╕реЛрд░реНрд╕ LLMs рднрд╛рд░реА рдкрд┐рдЫрдбрд╝рддреЗ рджрд┐рдЦрддреЗ рд╣реИрдВред
рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ рдореВрд▓ рд░реВрдк рд╕реЗ LLMs рдХреА тАЬрдореЗрдореЛрд░реАтАЭ рд╣реИред 2048тАСрдЯреЛрдХрди рд╡рд┐рдВрдбреЛ рдХрд╛ рдорддрд▓рдм рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдПрдХ рд╕рдордп рдореЗрдВ рдмрд╛рддрдЪреАрдд рдХреЗ рдХреЗрд╡рд▓ 2048 рдЯреЛрдХрди рд╣реА тАЬрдпрд╛рджтАЭ рд░рдЦ рд╕рдХрддрд╛ рд╣реИред рдпрд╣ рдЙрди рдХрд╛рд░реНрдпреЛрдВ рдореЗрдВ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдХрд╛рдлреА рдкреНрд░рднрд╛рд╡рд┐рдд рдХрд░рддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рдмрдбрд╝рд╛ рд╕рдВрджрд░реНрдн рдирд┐рд░реНрдгрд╛рдпрдХ рд╣реЛрддрд╛ рд╣реИ тАФ рдЬреИрд╕реЗ рд╕рд╛рд░рд╛рдВрд╢рдг, рдЕрдиреБрд╡рд╛рдж, рдХреЛрдб рдЬрдирд░реЗрд╢рди рдЖрджрд┐ред
рдЗрд╕ рдЕрд╣рдо рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рдорд╛рдзрд╛рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, Salesforce рдиреЗ XGen-7B рдореЙрдбрд▓ рдХреА рдШреЛрд╖рдгрд╛ рдХреА, рдЬрд┐рд╕рдореЗрдВ 8k рдЯреЛрдХрди рдХреА рд╢рд╛рдирджрд╛рд░ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ рд╣реИ (рдЕрдиреНрдп рд╕рдорд╛рди LLMs рд╕реЗ 4 рдЧреБрдирд╛ рдЕрдзрд┐рдХ)ред рдпрд╣ рд▓реЗрдЦ рдореЙрдбрд▓ рдХреА рдкреНрд░рдореБрдЦ рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХреЛ рдХрд╡рд░ рдХрд░рддрд╛ рд╣реИ рдФрд░ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдХрд┐ рдЗрд╕реЗ рдПрдХ рд╕реИрдВрдкрд▓ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рдХреИрд╕реЗ рдЙрдкрдпреЛрдЧ рдФрд░ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд┐рдпрд╛ рдЬрд╛рдПред
XGen 7B рдХреНрдпреЛрдВ рдЪреБрдиреЗрдВ?
рдЬреНрдпрд╛рджрд╛рддрд░ рд▓реЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП, рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд▓рдВрдмрд╛рдИ рдЬреИрд╕реА рд╕рдВрдЦреНрдпрд╛рдПрдБ рддрдм рддрдХ рдорд╛рдпрдиреЗ рдирд╣реАрдВ рд░рдЦрддреАрдВ, рдЬрдм рддрдХ рд╡реЗ рдареЛрд╕ рд▓рд╛рднреЛрдВ рдореЗрдВ рдЕрдиреБрд╡рд╛рдж рди рд╣реЛ рдЬрд╛рдПрдБред рддреЛ, рдпрд╣рд╛рдБ рдЗрд╕рдХреА рдХреБрдЫ рдореБрдЦреНрдп рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдБ рдФрд░ рд╡реЗ рдЖрдкрдХреЗ рдкреНрд░реЛрдЬреЗрдХреНрдЯреНрд╕ рдкрд░ рдХреНрдпрд╛ рдкреНрд░рднрд╛рд╡ рдбрд╛рд▓ рд╕рдХрддреА рд╣реИрдВ:
рдХреЙрдореНрдкреИрдХреНрдЯ, рдкрд░ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА
рд╕рд┐рд░реНрдл 7 рдмрд┐рд▓рд┐рдпрди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдЕрдкреЗрдХреНрд╖рд╛рдХреГрдд рдЫреЛрдЯреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрд╛рд╡рдЬреВрдж, XGen рдЕрдкрдиреА рдХреНрд╖рдорддрд╛ рд╕реЗ рдХрд╣реАрдВ рдЕрдзрд┐рдХ рдкреНрд░рджрд░реНрд╢рди рджреЗрддрд╛ рд╣реИтАКтАФтАКрдЬреЛ рдЕрдХреНрд╕рд░ рдХрд╣реАрдВ рдмрдбрд╝реЗ рдореЙрдбрд▓реЛрдВ рдХреЗ рдмрд░рд╛рдмрд░ рдпрд╛ рдмреЗрд╣рддрд░ рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рджрдХреНрд╖рддрд╛ рдбреЗрд╡рд▓рдкрд░реНрд╕ рдФрд░ рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдЧреЗрдотАСрдЪреЗрдВрдЬрд░ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рд╕реЗ рд╣рд╛рдИтАСрдПрдВрдб рд▓реЛрдХрд▓ рдорд╢реАрдиреЛрдВ рдкрд░ рд╣реА рдЕрддреНрдпрд╛рдзреБрдирд┐рдХ AI рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдЪрд▓рд╛рдирд╛ рдФрд░ рддреИрдирд╛рдд рдХрд░рдирд╛ рд╕рдВрднрд╡ рд╣реЛрддрд╛ рд╣реИ, рдмрд┐рдирд╛ рдмрдбрд╝реЗ рдХреНрд▓рд╛рдЙрдб рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдкрд░ рдирд┐рд░реНрднрд░ рд░рд╣реЗред рдЖрдХрд╛рд░ рдФрд░ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рдЗрд╕ рд╕рдВрддреБрд▓рди рдХреЗ рдХрд╛рд░рдг XGen рд╕реНрдЯрд╛рд░реНрдЯрдЕрдкреНрд╕ рд╕реЗ рд▓реЗрдХрд░ рд╢реИрдХреНрд╖рдгрд┐рдХ рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рддрдХ, рд╡реНрдпрд╛рдкрдХ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕рдореВрд╣ рдХреЗ рд▓рд┐рдП рдЦрд╛рд╕рд╛ рдЖрдХрд░реНрд╖рдХ рд╣реИред
рдмрд╣реБрдЙрджреНрджреЗрд╢реАрдп рдореЙрдбрд▓ рд╡реЗрд░рд┐рдПрдВрдЯ
рд╡рд┐рднрд┐рдиреНрди рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЛ рд╕рдордЭрддреЗ рд╣реБрдП, XGen рддреАрди рд╕рдВрд╕реНрдХрд░рдг рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рд╣реИрдВ:
рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдкрд░ рдЙрдЪреНрдЪ рдкреНрд░рджрд░реНрд╢рди
рдореЙрдбрд▓ рдХреА рд╡рд╛рд╕реНрддрд╡рд┐рдХ рддрд╛рдХрдд рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдореЗрдВ рдЭрд▓рдХрддреА рд╣реИред XGen рд╕рдорд╛рди рдЖрдХрд╛рд░ рдХреЗ рдореЙрдбрд▓реЛрдВ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ MMLU, HumanEval рдЖрджрд┐ рдЬреИрд╕реЗ рд╡рд┐рд╡рд┐рдз рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдкрд░ рд╢реАрд░реНрд╖ рдкрд░ рд░рд╣рддрд╛ рд╣реИред рд╡рд┐рд╕реНрддреГрдд рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рд▓рд┐рдП, рдШреЛрд╖рдгрд╛ рдкреЛрд╕реНрдЯ XGen рдХреА рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдЙрдкрд▓рдмреНрдзрд┐рдпреЛрдВ рдХрд╛ рд╕рдордЧреНрд░ рдЕрд╡рд▓реЛрдХрди рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред
рд▓рдВрдмреА рдЕрдиреБрдХреНрд░рдо рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓рд┐рдд
рджреЛрд╣рд░рд╛рд╡ рдХрд╛ рдЬреЛрдЦрд┐рдо рд▓реЗрддреЗ рд╣реБрдП, рдлрд┐рд░ рднреА рдХрд╣рдирд╛ рд╣реЛрдЧрд╛ рдХрд┐ XGen рдмрдбрд╝реЗ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд╡рд┐рдВрдбреЛ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╡рд╛рд▓реЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрддреНрдпрдзрд┐рдХ рдЕрдиреБрдХреВрд▓рд┐рдд рд╣реИред рдпрд╣ рдХреНрд╖рдорддрд╛ рд╡рд┐рд╕реНрддреГрдд рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╕рд╛рд░рд╛рдВрд╢рдг рдЬреИрд╕реЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ, рдЬрд╣рд╛рдБ рдкреВрд░реЗ рдкрд╛рда рдХреЛ рд╕рдордЭрдирд╛ рд╕рдЯреАрдХ рд╕рд╛рд░рд╛рдВрд╢ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЬрд╝рд░реВрд░реА рд╣реИред рдЗрд╕реА рддрд░рд╣, рд╡реНрдпрд╛рдкрдХ рдкреНрд░рд╢реНрдитАСрдЙрддреНрддрд░ рдФрд░ рд▓рдореНрдмреЗтАСрдлрд╝реЙрд░реНрдо рдХрдВрдЯреЗрдВрдЯ рдЬрдирд░реЗрд╢рди рдореЗрдВ, XGen рдХреА рдмрдбрд╝реА рдорд╛рддреНрд░рд╛ рдореЗрдВ рдЬрд╛рдирдХрд╛рд░реА рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рдиреЗ рдХреА рдХреНрд╖рдорддрд╛ рдЕрдзрд┐рдХ рд╕реБрд╕рдВрдЧрдд, рд╕рдВрджрд░реНрднрд╛рдиреБрдХреВрд▓ рдЖрдЙрдЯрдкреБрдЯ рджреЗрддреА рд╣реИред
Salesforce XGen 7B рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╡рд┐рд╡рд░рдг
рддреЛ, XGen рдпреЗ рдкреНрд░рднрд╛рд╡рд╢рд╛рд▓реА рдирддреАрдЬреЗ рдХреИрд╕реЗ рд╣рд╛рд╕рд┐рд▓ рдХрд░рддрд╛ рд╣реИ? рд╕реНрд╡рд╛рднрд╛рд╡рд┐рдХ рд╣реИ, рдЗрд╕рдХрд╛ рдЙрддреНрддрд░ Salesforce рдХреЗ AI рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рджреНрд╡рд╛рд░рд╛ рдЕрдкрдирд╛рдП рдЧрдП рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдФрд░ рдЕрдиреБрдХреВрд▓рди рддрд░реАрдХреЛрдВ рдореЗрдВ рдирд┐рд╣рд┐рдд рд╣реИред
XGen рдХреА рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд░рдгрдиреАрддрд┐ рджреЛ рдЪрд░рдгреЛрдВ рдореЗрдВ рдмрдВрдЯреА рд╣реИред рд╕реНрдЯреЗрдЬ 1 рдореЗрдВ, рдПрдХ рдирдпрд╛ рдореЙрдбрд▓ 1.37 рдЯреНрд░рд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛, рдЬрд┐рд╕рдореЗрдВ рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛ рдбреЗрдЯрд╛ рдФрд░ рдХреЛрдб рдХрд╛ рдорд┐рд╢реНрд░рдг рд╢рд╛рдорд┐рд▓ рдерд╛ред
рджреВрд╕рд░реЗ рдЪрд░рдг рдореЗрдВ, рдмреЗрд╣рддрд░ рдХреЛрдб рдЬрдирд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рдЕрддрд┐рд░рд┐рдХреНрдд 55 рдмрд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдХреЗ рдХреЛрдб рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛:
рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдЗрдитАСрд╣рд╛рдЙрд╕ рд▓рд╛рдЗрдмреНрд░реЗрд░реА JaxFormer рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдХрд┐рдпрд╛ рдЧрдпрд╛, рдЬрд┐рд╕реЗ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ TPUтАСv4 рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдкрд░ рдбреЗрдЯрд╛ рдФрд░ рдореЙрдбрд▓ рдкреИрд░реЗрд▓рд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рд╕рд╛рде рдХреБрд╢рд▓ LLM рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
XGen 7B рдХреА рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛рдПрдБ рдФрд░ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди
рдЕрдкрдиреЗ рдЫреЛрдЯреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрд╛рд╡рдЬреВрдж, рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рд╣рд╛рдЬ рд╕реЗ XGen 7B рдЕрдм рднреА рдХрд╛рдлрд╝реА рдмрдбрд╝рд╛ рд╣реИред рдпрджрд┐ рдЖрдк рдЗрд╕реЗ рдХреНрд▓рд╛рдЙрдб рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреЗ рдмрд┐рдирд╛ рдЪрд▓рд╛рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ рд╣рд╛рдИтАСрдПрдВрдб рд▓реЛрдХрд▓ рдорд╢реАрдиреЛрдВ рдХреА рдЬрд╝рд░реВрд░рдд рд╣реЛрдЧреАред рдкреНрд░рд╛рдердорд┐рдХ рдЖрд╡рд╢реНрдпрдХрддрд╛ рдкрд░реНрдпрд╛рдкреНрдд рдмрдбрд╝реА RAM рд╣реИ тАФ 32 GB рд╕реЗ рдХрд╛рдлреА рдЕрдзрд┐рдХ тАФ рдХреНрдпреЛрдВрдХрд┐ рдореЙрдбрд▓ рдХреЛ HuggingFace рд╕реЗ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдореЗрдВ ~30 GB рд▓рдЧрддрд╛ рд╣реИред GPU рдХреЗ рд▓рд┐рдП, рдЬрд┐рддрдирд╛ рдмрдбрд╝рд╛ рдЙрддрдирд╛ рдмреЗрд╣рддрд░ред
рдпрджрд┐ рдЖрдкрдХреЗ PC рдореЗрдВ рдпреЗ рд╕реНрдкреЗрдХреНрд╕ рдирд╣реАрдВ рд╣реИрдВ, рддреЛ рд╕рдмрд╕реЗ рдХрд┐рдлрд╝рд╛рдпрддреА рд╡рд┐рдХрд▓реНрдк Colab Pro рд╣реИ, рдЬреЛ 40 GB RAM рдФрд░ 40GB GPU vRAM (A100s) рдХреЗ рд╕рд╛рде рдЖрддрд╛ рд╣реИред рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рдХреЗ рд▓рд┐рдП, рдореИрдВ Colab Pro рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛/рд░рд╣реА рд╣реВрдБ:
рд╕рдВрдЧрдд рдорд╢реАрди рд╕реЗрдЯрдЕрдк рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж, рдЕрдм рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдХрд╛ рд╕рдордп рд╣реИред рдпрджрд┐ рдЖрдк рд▓реЛрдХрд▓реА рдлреЙрд▓реЛ рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рд╕реНрдЯреЗрдк 0 рдПрдХ рд╡рд░реНрдЪреБрдЕрд▓ рдПрдирд╡рд╛рдпрд░рдирдореЗрдВрдЯ рдмрдирд╛рдирд╛ рд╣реИ:
HuggingFace рд╕реЗ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдпрд╣ рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдХрд┐ GPUтАСрд╕рдкреЛрд░реНрдЯ рдХреЗ рд╕рд╛рде
torchрдЗрдВрд╕реНрдЯреЙрд▓ рд╣реЛред рд╕рднреА рдЖрд╡рд╢реНрдпрдХ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрдорд╛рдВрдб рдпрд╣ рд╣реИ:рд╣рдореЗрдВ рдмрд╛рдж рдореЗрдВ рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рд╕реНрдЯреЗрдк рдХреЗ рд▓рд┐рдП рдпреЗ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рднреА рдЪрд╛рд╣рд┐рдП рд╣реЛрдВрдЧреА:
рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдХрд░реНрдиреЗрд▓ рд░реАрд╕реНрдЯрд╛рд░реНрдЯ рдХрд░рдирд╛ рди рднреВрд▓реЗрдВред
рдЙрдирдХреЗ рдЙрдкрдпреЛрдЧ рдкрд░ рдкрд╣реБрдБрдЪрддреЗ рд╣реА рдореИрдВ рд╣рд░ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреЛ рд╕рдордЭрд╛рдКрдБрдЧрд╛/рд╕рдордЭрд╛рдКрдБрдЧреАред
рдЕрдм, рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд╕реНрдирд┐рдкреЗрдЯ рдХреЗ рд╕рд╛рде рдкрд╣рд▓реА рдмрд╛рд░ рдореЙрдбрд▓ рдЪрд▓рд╛рддреЗ рд╣реИрдВред
AutoTokenizerрдХреНрд▓рд╛рд╕ 4098 рд▓рдВрдмрд╛рдИ рд╡рд╛рд▓реЗ рдореЙрдбрд▓xgen-7b-4k-baseрдХреЗ рд▓рд┐рдП рдСрдЯреЛтАСрдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░рддрд╛ рд╣реИредAutoModelForCausalLMрдХреНрд▓рд╛рд╕ рдЯреЗрдХреНрд╕реНрдЯ рдЬрдирд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рд▓реЛрдб рдХрд░рдиреЗ рд╣реЗрддреБ рд╣реИредрд╣рдо
inputsрдХреЗ рд░реВрдк рдореЗрдВ рдкреНрд░реЙрдореНрдкреНрдЯ рджреЗ рд░рд╣реЗ рд╣реИрдВ рдФрд░model.generateрдХреЗ рдЕрдВрджрд░ рдЙрд╕реЗ рдЕрдирдкреИрдХ рдХрд░ 128 рдХреА рдЕрдзрд┐рдХрддрдо рдЯреЛрдХрди рд▓рдВрдмрд╛рдИ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░ рд░рд╣реЗ рд╣реИрдВред рдКрдкрд░ рдХрд╛ рдХреЛрдб рдкрд╣рд▓реА рдмрд╛рд░ рдЪрд▓рд╛рддреЗ рд╕рдордп рдХреБрдЫ рд╕рдордп рд▓реЗрдЧрд╛, рдХреНрдпреЛрдВрдХрд┐ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рд╣реЛрдирд╛ рд╣реИредрдЕрдВрдд рдореЗрдВ рдореБрдЭреЗ рдпрд╣ рдЖрдЙрдЯрдкреБрдЯ рдорд┐рд▓рд╛:
рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдХреА рд╢реБрд░реБрдЖрдд рдареАрдХ рд╣реИ, рд▓реЗрдХрд┐рди рдЕрдВрдд рдХреА рдУрд░ рдзреАрд░реЗтАСрдзреАрд░реЗ рдЧрд┐рд░рд╛рд╡рдЯ рдЖрддреА рд╣реИред рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рд▓рд┐рдП рд╣рдореЗрдВ рдЗрд╕реЗ рдЯреНрдпреВрди рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред
Salesforce XGen 7B рдХрд╛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ
LLMs
sklearnрдореЙрдбрд▓реЛрдВ рдЬреИрд╕реЗ рдирд╣реАрдВ рд╣реЛрддреЗ тАФ рдЬрд┐рдиреНрд╣реЗрдВ рдХреБрдЫ рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЗ рдХреЛрдб рдореЗрдВ рд╣рд╛рдЗрдкрд░рдкреИрд░рд╛рдореАрдЯрд░ рдЯреНрдпреВрди рдХрд░ рд▓реЗрдВред рдЗрд╕рд▓рд┐рдП, рд╣рдо XGen 7B рдХреЛ рдХрдИ рдЪрд░рдгреЛрдВ рдореЗрдВ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░реЗрдВрдЧреЗред рдореИрдВ рд╕реБрдЭрд╛рд╡ рджреВрдБрдЧрд╛/рджреВрдБрдЧреА рдХрд┐ рдЖрдк рд╣рд░ рд╕реНрдЯреЗрдк рдзреНрдпрд╛рди рд╕реЗ рд▓реЗрдВ, рдХреНрдпреЛрдВрдХрд┐ рдХрд╛рдлрд╝реА рд╡рд┐рд╡рд░рдг рд╣реЛрдВрдЧреЗредрдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ рдиреАрдЪреЗ рдмрддрд╛рдпрд╛ рдЧрдпрд╛ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ HuggingFace рдкрд░ рдореМрдЬреВрдж рдХрдИ LLMs рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░реЗрдЧрд╛, рдмрд╢рд░реНрддреЗ рдЖрдкрдХреЗ рдкрд╛рд╕ рдкрд░реНрдпрд╛рдкреНрдд рдХрдВрдкреНрдпреВрдЯ рдкрд╛рд╡рд░ рд╣реЛред
рдЪрд▓рд┐рдП рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВред
1. рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди
рд╣рдо рдпрд╣ рдЪрд░рдг рдкрд╣рд▓реЗ рдХрд╡рд░ рдХрд░ рдЪреБрдХреЗ рд╣реИрдВред рддреЛ, рдЖрдЗрдП рдЗрдВрд╕реНрдЯреЙрд▓ рдХреА рдЧрдИ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдФрд░ рдЙрдирдХреА рдЬрд╝рд░реВрд░рдд рдХрд╛ рд╕рдВрдХреНрд╖рд┐рдкреНрдд рдкреБрдирд░рд╛рд╡рд▓реЛрдХрди рдХрд░реЗрдВ:
torch:рдЯреЗрдВрд╕рд░ рдФрд░ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рдП PyTorch рд▓рд╛рдЗрдмреНрд░реЗрд░реА; GPU рдПрдХреНрд╕реЗрд▓рд░реЗрд╢рди рд╕рдХреНрд╖рдо рдХрд░рддреА рд╣реИредtransformers:Hugging Face рдХреА рдкреНрд░реАтАСрдЯреНрд░реЗрди NLP рдореЙрдбрд▓реЛрдВ рдХреА рд▓рд╛рдЗрдмреНрд░реЗрд░реАредdatasets:HuggingFace рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдЖрд╕рд╛рди рдбреЗрдЯрд╛ рд▓реЛрдбрд┐рдВрдЧ рдФрд░ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧредaccelerate:HuggingFace рдХреА рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рд▓рд╛рдЗрдмреНрд░реЗрд░реА, LLMs рдХреЗ рдбрд┐рд╕реНрдЯреНрд░рд┐рдмреНрдпреВрдЯреЗрдб рдЯреНрд░реЗрдирд┐рдВрдЧ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рддреА рд╣реИредpeft:LLM рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдЫреЛрдЯреЗ рд╣рд┐рд╕реНрд╕реЗ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХрд╛ рдкреИрдХреЗрдЬ, рдЬрд┐рд╕рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рддреЗрдЬрд╝ рд╣реЛрддрд╛ рд╣реИредbitsandbytes:рдореЗрдореЛрд░реА рдФрд░ рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рджрдХреНрд╖рддрд╛ рдХреЗ рд▓рд┐рд╣рд╛рдЬрд╝ рд╕реЗ LLMs рдХреЗ рд▓рд┐рдП рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝реЗрд╢рди рд▓рд╛рдЗрдмреНрд░реЗрд░реАредtrl:RLHF (рдорд╛рдирд╡ рдлрд╝реАрдбрдмреИрдХ рдХреЗ рд╕рд╛рде рд░рд┐рдЗрдирдлреЛрд░реНрд╕рдореЗрдВрдЯ рд▓рд░реНрдирд┐рдВрдЧ) рд╕реЗ рдмрдбрд╝реЗ рдореЙрдбрд▓реЛрдВ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреА рддрдХрдиреАрдХреЗрдВредрд╣рдо рдЙрдирдХреЗ рдЙрдкрдпреЛрдЧ рдкрд░ рдкрд╣реБрдБрдЪрддреЗ рд╣реА рд╣рд░ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреЗ рдлрд╝рд╛рдпрджреЗ рд╕рдордЭрд╛рдПрдБрдЧреЗред
2. рдЖрд╡рд╢реНрдпрдХ рдореЙрдбреНрдпреВрд▓ рдЖрдпрд╛рдд рдХрд░реЗрдВ
рдпрд╣рд╛рдБ рд╣рдо рдЬрд┐рди рдирдИ рдХреНрд▓рд╛рд╕реЛрдВ рдФрд░ рдлрд╝рдВрдХреНрд╢рдиреЛрдВ рдХреЛ рдЖрдпрд╛рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рдЙрдирдХрд╛ рдПрдХ рдЕрд╡рд▓реЛрдХрди рд╣реИ:
BitsAndBytesConfig:рдмрд┐рдЯреНрд╕тАСрдПрдВрдбтАСрдмрд╛рдЗрдЯреНрд╕ рддрдХрдиреАрдХреЛрдВ рд╕реЗ рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЛ рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝ рдХрд░рдиреЗ рдХреА рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди, рдЬрд┐рд╕рд╕реЗ рдореЗрдореЛрд░реА рдФрд░ рдЧрдгрдирд╛ рджрдХреНрд╖рддрд╛ рдмрдврд╝рддреА рд╣реИредTrainingArguments:рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ (рдЬреИрд╕реЗ рд▓рд░реНрдирд┐рдВрдЧ рд░реЗрдЯ, рдмреИрдЪ рд╕рд╛рдЗрдЬ) рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рддрд╛ рд╣реИредpipeline: рдЯреЗрдХреНрд╕реНрдЯ рдЬрдирд░реЗрд╢рди рдЬреИрд╕реА рдЯрд╛рд╕реНрдХ рдкрд░ рдореЙрдбрд▓ рд▓рд╛рдЧреВ рдХрд░рдирд╛ рд╕рд░рд▓ рдмрдирд╛рддрд╛ рд╣реИредLoraConfig:LoRA (LowтАСRank Adaptation) рдХреЗ рд▓рд┐рдП рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди тАФ рдПрдХ рдкреИрд░рд╛рдореАрдЯрд░тАСрдЗрдлреАрд╢рд┐рдПрдВрдЯ рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рд╡рд┐рдзрд┐ рдЬреЛ рдореЙрдбрд▓ рдХреЛ рдЕрдкрдирд╛рдиреЗ рд╣реЗрддреБ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдЫреЛрдЯреЗ рд╕реЗрдЯ рдХреЛ рд╕рдорд╛рдпреЛрдЬрд┐рдд рдХрд░рддреА рд╣реИредSFTTrainer:рд╕реБрдкрд░рд╡рд╛рдЗрдЬрд╝реНрдб рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ (SFT) рдХреЗ рд▓рд┐рдП рдЯреНрд░реЗрдирд░ рдХреНрд▓рд╛рд╕, рдЬреЛ рдорд╛рдирд╡ рдлрд╝реАрдбрдмреИрдХ рдпрд╛ рд▓реЗрдмрд▓реНрдб рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЛ рд╕реБрдЧрдо рдмрдирд╛рддреА рд╣реИред3. рдмреЗрд╕ рдФрд░ рдЯреНрдпреВрди рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХреЗ рдХреЙрдиреНрдлрд╝рд┐рдЧреНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ
рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд▓рд┐рдП, рд╣рдо Guanaco LLaMA2 рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ, рдЬрд┐рд╕рдореЗрдВ 1000 рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдитАСрдЖрдЙрдЯрдкреБрдЯ рдкреЗрдпрд░реНрд╕ рд╣реИрдВ, рддрд╛рдХрд┐ LLMs рдХреЛ рдЗрдВрдЯрд░рдПрдХреНрдЯрд┐рд╡ рдФрд░ рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдирд▓ рдЯрд╛рд╕реНрдХ (рдЬреИрд╕реЗ рдЪреИрдЯрдмреЙрдЯреНрд╕) рдХреЗ рд▓рд┐рдП рдЯреНрдпреВрди рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред
4. рдбреЗрдЯрд╛ рд▓реЛрдб рдХрд░реЗрдВ
HuggingFace рд╕реЗ рдбреЗрдЯрд╛ рд▓реЛрдб рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо
load_datasetрдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рдореЗрдВ рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рдкрд╛рде рдФрд░ рд╕реНрдкреНрд▓рд┐рдЯ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рддреЗ рд╣реИрдВред рд╣рдо рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рдирдореВрдиреЗ рдЯреЗрдХреНрд╕реНрдЯ рдлрд╝реЙрд░реНрдореЗрдЯ рдореЗрдВ рдмрджрд▓рдХрд░ рдФрд░ рдХреЛрдИ рд░реИрдВрдбрдо рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдитАСрдЖрдЙрдЯрдкреБрдЯ рдкреЗрдпрд░ рдЗрдВрдбреЗрдХреНрд╕ рдХрд░рдХреЗ рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ:5. рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ
рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдореЗрдВ рдбреЗрдЯрд╛ рдХреЛ рджрд░реНрд╢рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреБрдХреНрдд рдмрд┐рдЯреНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛ рдШрдЯрд╛рдиреЗ рдХреА рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рддрдХрдиреАрдХ рд╣реИред рдпрд╣ рдореВрд▓ рдбреЗрдЯрд╛ рдХреЛ рдХрдо рдмрд┐рдЯреНрд╕ рдореЗрдВ рдЕрдиреБрдорд╛рдирд┐рдд рдХрд░рдХреЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдЕрдзрд┐рдХ рдХреЙрдореНрдкреИрдХреНрдЯ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдорд┐рд▓рддрд╛ рд╣реИред
рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рд╕реЗ рдореЙрдбрд▓ рдХрд╛ рдореЗрдореЛрд░реА рдлрд╝реБрдЯрдкреНрд░рд┐рдВрдЯ рдШрдЯрд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рджрдХреНрд╖рддрд╛ рд╕реБрдзрд░рддреА рд╣реИ рдФрд░ рдХрднреАтАСрдХрднреА рд╢реБрджреНрдзрддрд╛ рднреА рдмреЗрд╣рддрд░ рд╣реЛрддреА рд╣реИред
рдкрд╣рд▓реЗ рд╣рдо
compute_dtypeрдХреЛ float16 рдкрд░ рд╕реЗрдЯ рдХрд░ рд╣рд░ рдЯреЗрдВрд╕рд░ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рддрдп рдХрд░рддреЗ рд╣реИрдВред рдлрд┐рд░ BitsAndBytesConfig рдХреЗ рдЬрд░рд┐рдП рдирд┐рдореНрди рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рддреЗ рд╣реИрдВ:load_in_4bit=True: рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЗрдирдкреБрдЯ рдбреЗрдЯрд╛ 4 рдмрд┐рдЯреНрд╕ рдореЗрдВ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝ рд╣реЛрдЧрд╛редbnb_4bit_compute_dtype=compute_dtype: рдЧрдгрдирд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреБрдХреНрдд рдбреЗрдЯрд╛ рдЯрд╛рдЗрдк рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдКрдкрд░ рд╕реЗрдЯ float16 рд╣реИредbnb_4bit_quant_type="nf4": 4тАСрдмрд┐рдЯ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдХрд╛ рдкреНрд░рдХрд╛рд░ рдмрддрд╛рддрд╛ рд╣реИ, рдпрд╣рд╛рдБ"nf4"редnf4рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреНрд░рдХрд╛рд░ рдХрд╛ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рд╣реИ рдЬреЛ 4 рдмрд┐рдЯреНрд╕ рдХреЗ рд╕рд╛рде рдиреЙрдитАСрдпреВрдирд┐рдлрд╝реЙрд░реНрдо рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред рдХреБрдЫ рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ рдиреЙрдитАСрдпреВрдирд┐рдлрд╝реЙрд░реНрдо, рд╕рд╛рдзрд╛рд░рдг рдпреВрдирд┐рдлрд╝реЙрд░реНрдо рд╕реЗ рдмреЗрд╣рддрд░ рд╣реЛ рд╕рдХрддрд╛ рд╣реИред6. рдореЙрдбрд▓ рдФрд░ рдЙрд╕рдХреЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ
рдпрд╣ рдЪрд░рдг XGen рдХреЛ рдкреНрд░рд╛рд░рдВрднрд┐рдХ рдмрд╛рд░ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдЬреИрд╕рд╛ рд╣реА рд╣реИ, рдкрд░ рдЗрд╕ рдмрд╛рд░ рд╣рдо
quantization_configрдореЗрдВ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд╛рд╕ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдФрд░device_mapрдХреЛ auto рдкрд░ рд╕реЗрдЯ рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддрд╛рдХрд┐ GPU рд╕реНрд╡рддрдГ рдЙрдкрдпреЛрдЧ рд╣реЛред7. рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░реЗрдВ
рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд▓реЛрдб рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж, рд╣рдо рдкреИрдбреЗрдб рдЯреЛрдХрди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рддреЗ рд╣реИрдВред NLP рдореЗрдВ, рдкреИрдбреЗрдб рдЯреЛрдХрди рдРрд╕реЗ рд╡рд┐рд╢реЗрд╖ рдкреНрд░рддреАрдХ рд╣реЛрддреЗ рд╣реИрдВ рдЬрд┐рдирдХрд╛ рдЕрд░реНрде рдирд╣реАрдВ рд╣реЛрддрд╛, рдФрд░ рдЙрдиреНрд╣реЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдЗрдирдкреБрдЯ рдореЗрдВ рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИ рддрд╛рдХрд┐ рд╕рднреА рдЯреЛрдХрди рд╕рдорд╛рди рдЖрдХрд╛рд░ рдХреЗ рд╣реЛрдВред рд╕реНрдерд┐рд░ рдЖрдХрд╛рд░ рдХреЗ рдЯреЛрдХрди рдХрдИ NLP рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░реНрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреЗ рд╣реИрдВред
tokenizer.pad_token = tokenizer.eos_tokenрдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдХреЗ рдкреИрдбрд┐рдВрдЧ рдЯреЛрдХрди рдХреЛ рд╡рд╛рдХреНрдптАСрд╕рдорд╛рдкреНрддрд┐ (EOS) рдЯреЛрдХрди рдХреЗ рд╕рдорд╛рди рд╕реЗрдЯ рдХрд░рддрд╛ рд╣реИред рдпрд╣ NLP рдореЗрдВ рдЖрдо рдкреНрд░рдЪрд▓рди рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рд╕реЗ рдореЙрдбрд▓ рд╡рд╛рдХреНрдп рдХреЗ рдЕрдВрдд рдФрд░ рдкреИрдбреЗрдб рдЯреЛрдХрди рдХреЗ рдмреАрдЪ рднреЗрдж рдХрд░ рд╕рдХрддрд╛ рд╣реИредtokenizer.padding_side = "right"рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдкреИрдбрд┐рдВрдЧ рдЗрдирдкреБрдЯ рд╕реАрдХреНрд╡реЗрдВрд╕ рдХреЗ рджрд╛рдПрдБ рдУрд░ рдЬреЛрдбрд╝реА рдЬрд╛рдПред8. PEFT рдкреИрд░рд╛рдореАрдЯрд░реНрд╕
рдкреНрд░реАтАСрдЯреНрд░реЗрди LLMs рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд рдЕрдзрд┐рдХ рдбреЗрдЯрд╛ рдФрд░ рдХрдореНрдкреНрдпреВрдЯ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЬрд╝рд░реВрд░рдд рд╣реЛрддреА рд╣реИред ParameterтАСefficient FineтАСtuning (PEFT) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ, рд╣рдо рдХреБрд▓ рдореЙрдбрд▓ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреЗ рдХреЗрд╡рд▓ рдПрдХ рд╣рд┐рд╕реНрд╕реЗ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рд░рдирдЯрд╛рдЗрдо рдореЗрдВ рдЙрд▓реНрд▓реЗрдЦрдиреАрдп рдХрдореА рдЖрддреА рд╣реИред рдЗрд╕ рддрдХрдиреАрдХ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╕реЗ рдкрдврд╝ рд╕рдХрддреЗ рд╣реИрдВред
LoraConfigрдХреНрд▓рд╛рд╕ LoRA (LowтАСRank Adaptation) рд╡рд┐рдзрд┐ рдХреА рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рд╕реЗрдЯ рдХрд░рддреА рд╣реИред LoRA, PEFT рдореЗрдВ рдЙрдкрдпреЛрдЧ рд╣реЛрдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреИрд░рд╛рдореАрдЯрд░рд╛рдЗрдЬрд╝реЗрд╢рди рд╣реИред рд╕рдордЧреНрд░ рд░реВрдк рд╕реЗ, рдКрдкрд░ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╕реНрдирд┐рдкреЗрдЯ LoRA рд▓реЗрдпрд░реНрд╕ рдХреА рдЕрдиреБрдХреВрд▓рдитАСрддрд╛рдХрдд, рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХреА рд╕рдВрдЦреНрдпрд╛ рдФрд░ рд▓реЗрдпрд░реНрд╕ рдХреЗ рдЕрдиреНрдп рдкрд╣рд▓реБрдУрдВ рдХреЛ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░рддрд╛ рд╣реИред9. рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗрдЯ рдХрд░рдирд╛
рдЕрдм рддрдХ рдкрд░рд┐рднрд╛рд╖рд┐рдд рд╕рднреА рдЪреАрдЬрд╝реЛрдВ рдХреЗ рдЕрд▓рд╛рд╡рд╛, XGen рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд▓рдЧрднрдЧ рджрд░реНрдЬрдирднрд░ рдФрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдЪрд╛рд╣рд┐рдПред рдЗрдирдореЗрдВ рдкрд░рд┐рдЪрд┐рдд рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдЬреИрд╕реЗ рд▓рд░реНрдирд┐рдВрдЧ рд░реЗрдЯ, рд▓рд░реНрдирд┐рдВрдЧ рд░реЗрдЯ рд╢реЗрдбреНрдпреВрд▓рд░реНрд╕, epochs рдХреА рд╕рдВрдЦреНрдпрд╛, рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝рд░ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ, рдФрд░ рдХреБрдЫ рдирдП рдЬреИрд╕реЗ
warmup_ratio,fp16,bf16,weight_decayрдЖрджрд┐редрдлрд╝реЛрдХрд╕ рдмрдирд╛рдП рд░рдЦрдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЗрди рд╕рднреА рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдХрд╛ рд╡рд┐рд╡рд░рдг рдпрд╣рд╛рдБ рдирд╣реАрдВ рдХрд╡рд░ рдХрд░реЗрдВрдЧреЗ тАФ рдЗрдирдХреЗ рд▓рд┐рдП рдореИрдВ рдЖрдкрдХреЛ LLaMA2 рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдкрд░ рдЗрд╕ рдЙрддреНрдХреГрд╖реНрдЯ рд▓реЗрдЦ рдХреА рдУрд░ рд╕рдВрджрд░реНрднрд┐рдд рдХрд░рддрд╛/рдХрд░рддреА рд╣реВрдБред
10. рдЕрдм рдЯреНрдпреВрди рдХрд░реЗрдВ!
PEFT рдореЙрдбрд▓ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо
trlрд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреАSFTTrainer(Supervised fineтАСtuning) рдХреНрд▓рд╛рд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ, рдЬреЛ RLHF рдХрд╛ рдПрдХ рдкреНрд░рдореБрдЦ рдЪрд░рдг рд╣реИредрдЯреНрд░реЗрдирд░ рдХреЛ рдкреНрд░рд╛рд░рдВрдн рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдЙрд╕реЗ рдореЙрдбрд▓, рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдбреЗрдЯрд╛рд╕реЗрдЯ, PEFT рдкреИрд░рд╛рдореАрдЯрд░реНрд╕, рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдФрд░ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рджреЗрддреЗ рд╣реИрдВред рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рд╢реБрд░реВ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдмрд╕
.train()рдХреЙрд▓ рдХрд░рдирд╛ рд╣реИ:рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ (рд╡рд┐рд╢реЗрд╖рдХрд░ epochs рдХреА рд╕рдВрдЦреНрдпрд╛) рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддреЗ рд╣реБрдП, рдкреНрд░рд╢рд┐рдХреНрд╖рдг 15 рдорд┐рдирдЯ рд╕реЗ рд▓реЗрдХрд░ рдХрдИ рдШрдВрдЯреЛрдВ рддрдХ рд▓реЗ рд╕рдХрддрд╛ рд╣реИред
11. рдореВрд▓реНрдпрд╛рдВрдХрди
рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреВрд░рд╛ рд╣реЛрдиреЗ рдкрд░, рд╣рдо рдЕрдкрдиреЗ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:
рдкреНрд░реЙрдореНрдкреНрдЯ рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд┐рдП рдЧрдП
modelрдХреЛ рджреЗрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рд╣рдо рдкрд╣рд▓реЗmodelрдФрд░tokenizerрдХреЛpipelineрдореЗрдВ рдкрд╛рд╕ рдХрд░рддреЗ рд╣реИрдВред pipeline рдлрд╝рдВрдХреНрд╢рди рдкреНрд░реАтАСрдЯреНрд░реЗрди рдореЙрдбрд▓ рд▓реЛрдб рдХрд░рдиреЗ, рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдХреЗ рд╕рд╛рде рдЗрдирдкреБрдЯ рдХреЛ рдкреНрд░реАтАСрдкреНрд░реЛрд╕реЗрд╕ рдХрд░рдиреЗ рдФрд░ рдпрджрд┐ рдХреЛрдИ рд╣реЛрдВ рддреЛ рдЬреЗрдирд░реЗрдЯ рдХрд┐рдП рдЧрдП рдЯреЗрдХреНрд╕реНрдЯ рдкрд░ рдХрд╕реНрдЯрдо рдкреЛрд╕реНрдЯтАСрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рд╕реНрдЯреЗрдк рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдХреЗ рдХрд╛рдо рдЖрддрд╛ рд╣реИредрдКрдкрд░, рд╣рдо рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХреЛ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдлрд╝реЙрд░реНрдореИрдЯ рдХрд┐рдП рдЧрдП рдкреНрд░реЙрдореНрдкреНрдЯ рдХреЗ рд╕рд╛рде рдЪрд▓рд╛ рд░рд╣реЗ рд╣реИрдВ, рдЬрд┐рд╕реЗ
<s>[INST] {prompt} [/INST]рдореЗрдВ рд░реИрдк рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ тАФ рдареАрдХ рд╡реИрд╕реЗ рд╣реА рдЬреИрд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рджреМрд░рд╛рди рдирд┐рд░реНрджреЗрд╢ рдереЗред рдкрд░рд┐рдгрд╛рдо рдпрд╣ рд╣реИ:12. рдореЙрдбрд▓ рдФрд░ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рд╕рд╣реЗрдЬреЗрдВ
рдЬрдм рд╣рдо рдЕрдкрдиреЗ рдореЙрдбрд▓ рд╕реЗ рд╕рдВрддреБрд╖реНрдЯ рд╣реЛрдВ, рддреЛ рдЕрдВрддрддрдГ рдЗрд╕реЗ рд╕рд╣реЗрдЬрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
рдЖрдк рдЗрд╕реЗ рдлрд┐рд░ рд╕реЗ
AutoModelForCausalLMрдХреНрд▓рд╛рд╕ рдХреЗ рдЬрд░рд┐рдП рд▓реЛрдб рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:рдирд┐рд╖реНрдХрд░реНрд╖
Salesforce рдХреЗ XGen 7B рдЬреИрд╕реЗ рдмрдбрд╝реЗ рднрд╛рд╖рд╛ рдореЙрдбрд▓ (LLMs) рдХреЗ рд╕рд╛рде рд╢реБрд░реБрдЖрдд рдХрд░рдирд╛ рдЖрд╕рд╛рди рд╣реИ, рд▓реЗрдХрд┐рди рдЙрдиреНрд╣реЗрдВ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЗ рдЕрдиреБрд░реВрдк рдмрдирд╛рдирд╛ рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рд╣реИред рдЫреЛрдЯреЗ рдЗрдВрд╕реНрдЯреНрд░рдХреНрд╢рдирд▓ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ XGen 7B рдХреЛ рдлрд╛рдЗрдитАСрдЯреНрдпреВрди рдХрд░рдиреЗ рдХрд╛ рд╣рдорд╛рд░рд╛ рдЕрдиреБрднрд╡ рдЗрд╕реА рдЪреБрдиреМрддреА рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИред рд╡рд┐рднрд┐рдиреНрди рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рд╣реЗрддреБ рдкреНрд░рд╛рд╕рдВрдЧрд┐рдХ рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ (Hugging Face рдХреА datasets рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдЙрдкрд▓рдмреНрдз) рдФрд░ рдРрд╕реЗ рдХрдореНрдкреНрдпреВрдЯ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ рдЬреЛ 7 рдмрд┐рд▓рд┐рдпрди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╡рд╛рд▓реЗ рдореЙрдбрд▓ рдХреЛ рдЙрди рдбреЗрдЯрд╛рд╕реЗрдЯреНрд╕ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд╕рдХреЗрдВред
рдлрд╛рдЗрдитАСрдЯреНрдпреВрдирд┐рдВрдЧ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рдирд┐рдореНрди рдЪрд░рдгреЛрдВ рдореЗрдВ рд╕рдВрдХреНрд╖реЗрдкрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
bitsandbytesрдХреЗ рд╕рд╛рде рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛transformersрдХреЗ рдЬрд░рд┐рдП рдореЙрдбрд▓ рдФрд░ рдЙрд╕рдХреЗ рдЗрдирд┐рдЯ рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛LoraConfigрдХреЗ рд╕рд╛рде LoRA рд▓реЗрдпрд░реНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ PEFT рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рдирд╛transformersрдХреЗ рдЬрд░рд┐рдП рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ рд╕реЗрдЯ рдХрд░рдирд╛trlрдХреЗSFTTrainerрд╕реЗ рдореЙрдбрд▓ рдЯреНрдпреВрди рдХрд░рдирд╛рдпрджрд┐ рдХреБрдЫ рдЕрд╡рдзрд╛рд░рдгрд╛рдПрдБ рдпрд╛ рдХреЛрдб рд╕реНрдирд┐рдкреЗрдЯ рдЕрдм рднреА рдЕрдкрд░рд┐рдЪрд┐рдд рдпрд╛ рдзреБрдБрдзрд▓реЗ рд▓рдЧрддреЗ рд╣реИрдВ, рддреЛ рдореИрдВ рдЗрди рдЙрддреНрдХреГрд╖реНрдЯ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЕрдиреБрд╢рдВрд╕рд╛ рдХрд░рддрд╛/рдХрд░рддреА рд╣реВрдБ:
рдкрдврд╝рдиреЗ рдХреЗ рд▓рд┐рдП рдзрдиреНрдпрд╡рд╛рдж!