Mistral рдиреЗ рдЕрдкрдирд╛ рдкрд╣рд▓рд╛ рд░реАрдЬрдирд┐рдВрдЧ рдореЙрдбрд▓ рдЬрд╛рд░реА рдХрд┐рдпрд╛ рд╣реИ, Magistral , рдЬреЛ рджреЛ рд╡реЗрд░рд┐рдПрдВрдЯ рдореЗрдВ рдЙрдкрд▓рдмреНрдз рд╣реИ: Magistral Small (рдУрдкрди-рд╡реЗрдЯ) рдФрд░ Magistral Medium (рдХреНрд▓реЛрдЬрд╝реНрдб рдореЙрдбрд▓)ред
рдЗрд╕ рдмреНрд▓реЙрдЧ рдореЗрдВ рдореЗрд░рд╛ рдзреНрдпрд╛рди Magistral Small рдкрд░ рд░рд╣реЗрдЧрд╛тАФрдпрд╣ рдПрдХ рдУрдкрди-рд╡реЗрдЯ рд░реАрдЬрдирд┐рдВрдЧ рдореЙрдбрд▓ рд╣реИ, рдЬрд┐рд╕реЗ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рд▓реЙрдЬрд┐рдХ, рдмрд╣реБрднрд╛рд╖реА рд╕рдордЭ, рдФрд░ рдЯреНрд░реЗрд╕ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рд╡реНрдпрд╛рдЦреНрдпрд╛рдПрдБ рджреЗрдиреЗ рдХреА рдХреНрд╖рдорддрд╛ рд╡рд╛рд▓реЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдЬрдм рдЗрд╕реЗ vLLM рдЬреИрд╕реЗ рд╣рд╛рдИ-рдереНрд░реВрдкреБрдЯ рдЗрдВрдлрд░реЗрдВрд╕ рдЗрдВрдЬрди рдпрд╛ Ollama рдЬреИрд╕реЗ рдЖрд╕рд╛рди рдЯреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИ, рддреЛ рдпрд╣ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдХреЛ рдбрд┐рдмрдЧ рдХрд░рдиреЗ рдФрд░ рд░реАрдЬрдирд┐рдВрдЧ рдЯрд╛рд╕реНрдХ рдХреЗ рд▓рд┐рдП рдПрдХ рдмреЗрд╣рддрд░реАрди рдЯреВрд▓ рдмрди рдЬрд╛рддрд╛ рд╣реИред
рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рдореЗрдВ, рдореИрдВ рдЪрд░рдг-рджрд░-рдЪрд░рдг рд╕рдордЭрд╛рдКрдБрдЧрд╛ рдХрд┐ рдХреИрд╕реЗ:
vLLM рдФрд░ Ollama рдХреЗ рд╕рд╛рде Magistral Small (24B) рдЪрд▓рд╛рдПрдБ
рдкрд╛рд░рджрд░реНрд╢реА, рдЪрд░рдгрдмрджреНрдз рддрд░реНрдХ рдХреЗ рд╕рд╛рде рд▓реЙрдЬрд┐рдХ рдбрд┐рдмрдЧ рдХрд░рдиреЗ рд╡рд╛рд▓рд╛ рдбреЗрдореЛ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдмрдирд╛рдПрдБ
рд╣рдо рдЕрдкрдиреЗ рдкрд╛рдардХреЛрдВ рдХреЛ AI рдХреА рддрд╛рдЬрд╝рд╛ рдЦрдмрд░реЛрдВ рд╕реЗ рдЕрдкрдбреЗрдЯ рд░рдЦрддреЗ рд╣реИрдВ The Median рдХреЗ рдЬрд╝рд░рд┐рдПтАФрдпрд╣ рд╣рдорд╛рд░рд╛ рдореБрдлрд╝реНрдд рд╢реБрдХреНрд░рд╡рд╛рд░ рдХрд╛ рдиреНрдпреВрдЬрд╝рд▓реЗрдЯрд░ рд╣реИ рдЬреЛ рд╣рдлреНрддреЗ рдХреА рдкреНрд░рдореБрдЦ рдХрд╣рд╛рдирд┐рдпреЛрдВ рдХреЛ рд╕рд░рд▓рддрд╛ рд╕реЗ рд╕рдордЭрд╛рддрд╛ рд╣реИред рд╕рдмреНрд╕рдХреНрд░рд╛рдЗрдм рдХрд░реЗрдВ рдФрд░ рд╣рд░ рд╣рдлреНрддреЗ рдЪрдВрдж рдорд┐рдирдЯреЛрдВ рдореЗрдВ рдЕрдкрдбреЗрдЯ рд░рд╣реЗрдВ:
Mistral рдХрд╛ Magistral рдХреНрдпрд╛ рд╣реИ?
Magistral, Mistral AI рдХрд╛ рдкрд╣рд▓рд╛ рд╕рдорд░реНрдкрд┐рдд рд░реАрдЬрдирд┐рдВрдЧ рдореЙрдбрд▓ рд╣реИ, рдЬрд┐рд╕реЗ рдЪрд░рдг-рджрд░-рдЪрд░рдг рд▓реЙрдЬрд┐рдХ, рдмрд╣реБрднрд╛рд╖реА рд╕рдЯреАрдХрддрд╛, рдФрд░ рдЯреНрд░реЗрд╕ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдЖрдЙрдЯрдкреБрдЯ рдХреЗ рд▓рд┐рдП рдмрдирд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред рдпрд╣ рджреЛ рд╡реЗрд░рд┐рдПрдВрдЯ рдореЗрдВ рдбреНрдпреВрд▓-рд░рд┐рд▓реАрдЬрд╝ рдореЙрдбрд▓ рд╣реИ:
Magistral Small (24B) : рдпрд╣ рдкреВрд░реА рддрд░рд╣ рдУрдкрди-рд╕реЛрд░реНрд╕ рдореЙрдбрд▓ рд╣реИ, Apache 2.0 рдХреЗ рддрд╣рдд рдЙрдкрд▓рдмреНрдз рд╣реИ, рдФрд░ рд▓реЛрдХрд▓ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рд╣реИред┬а
Magistral Medium : рдЕрдзрд┐рдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдПрдВрдЯрд░рдкреНрд░рд╛рдЗрдЬ-рдЧреНрд░реЗрдб рдореЙрдбрд▓, рдЬреЛ Mistral рдХреЗ Le Chat, SageMaker, рдФрд░ рдЕрдиреНрдп рдПрдВрдЯрд░рдкреНрд░рд╛рдЗрдЬ рдХреНрд▓рд╛рдЙрдбреНрд╕ рдХреЗ рдЬрд╝рд░рд┐рдП рдЙрдкрд▓рдмреНрдз рд╣реИред
рд╕реНрд░реЛрдд: Mistral
Magistral Small, рдЬрд┐рд╕ рдУрдкрди рдореЙрдбрд▓ рдкрд░ рд╣рдо рдзреНрдпрд╛рди рджреЗрдВрдЧреЗ, 128K рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд╡рд┐рдВрдбреЛ рдХреЛ рд╕рдкреЛрд░реНрдЯ рдХрд░рддрд╛ рд╣реИ (рд╕реНрдерд┐рд░ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рд▓рд┐рдП 40K рдЕрдиреБрд╢рдВрд╕рд┐рдд)ред рдЗрд╕реЗ рд╕реБрдкрд░рд╡рд╛рдЗрдЬрд╝реНрдб рдлрд╛рдЗрди-рдЯреНрдпреВрдирд┐рдВрдЧ (Magistral Medium рдХреЗ рдЯреНрд░реЗрд╕реЗрдЬрд╝ рдкрд░) рдФрд░ рд░реАрдЗрдиреНрдлреЛрд░реНрд╕рдореЗрдВрдЯ рд▓рд░реНрдирд┐рдВрдЧ рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
Ollama рдХреЗ рд╕рд╛рде рд▓реЛрдХрд▓ рд░реВрдк рд╕реЗ Magistral Small рдХреИрд╕реЗ рд╕реЗрдЯ рдЕрдк рдХрд░реЗрдВ рдФрд░ рдЪрд▓рд╛рдПрдБ
рдЗрд╕ рд╕реЗрдХреНрд╢рди рдореЗрдВ, рд╣рдо Ollama рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рд▓реЛрдХрд▓ рд░реВрдк рд╕реЗ Mistral рдХреЗ Magistral рдореЙрдбрд▓ рдкрд░ рдЗрдВрдлрд░реЗрдВрд╕ рдХрд░реЗрдВрдЧреЗред рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ рдЗрд╕ рдореЙрдбрд▓ рдХреЛ рд▓рдЧрднрдЧ 14GB рд╕реНрдкреЗрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ рдФрд░ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдЗрд╕реЗ рдПрдХрд▓ RTX 4090 рдпрд╛ 32GB RAM рд╡рд╛рд▓реЗ MacBook рдореЗрдВ рдЪрд▓рд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдореИрдВрдиреЗ рдпрд╣ рдбреЗрдореЛ M3 MacBook Pro рдкрд░ рдЪрд▓рд╛рдпрд╛ред
рдЪрд░рдг 1: Ollama рдХреЗ рдЬрд╝рд░рд┐рдП рдореЙрдбрд▓ рдкреБрд▓ рдХрд░реЗрдВ
macOS, Windows, рдпрд╛ Linux рдХреЗ рд▓рд┐рдП Ollama рдпрд╣рд╛рдБ рд╕реЗ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ: https://ollama.com/download .
рдЗрдВрд╕реНрдЯреЙрд▓рд░ рдХреЗ рдирд┐рд░реНрджреЗрд╢реЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░реЗрдВ, рдФрд░ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди рдХреЗ рдмрд╛рдж, рдЯрд░реНрдорд┐рдирд▓ рдореЗрдВ рдпрд╣ рдЪрд▓рд╛рдХрд░ рд╕рддреНрдпрд╛рдкрд┐рдд рдХрд░реЗрдВ:
ollama --version рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЕрдЧрд▓рд╛ рдХрджрдо, рдирд┐рдореНрди рдХреЛрдб рдЪрд▓рд╛рдХрд░ Magistral рдореЙрдбрд▓ рдкреБрд▓ рдХрд░реЗрдВ:
ollama pull magistralрд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрд╣ Magistral рдореЙрдбрд▓ рдХреЛ рдЖрдкрдХреА рд▓реЛрдХрд▓ рдорд╢реАрди рдкрд░ рдкреБрд▓ рдХрд░ рджреЗрдЧрд╛ред рдиреЛрдЯ: рдореЙрдбрд▓ рд▓рдЧрднрдЧ 14 GB рдХрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рд╕рдордп рд▓рдЧреЗрдЧрд╛ред
рдЪрд░рдг 2: рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВ
рдЖрдЗрдП рд╕рднреА рдЖрд╡рд╢реНрдпрдХ рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдХреЗ рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВред
pip install ollama
pip install requestsрд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рд╣реЛрдиреЗ рдХреЗ рдмрд╛рдж, рд╣рдо рдЗрдВрдлрд░реЗрдВрд╕ рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рд╣реИрдВред
рдЪрд░рдг 3: рдПрдХ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рдкреНрд░реЙрдореНрдкреНрдЯ рдЯреЗрдореНрдкрд▓реЗрдЯ рдмрдирд╛рдПрдБ
рдЕрдм, рд╣рдо рдПрдХ рдкреНрд░реЙрдореНрдкреНрдЯ рдЯреЗрдореНрдкрд▓реЗрдЯ рд╕рдВрд░рдЪрдирд╛ рд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВ (рдЬреИрд╕рд╛ рдХрд┐ рдореВрд▓ Magistral рдкреЗрдкрд░ рдореЗрдВ рдмрддрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИ) рдЬреЛ рдореЙрдбрд▓ рдХреА рд╕реЛрдЪрдиреЗ рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рддреА рд╣реИред
import gradio as gr
import requests
import json
def build_prompt ( flawed_logic) :
return f"""<s>[SYSTEM_PROMPT]
A user will ask you to solve a task. You should first draft your thinking process (inner monologue) until you have derived the final answer. Afterwards, write a self-contained summary of your thoughts.
Your thinking process must follow the template below:
<think>
Your thoughts or/and draft, like working through an exercise on scratch paper. Be as casual and detailed as needed until you're confident.
</think>
Do not mention that you're debugging тАФ just present your thought process and conclusion naturally.
[/SYSTEM_PROMPT][INST]
Here is a flawed solution. Can you debug it and correct it step by step?
\"\"\" { flawed_logic} \"\"\"
[/INST]
""" рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЙрдкрд░реЛрдХреНрдд рдлрд╝рдВрдХреНрд╢рди рдПрдХ рдлреЙрд░реНрдореИрдЯреЗрдб рдкреНрд░реЙрдореНрдкреНрдЯ рд▓реМрдЯрд╛рддрд╛ рд╣реИ рдЬреЛ Magistral рдХреЛ рдпрд╣ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИ:
┬а <think>...</think> рдЯреИрдЧреНрд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП рдЪрд░рдг-рджрд░-рдЪрд░рдг рд╕реЛрдЪрдирд╛
рдЕрдкрдиреА рдЖрдВрддрд░рд┐рдХ рдмрд╛рддрдЪреАрдд рдХреЗ рдмрд╛рдж рд╕реНрдкрд╖реНрдЯ рдирд┐рд╖реНрдХрд░реНрд╖ рджреЗрдирд╛
рд╕реНрд╡рд╛рднрд╛рд╡рд┐рдХ рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХреЗ рд▓рд┐рдП тАЬрдбрд┐рдмрдЧрд┐рдВрдЧтАЭ рдХреЗ рдХрд┐рд╕реА рднреА рдЙрд▓реНрд▓реЗрдЦ рдХреЛ рдирдЬрд╝рд░рдЕрдВрджрд╛рдЬрд╝ рдХрд░рдирд╛
рдпрд╣ рд╕рдВрд░рдЪрдирд╛ рдЙрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ рдЬреИрд╕реЗ Magistral, рдЬрд┐рдиреНрд╣реЗрдВ рдЯреВрд▓-рдСрдЧрдореЗрдВрдЯреЗрдб рдкреНрд░реЙрдореНрдкреНрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдпрд╣реА рд╕рд┐рд╕реНрдЯрдо рдкреНрд░реЙрдореНрдкреНрдЯ рд╕рдВрд░рдЪрдирд╛ рдЧрдгрд┐рддреАрдп рдФрд░ рдХреЛрдбрд┐рдВрдЧ рджреЛрдиреЛрдВ рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреЛрдЧ рдХреА рдЬрд╛ рд╕рдХрддреА рд╣реИред
рдЪрд░рдг 4: рд╕реНрдЯреНрд░реАрдо рдЗрдВрдлрд░реЗрдВрд╕ рдХрд░реЗрдВ рдФрд░ Gradio UI рдмрдирд╛рдПрдВ
рдЗрд╕ рдЪрд░рдг рдореЗрдВ, рд╣рдо Ollama рдХреЗ рд▓реЛрдХрд▓ API рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Magistral рдореЙрдбрд▓ рдХрд╛ рдЖрдЙрдЯрдкреБрдЯ рд░рд┐рдпрд▓-рдЯрд╛рдЗрдо рдореЗрдВ рд╕реНрдЯреНрд░реАрдо рдХрд░реЗрдВрдЧреЗред рдЪреВрдБрдХрд┐ рд╣рдорд╛рд░рд╛ рдлреЛрдХрд╕ рдЯреНрд░реЗрд╕ рдХрд░рдиреЗ рдпреЛрдЧреНрдп, рдЪрд░рдгрдмрджреНрдз рддрд░реНрдХ рдХреЗ рд╕рд╛рде рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рд▓реЙрдЬрд┐рдХ рдХреЛ рдбрд┐рдмрдЧ рдХрд░рдирд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдпрд╣ рдЬрд╝рд░реВрд░реА рд╣реИ рдХрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рджреЗрдЦ рд╕рдХреЗ рдХрд┐ рдореЙрдбрд▓ рдЕрдкрдиреЗ рдирд┐рд╖реНрдХрд░реНрд╖ рддрдХ рдХреИрд╕реЗ рдкрд╣реБрдБрдЪрддрд╛ рд╣реИред рдЕрдВрдд рдореЗрдВ, рд╣рдо рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХреЛ рдПрдХ рд╕рд╛рдл-рд╕реБрдерд░реЗ Gradio рдЗрдВрдЯрд░рдлреЗрд╕ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рджрд┐рдЦрд╛рддреЗ рд╣реИрдВред
def call_ollama_stream ( flawed_logic) :
prompt = build_prompt( flawed_logic)
response_text = ""
with requests. post(
"http://localhost:11434/api/generate" ,
json= { "model" : "magistral" , "prompt" : prompt, "stream" : True } ,
stream= True ,
) as r:
for line in r. iter_lines( ) :
if line:
content = json. loads( line) . get( "response" , "" )
response_text += content
return response_text
with gr. Blocks( theme= gr. themes. Base( ) ) as demo:
gr. Markdown( "## Chain-of-Logic Debugger (Magistral + Ollama)" )
gr. Markdown( "Paste a flawed logical argument or math proof, and Magistral will debug it with step-by-step reasoning." )
with gr. Row( ) :
input_box = gr. Textbox( lines= 8 , label= "Flawed Logic / Proof" )
output_box = gr. Textbox( lines= 15 , label= "Debugged Explanation" )
debug_button = gr. Button( "Run Debugger" )
debug_button. click( fn= call_ollama_stream, inputs= input_box, outputs= output_box)
demo. launch( debug = True , share= True ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдпрд╣рд╛рдБ рд╕рдВрдХреНрд╖реЗрдк рдореЗрдВ рдХреНрдпрд╛ рд╣реЛ рд░рд╣рд╛ рд╣реИ:
рд╣рдо рдПрдХ рдкреБрди: рдкреНрд░рдпреЛрдЬреНрдп build_prompt() рдлрд╝рдВрдХреНрд╢рди рд╕реЗ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ, рдЬреЛ рдпреВрдЬрд╝рд░ рдЗрдирдкреБрдЯ рдХреЛ рдПрдХ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рдкреНрд░реЙрдореНрдкреНрдЯ рдореЗрдВ рд▓рдкреЗрдЯрддрд╛ рд╣реИ рдФрд░ рдореЙрдбрд▓ рдХреЛ <think> рд░реАрдЬрдирд┐рдВрдЧ рдЯреИрдЧреНрд╕ рдХреЗ рд╕рд╛рде рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИред
рдЬрдм рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдХреЛрдИ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рдкреНрд░реВрдл рдпрд╛ рд▓реЙрдЬрд┐рдХ рд╕реНрдЯреЗрдЯрдореЗрдВрдЯ рд╕рдмрдорд┐рдЯ рдХрд░рддрд╛/рдХрд░рддреА рд╣реИ, рддреЛ call_ollama_stream() рдлрд╝рдВрдХреНрд╢рди рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ POST рд░рд┐рдХреНрд╡реЗрд╕реНрдЯ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ localhost:11434 рдкрд░ Ollama рдХреЗ HTTP API рдХреЛ рдкреНрд░реЙрдореНрдкреНрдЯ рднреЗрдЬрддрд╛ рд╣реИред
рдлрд╝рдВрдХреНрд╢рди requests.iter_lines() рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкрдВрдХреНрддрд┐-рджрд░-рдкрдВрдХреНрддрд┐ рд╕реНрдЯреНрд░реАрдо рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛рдПрдБ рд╕реБрдирддрд╛ рд╣реИред рд╣рд░ рд▓рд╛рдЗрди рдХреЗ рд▓рд┐рдП, рдпрд╣ JSON рдкреЗрд▓реЛрдб рд╕реЗ response рдлрд╝реАрд▓реНрдб рдирд┐рдХрд╛рд▓рддрд╛ рд╣реИ рдФрд░ рдЙрд╕реЗ рд░рдирд┐рдВрдЧ рдЯреЗрдХреНрд╕реНрдЯ рдмрдлрд╝рд░ рдореЗрдВ рдЬреЛрдбрд╝рддрд╛ рд╣реИред
рдЬрдм рд╕рднреА рд╕реНрдЯреНрд░реАрдо рдХреА рдЧрдИ рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдПрдХрддреНрд░ рд╣реЛ рдЬрд╛рддреА рд╣реИрдВ, рддреЛ рдкреВрд░рд╛ рдореЙрдбрд▓ рд░рд┐рд╕реНрдкреЙрдиреНрд╕ рд▓реМрдЯрд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдФрд░ Gradio UI рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдореИрдВрдиреЗ рдпрд╣ рдЗрдирдкреБрдЯ рдЖрдЬрд╝рдорд╛рдпрд╛:
Assume x = y. Then, x┬▓ = xy. Subtracting both sides gives x┬▓ - y┬▓ = xy - y┬▓. So, (x+y)(xтИТy) = y(xтИТy). Cancelling xтИТy gives x+y = y. But since x = y, this means 2y = y тЖТ 2 = 1.рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
M3 MacBook Pro рдкрд░ рдореЗрд░реЗ рдкрд░реАрдХреНрд╖рдг рдореЗрдВ, рдореЙрдбрд▓ рдиреЗ рд╕рд░рд▓ рддрд╛рд░реНрдХрд┐рдХ рд╢реНрд░рдВрдЦрд▓рд╛рдУрдВ рдФрд░ рдЧрдгрд┐рддреАрдп рдкреНрд░реВрдл рдХреЛ рдХрд╛рдлрд╝реА рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕рдВрднрд╛рд▓рд╛ред рд╣рд╛рд▓рд╛рдБрдХрд┐, рдЧрд╣рд░реА рд░реАрдЬрдирд┐рдВрдЧ рдЯрд╛рд╕реНрдХ рдпрд╛ рд▓рдВрдмреА рдереЙрдЯ-рдЪреЗрди рдХреЗ рд▓рд┐рдП, рдпрд╣ рдХрднреА-рдХрднреА рдПрдЬ рдХреЗрд╕ рдорд┐рд╕ рдХрд░ рджреЗрддрд╛ рдерд╛тАФрдЬреЛ рдХрд┐ 24B рдУрдкрди рдореЙрдбрд▓ рд╕реЗ рдЕрдкреЗрдХреНрд╖рд┐рдд рд╣реИред рдпрд╣ рддрд░реАрдХрд╛ рд╣рд▓реНрдХреЗ-рдлреБрд▓реНрдХреЗ рд░реАрдЬрдирд┐рдВрдЧ рдбреЗрдореЛ рдпрд╛ рдСрди-рдбрд┐рд╡рд╛рдЗрд╕ рдЪреЗрди-рдСрдл-рдереЙрдЯ рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЗ рд▓рд┐рдП рдЖрджрд░реНрд╢ рд╣реИ, рд╡рд╣ рднреА рдХреНрд▓рд╛рдЙрдб APIs рдкрд░ рдирд┐рд░реНрднрд░ рд╣реБрдП рдмрд┐рдирд╛ред
vLLM рдХреЗ рд╕рд╛рде Magistral Small рдЪрд▓рд╛рдирд╛
рдЗрд╕ рд╕реЗрдХреНрд╢рди рдореЗрдВ, рдореИрдВ рдмрддрд╛рдКрдБрдЧрд╛ рдХрд┐ RunPod рдкрд░ рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА GPU рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдХреИрд╕реЗ рдкреНрд░реЛрд╡рд┐рдЬрд╝рди рдХрд░реЗрдВ, vLLM рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ Mistral рдХрд╛ Magistral рдореЙрдбрд▓ рдбрд┐рдкреНрд▓реЙрдп рдХрд░реЗрдВ, рдФрд░ рд▓реЛрдХрд▓ рд╡ рд░рд┐рдореЛрдЯ рдЗрдВрдлрд░реЗрдВрд╕ рдХреЗ рд▓рд┐рдП OpenAI-рдХрдореНрдкреИрдЯрд┐рдмрд▓ API рдХреЛ рдПрдХреНрд╕рдкреЛрдЬрд╝ рдХрд░реЗрдВред
рдЪрд░рдг 1: рдЕрдкрдирд╛ RunPod рд╡рд╛рддрд╛рд╡рд░рдг рд╕реЗрдЯ рдЕрдк рдХрд░реЗрдВ┬а
рдореЙрдбрд▓ рд▓реЙрдиреНрдЪ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдкрдХрд╛ RunPod рдЕрдХрд╛рдЙрдВрдЯ рд╕реЗрдЯ рд╣реИ:
рдпрд╣рд╛рдБ рд▓реЙрдЧ рдЗрди рдХрд░реЗрдВ: RunPod.io рдФрд░ рдЕрдкрдиреА рдмрд┐рд▓рд┐рдВрдЧ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░реЗрдВред
рдЕрдкрдиреЗ рдмреИрд▓реЗрдВрд╕ рдореЗрдВ рдХрдо рд╕реЗ рдХрдо $10 рдЬреЛрдбрд╝реЗрдВ рддрд╛рдХрд┐ рдЖрдк рдЗрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдХреА рдЕрд╡рдзрд┐ рдХреЗ рд▓рд┐рдП рдПрдХ рд╕рд┐рдВрдЧрд▓ A100 GPU рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдЪрд▓рд╛ рд╕рдХреЗрдВред
рдЪрд░рдг 2: A100 GPU рдХреЗ рд╕рд╛рде рдПрдХ рдкреЙрдб рдбрд┐рдкреНрд▓реЙрдп рдХрд░реЗрдВ
рдЕрдм, рдРрд╕рд╛ рдкреЙрдб рдкреНрд░реЛрд╡рд┐рдЬрд╝рди рдХрд░реЗрдВ рдЬреЛ рдореЙрдбрд▓ рдХреЛ рд╣реЛрд╕реНрдЯ рдХрд░ рд╕рдХреЗред рдкреЙрдб рд╕реЗрдЯ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдпреЗ рдХрджрдо рдЕрдкрдирд╛рдПрдБ:
Pods рд╕реЗрдХреНрд╢рди рдореЗрдВ рдЬрд╛рдПрдБ рдФрд░ рдЪреБрдиреЗрдВ A100 SXM GPU with 80GB VRAM. рдЗрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдХреЗ рд▓рд┐рдП, рд╣рдо рдХреЗрд╡рд▓ рдПрдХ A100 GPU рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗред
тАЬDeploy a PodтАЭ рд╕реЗрдХреНрд╢рди рдореЗрдВ рдЬрд╛рдПрдБ рдФрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВ Edit Template.
рдЕрдм, рдХрдВрдЯреЗрдирд░ рдбрд┐рд╕реНрдХ рдФрд░ рд╡реЙрд▓реНрдпреВрдо рдбрд┐рд╕реНрдХ рдХреЛ 60 GB рддрдХ рдмрдврд╝рд╛рдПрдБ рдФрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВ Set Overrides.
рдЗрд╕рдХреЗ рдмрд╛рдж рдХреНрд▓рд┐рдХ рдХрд░реЗрдВ Deploy On-Demand, рдФрд░ рдЖрдкрдХрд╛ рдкреЙрдб рдбрд┐рдкреНрд▓реЙрдп рд╣реЛ рдЬрд╛рдПрдЧрд╛ред рдбрд┐рдкреНрд▓реЙрдп рдХрд┐рдпрд╛ рдЧрдпрд╛ рдкреЙрдб Pods рд╕реЗрдХреНрд╢рди рдореЗрдВ рд╕рднреА рд╕реЗрдЯ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЗ рд╕рд╛рде рджрд┐рдЦрд╛рдИ рджреЗрдЧрд╛ред рдХреБрдЫ рд╕реЗрдХрдВрдб рдкреНрд░рддреАрдХреНрд╖рд╛ рдХрд░реЗрдВ рдЬрдм рддрдХ рдХрд┐ Connect рдмрдЯрди рд╕рдХреНрд░рд┐рдп рди рд╣реЛ рдЬрд╛рдПред
рдЪрд░рдг 3: рдЕрдкрдиреЗ рдкреЙрдб рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ
рдЬреИрд╕реЗ рд╣реА Connect рдмрдЯрди рдХреНрд▓рд┐рдХ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рд╣реЛ рдЬрд╛рдП, рдЙрд╕ рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВред рдЖрдкрдХреЛ рдХрдИ рдХрдиреЗрдХреНрд╢рди рд╡рд┐рдХрд▓реНрдк рджрд┐рдЦрд╛рдИ рджреЗрдВрдЧреЗтАФрдЖрдк рдпрд╛ рддреЛ:
JupyterLab рдЯрд░реНрдорд┐рдирд▓ рдЦреЛрд▓рдХрд░ рд╢реЗрд▓ рдХрдорд╛рдВрдб рдЪрд▓рд╛рдПрдБ рдпрд╛ Jupyter рдиреЛрдЯрдмреБрдХ рдЦреЛрд▓реЗрдВ (рдЕрдиреБрд╢рдВрд╕рд┐рдд)ред
рдпрд╛ рд░рд┐рдореЛрдЯ рдХрдВрдЯреНрд░реЛрд▓ рдХреЗ рд▓рд┐рдП SSH рдпрд╛ HTTP рдкреЛрд░реНрдЯреНрд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВред
рдиреЛрдЯ: Jupyter Lab рдХреЗ рдиреАрдЪреЗ рд╣рд░реЗ рд░рдВрдЧ рдХрд╛ рдбреЙрдЯ ЁЯЯв рдФрд░ Ready рд╕рдВрдХреЗрдд рджрд┐рдЦрд╛рдИ рджреЗрдиреЗ рддрдХ рдкреНрд░рддреАрдХреНрд╖рд╛ рдХрд░реЗрдВред
┬а Jupyter Lab рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВтАФрдпрд╣ рдЖрдкрдХреЛ рдПрдХ рдЕрдиреНрдп рд╡рд┐рдВрдбреЛ рдореЗрдВ рд▓реЗ рдЬрд╛рдПрдЧрд╛ рдЬрд╣рд╛рдБ рдирдпрд╛ Jupyter рдиреЛрдЯрдмреБрдХ рдмрдирд╛рдиреЗ рдХреЗ рд╡рд┐рдХрд▓реНрдк рд╣реЛрдВрдЧреЗред рдПрдХ рдирдпрд╛ рдЯрд░реНрдорд┐рдирд▓ рдЦреЛрд▓реЗрдВ рдпрд╛ рдирдИ Python рдлрд╝рд╛рдЗрд▓ рд╕реЗрдЯ рдХрд░реЗрдВред
рдЪрд░рдг 4: vLLM рдФрд░ рдЖрд╡рд╢реНрдпрдХ рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВ
рдЕрдкрдиреЗ рдкреЙрдб рдХреЗ рдЕрдВрджрд░, рдЯрд░реНрдорд┐рдирд▓ рдпрд╛ Jupyter Notebook рдореЗрдВ, vLLM рдФрд░ рдЗрд╕рдХреА рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВред┬а
pip install - U vllm - - pre - - extra- index- url https: // wheels. vllm. ai/ nightly
pip install gradioрд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рд╕рд╛рде рд╣реА, рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдк mistral_common >= 1.6.0 рдЪрд▓рд╛ рд░рд╣реЗ рд╣реИрдВ, рдЗрд╕рдХреЗ рд▓рд┐рдП рдпрд╣ рдХрдорд╛рдВрдб рдЪрд▓рд╛рдПрдБ:
python -c "import mistral_common; print(mistral_common.__version__)" рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЪрд░рдг 5: рдореЙрдбрд▓ рдХреЛ рд╕рд░реНрд╡ рдХрд░реЗрдВ
рдЕрдм, рдореЙрдбрд▓ рдХреЛ рд╕рд░реНрд╡ рдХрд░рддреЗ рд╣реИрдВред рдмрд╛рдПрдБ рдКрдкрд░ рдХреЛрдиреЗ рдореЗрдВ тАЬ+тАЭ рдЪрд┐рдиреНрд╣ рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВ рдФрд░ рд╡рд┐рдХрд▓реНрдкреЛрдВ рдореЗрдВ рд╕реЗ Terminal рдЪреБрдиреЗрдВ, рдлрд┐рд░ рдирд┐рдореНрди рдХрдорд╛рдВрдб рдЪрд▓рд╛рдПрдБ:
vllm serve mistralai/Magistral-Small-2506 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tool-call-parser mistral \
--enable-auto-tool-choiceрд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЗрд╕ рдЯрд░реНрдорд┐рдирд▓ рдХреЛ рдЪрд▓рддрд╛ рд░рд╣рдиреЗ рджреЗрдВ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдХрдорд╛рдВрдб vLLM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Magistral Small рдореЙрдбрд▓ рд▓реЙрдиреНрдЪ рдХрд░рддреА рд╣реИ рдФрд░ рдЗрд╕реЗ рддреЗрдЬ, OpenAI-рд╕рдВрдЧрдд API рдПрдиреНрдбрдкреЙрдЗрдВрдЯ ( http://localhost:8000/v1 ) рдкрд░ рдЙрдкрд▓рдмреНрдз рдХрд░рд╛рддреА рд╣реИред рдпрд╣рд╛рдБ рдкреНрд░рддреНрдпреЗрдХ рдлреНрд▓реИрдЧ рдХрд╛ рд╡рд┐рд╡рд░рдг рд╣реИ:
рдлреНрд▓реИрдЧ
рд╡рд┐рд╡рд░рдг
mistralai/Magistral-Small-2506
рдпрд╣ рдПрдХ Hugging Face рдореЙрдбрд▓ рдкрд╣рдЪрд╛рдирдХрд░реНрддрд╛ рд╣реИред рдпрджрд┐ рдпрд╣ рдореЙрдбрд▓ рдкрд╣рд▓реЗ рд╕реЗ рдореМрдЬреВрдж рдирд╣реАрдВ рд╣реИ, рддреЛ vLLM рдЗрд╕реЗ рд╕реНрд╡рддрдГ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░ рд▓реЗрддрд╛ рд╣реИред
--tokenizer-mode mistral
рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдХреЛ Mistral-рд╡рд┐рд╢рд┐рд╖реНрдЯ рд▓реЙрдЬрд┐рдХ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдЗрдВрдЯрд░рдкреНрд░реЗрдЯ рдХрд┐рдпрд╛ рдЬрд╛рдПред
--config-format mistral
рдпрд╣ рд╕рдВрдХреЗрдд рджреЗрддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХреЙрдиреНрдлрд╝рд┐рдЧ Mistral рдХреЗ рдХрд╕реНрдЯрдо рдлрд╝реЙрд░реНрдореЗрдЯ рдореЗрдВ рд╣реИ, рди рдХрд┐ Hugging Face рдХреЗ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдореЗрдВред
--load-format mistral
рдпрд╣ Mistral рджреНрд╡рд╛рд░рд╛ рдЕрдкреЗрдХреНрд╖рд┐рдд рд▓реЗрдЖрдЙрдЯ рдореЗрдВ рдореЙрдбрд▓ рд╡реЗрдЯреНрд╕ рд▓реЛрдб рдХрд░рддрд╛ рд╣реИ (рд╕рдВрдЧрддрддрд╛ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг)ред
--tool-call-parser mistral
рдпрд╣ Mistral рдХреА рд╕рдВрд░рдЪрдирд╛ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдЯреВрд▓-рдХреЙрд▓рд┐рдВрдЧ рд╕рд┐рдВрдЯреИрдХреНрд╕ рдХреЛ рдкрд╛рд░реНрд╕ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рдмрдирд╛рддрд╛ рд╣реИред
--enable-auto-tool-choice
рдпрджрд┐ рдЯреВрд▓ рдХреЙрд▓рд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИ, рддреЛ рдЗрдирдкреБрдЯ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рд╕реНрд╡рддрдГ рд╕рд░реНрд╡рд╢реНрд░реЗрд╖реНрда рдЯреВрд▓ рдЪреБрдирддрд╛ рд╣реИред рдпрд╣ рд╡реИрдХрд▓реНрдкрд┐рдХ рд╣реИ, рд▓реЗрдХрд┐рди рдЯреВрд▓ рд░реАрдЬрдирд┐рдВрдЧ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рд╣реИред
рдЪрд░рдг 6: Magistral рдФрд░ vLLM рдХреЗ рд╕рд╛рде рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдХрд╛ рдбреАрдмрдЧ
рдЕрдм рд╣рдо рдПрдХ рдбреЗрдореЛ рдмрдирд╛рдПрдБрдЧреЗ рдЬрд╣рд╛рдБ Magistral рд╕реЗ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдпрд╛ рдЧрдгрд┐рддреАрдп рдкреНрд░реВрдл рдХреЛ рдбреАрдмрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд╣рд╛ рдЬрд╛рдПрдЧрд╛ред рдореЙрдбрд▓ <think> рдЯреИрдЧреНрд╕ рдореЗрдВ рдПрдХ рд╡рд┐рд╕реНрддреГрдд рдЖрдВрддрд░рд┐рдХ рдореЛрдиреЛрд▓реЙрдЧ рдФрд░ рдЕрдВрдд рдореЗрдВ рдПрдХ рд╕рд╛рд░рд╛рдВрд╢ рдЖрдЙрдЯрдкреБрдЯ рдХрд░реЗрдЧрд╛ред
рдЪрд░рдг 6.1: OpenAI рдХреНрд▓рд╛рдЗрдВрдЯ рдФрд░ рд╕рд┐рд╕реНрдЯрдо рдкреНрд░реЙрдореНрдкреНрдЯ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝ рдХрд░реЗрдВ
рд╣рдо Jupyter Notebook рдореЗрдВ рдЗрдореНрдкреЛрд░реНрдЯреНрд╕ рд╕реЗрдЯрдЕрдк рдХрд░рдиреЗ рдФрд░ OpenAI рдХреНрд▓рд╛рдЗрдВрдЯ рдХреЛ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝ рдХрд░рдиреЗ рд╕реЗ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВред рдлрд┐рд░, рдореВрд▓ Magistral рдкреЗрдкрд░ рдореЗрдВ рд╕реБрдЭрд╛рдП рдЕрдиреБрд╕рд╛рд░ Magistral рдХрд╛ рд╕рд┐рд╕реНрдЯрдо рдкреНрд░реЙрдореНрдкреНрдЯ рд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВред
import gradio as gr
from openai import OpenAI
import re
import time
client = OpenAI( api_key= "EMPTY" , base_url= "http://localhost:8000/v1" )
SYSTEM_PROMPT = """<s>[SYSTEM_PROMPT]system_prompt
A user will ask you to solve a task. You should first draft your thinking process (inner monologue) until you have derived the final answer. Afterwards, write a self-contained summary of your thoughts.
<think>
Your thoughts or draft, like working through an exercise on scratch paper.
</think>
Here, provide a concise summary that reflects your reasoning and presents a clear final answer to the user.
Problem:
[/SYSTEM_PROMPT]""" рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
SYSTEM_PROMPT рдпрд╣ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХреЛ рдХрд┐рд╕ рд╕рдВрд░рдЪрд┐рдд рдлрд╝реЙрд░реНрдореЗрдЯ рдореЗрдВ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рджреЗрдиреА рдЪрд╛рд╣рд┐рдП:
рдореЙрдбрд▓ рд╕реЗ рдкрд╣рд▓реЗ рдПрдХ <think> рдЯреНрд░реЗрд╕ (рдЖрдВрддрд░рд┐рдХ рдореЛрдиреЛрд▓реЙрдЧ рдЬреИрд╕рд╛) рдЬрдирд░реЗрдЯ рдХрд░рдиреЗ рдХреЛ рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ,
рдлрд┐рд░ </think> рдЯреИрдЧ рдХреЗ рдмрд╛рдж рдЕрдВрддрд┐рдо рд╕рд╛рд░рд╛рдВрд╢ рддреИрдпрд╛рд░ рдХрд░рдирд╛ рд╣реЛрддрд╛ рд╣реИред
рдЪрд░рдг 6.2: рдореЙрдбрд▓ рдЖрдЙрдЯрдкреБрдЯ рдХреЛ рд╕реНрдЯреНрд░реАрдо рдХрд░реЗрдВ рдФрд░ рдмреАрдЪ рдореЗрдВ рд░реЛрдХрдиреЗ рдХреА рд╕реБрд╡рд┐рдзрд╛ рджреЗрдВ
рдЗрд╕рдХреЗ рдмрд╛рдж, рд╣рдо Magistral рдХреЗ рдореВрд▓ рдмреНрд▓реЙрдЧ рдореЗрдВ рд╕реБрдЭрд╛рдП рдЕрдиреБрд╕рд╛рд░ рдЖрд╡рд╢реНрдпрдХ temperature, top_p, рдФрд░ max_tokens рд╕реЗрдЯ рдХрд░рдХреЗ рдореЙрдбрд▓ рдЖрдЙрдЯрдкреБрдЯ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рдХреЛ рд╣реИрдВрдбрд▓ рдХрд░рддреЗ рд╣реИрдВред
def debug_faulty_logic_stream ( faulty_proof, stop_signal) :
stop_signal[ "stop" ] = False
messages = [
{ "role" : "system" , "content" : SYSTEM_PROMPT} ,
{ "role" : "user" , "content" : f"Here is a flawed logic or math proof. Can you debug it step-by-step?\n\n { faulty_proof} " }
]
try :
response = client. chat. completions. create(
model= "mistralai/Magistral-Small-2506" ,
messages= messages,
stream= True ,
temperature= 0.7 ,
top_p= 0.95 ,
max_tokens= 2048
)
buffer = ""
for chunk in response:
if stop_signal. get( "stop" ) :
break
delta = chunk. choices[ 0 ] . delta
if hasattr ( delta, "content" ) and delta. content:
buffer += delta. content
filtered = re. sub( r"<think>.*?</think>" , "" , buffer , flags= re. DOTALL) . strip( )
yield filtered
time. sleep( 0.02 )
except Exception as e:
yield f"Error: { str ( e) } "
def stop_streaming ( stop_signal) :
stop_signal[ "stop" ] = True
return gr. Textbox. update( value= "Stopped." ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЙрдкрд░реЛрдХреНрдд рдХреЛрдб рд╕реНрдирд┐рдкреЗрдЯ рдореЙрдбрд▓ рд╕реЗ рдЯреЛрдХрди-рджрд░-рдЯреЛрдХрди рд▓рд╛рдЗрд╡ рдЖрдЙрдЯрдкреБрдЯ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рдХреЛ рд╕рдВрднрд╛рд▓рддрд╛ рд╣реИред stop_signal рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЛ "Stop" рдмрдЯрди рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░рдХреЗ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рд░реЛрдХрдиреЗ рджреЗрддрд╛ рд╣реИред
рдмрдлрд╝рд░ рд╕рд╛рд░реЗ рдХрдВрдЯреЗрдВрдЯ рдХреЛ рдЗрдХрдЯреНрдард╛ рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рд░реЗрдЧреБрд▓рд░ рдПрдХреНрд╕рдкреНрд░реЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП рдХреЗрд╡рд▓ рд╕рд╛рд░рд╛рдВрд╢ ( <think> рдЯреИрдЧ рдХреЛ рд╣рдЯрд╛рдХрд░) рд╣реА рдпреАрд▓реНрдб рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдпрджрд┐ рдХреЛрдИ рддреНрд░реБрдЯрд┐ рд╣реЛрддреА рд╣реИ (рдЬреИрд╕реЗ, рдиреЗрдЯрд╡рд░реНрдХ рд╕рдорд╕реНрдпрд╛), рддреЛ рдпрд╣ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢ рд▓реМрдЯрд╛рддрд╛ рд╣реИред
рдЪрд░рдг 6.3: Gradio UI рдмрдирд╛рдПрдБ
рдЖрдЗрдП рдЗрд╕реЗ рдПрдХ рд╕рд╛рдзрд╛рд░рдг Gradio рдРрдк рдХреЗ рд╕рд╛рде рдЬреЛрдбрд╝рддреЗ рд╣реИрдВ рдЬреЛ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЛ рдЙрдирдХрд╛ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдпрд╛ рдкреНрд░реВрдл рдЬреЛрдбрд╝рдиреЗ рдФрд░ рдЙрд╕реЗ рдореЙрдбрд▓ рдХреЛ рд░реАрдЬрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рд╕рдмрдорд┐рдЯ рдХрд░рдиреЗ рдХреА рд╕реБрд╡рд┐рдзрд╛ рджреЗрддрд╛ рд╣реИред
with gr. Blocks( ) as demo:
gr. Markdown( "## Chain-of-Logic Debugger (Streaming via Magistral + vLLM)" )
input_box = gr. Textbox(
label= "Paste Your Faulty Logic or Proof" ,
lines= 8 ,
placeholder= "e.g., Assume x = y, then x┬▓ = xy..."
)
output_box = gr. Textbox( label= "Corrected Reasoning (Streaming Output)" )
submit_btn = gr. Button( "Submit" )
stop_btn = gr. Button( "Stop" )
stop_flag = gr. State( { "stop" : False } )
submit_btn. click(
fn= debug_faulty_logic_stream,
inputs= [ input_box, stop_flag] ,
outputs= output_box
)
stop_btn. click(
fn= stop_streaming,
inputs= stop_flag,
outputs= output_box
)
if __name__ == "__main__" :
demo. launch( share= True , inbrowser= True , debug= True ) рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдКрдкрд░ рджрд┐рдпрд╛ рдЧрдпрд╛ рдХреЛрдб рдПрдХ рд╕рд░рд▓ Gradio рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдмрдирд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ:
рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдкреЗрд╕реНрдЯ рдХрд░рдиреЗ рд╣реЗрддреБ рдПрдХ рдЯреЗрдХреНрд╕реНрдЯ рдЗрдирдкреБрдЯ рдмреЙрдХреНрд╕ред
рдЬреИрд╕реЗ-рдЬреИрд╕реЗ рдЯреЛрдХрди рд╕реНрдЯреНрд░реАрдо рд╣реЛрддреЗ рд╣реИрдВ, рдЕрдкрдбреЗрдЯ рд╣реЛрдиреЗ рд╡рд╛рд▓рд╛ рд▓рд╛рдЗрд╡ рдЖрдЙрдЯрдкреБрдЯ рдмреЙрдХреНрд╕ред
рдПрдХ Submit рдмрдЯрди рдЬреЛ рдбреАрдмрдЧрд░ рд╢реБрд░реВ рдХрд░рддрд╛ рд╣реИ, рдФрд░ рдПрдХ Stop рдмрдЯрди рдЬреЛ рдЗрд╕реЗ рд░реЛрдХрддрд╛ рд╣реИред
рдпрд╣ gr.State рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ рддрд╛рдХрд┐ рдкрддрд╛ рд░рдЦрд╛ рдЬрд╛ рд╕рдХреЗ рдХрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рд░реЛрдХрдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реИ рдпрд╛ рдирд╣реАрдВред рдлрд┐рд░ launch() рдореЗрдердб рдРрдк рдХреЛ рд▓реЛрдХрд▓реА рдЪрд▓рд╛рддрд╛ рд╣реИ рдФрд░ рдЖрдкрдХреЗ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдореЗрдВ рдЦреЛрд▓рддрд╛ рд╣реИред рдпрд╣рд╛рдБ рд╡рд╣ рдЗрдирдкреБрдЯ рд╣реИ рдЬреЛ рдореИрдВрдиреЗ рдЖрдЬрд╝рдорд╛рдпрд╛:
Assume x = y. Then, x┬▓ = xy. Subtracting both sides gives x┬▓ - y┬▓ = xy - y┬▓. So, (x+y)(xтИТy) = y(xтИТy). Cancelling xтИТy gives x+y = y. But since x = y, this means 2y = y тЖТ 2 = 1.рд╕рдВрдЪрд╛рд▓рд┐рдд рджреНрд╡рд╛рд░рд╛
рдЖрдк рдЙрд╕ рдкрд╣рд▓реЗ рд╕реЗ рдЪрд▓ рд░рд╣реЗ рдЯрд░реНрдорд┐рдирд▓ рдкрд░ рд╕реНрд╡рд┐рдЪ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдЬрд╣рд╛рдБ vLLM рд╕рд░реНрд╡ рдХрд░ рд░рд╣рд╛ рд╣реИ, рддрд╛рдХрд┐ KV рдХреИрд╢ рдЙрдкрдпреЛрдЧ рдХреЗ рд▓реЙрдЧреНрд╕ рджреЗрдЦреЗрдВ, рд╕рд╛рде рд╣реА рдЬрдм рдореЙрдбрд▓ рдЖрдЙрдЯрдкреБрдЯ рджреЗрддрд╛ рд╣реИ рддреЛ рд╣рд┐рдЯ рд░реЗрдЯ рдХреИрд╕реЗ рдмрдврд╝рддреА рд╣реИ рдпрд╣ рднреА рджреЗрдЦ рд╕рдХреЗрдВред
Ollama рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, vLLM рдЕрдиреБрдорд╛рди рдХреЗ рджреМрд░рд╛рди рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рддреЗрдЬрд╝ рдФрд░ рдЕрдзрд┐рдХ рд╕реНрдерд┐рд░ рд░рд╣рд╛ред рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рд╕реНрдореВрде рд▓рдЧреА, рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдЕрдзрд┐рдХрддрд░ рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕рдВрд░рдЪрд┐рдд рдереЗред рдпрд╣ рдХрд╣рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдХрд┐ рдХрднреА-рдХрднреА рдореЙрдбрд▓ рдиреЗ <think> рд╕реЗрдХреНрд╢рдВрд╕ рдореЗрдВ рд╡рд┐рдЪрд╛рд░реЛрдВ рдХреЛ рджреЛрд╣рд░рд╛рдпрд╛, рдЬреЛ рд╕рдВрднрд╡рддрдГ рд╕реИрдВрдкрд▓рд┐рдВрдЧ рдкреЗрдирд▓реНрдЯреА рдХреЗ рдмрд┐рдирд╛ рдСрдЯреЛрд░рд┐рдЧреНрд░реЗрд╕рд┐рд╡ рдбрд┐рдХреЛрдбрд┐рдВрдЧ рдХреА рдкреНрд░рдХреГрддрд┐ рдХреЗ рдХрд╛рд░рдг рд╣реИред
Magistral Small рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП Ollama рдмрдирд╛рдо vLLM
рдЬрд╣рд╛рдБ Ollama рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рдХреБрд╢рд▓ рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдХрд╛ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реНрдб 4-рдмрд┐рдЯ рд╕рдВрд╕реНрдХрд░рдг рд╕рдкреЛрд░реНрдЯ рдХрд░рддрд╛ рд╣реИ, рд╡рд╣реАрдВ vLLM рдХреЛ GPU рдПрдХреНрд╕реЗрд▓реЗрд░реЗрд╢рди рдХреА рдЬрд╝рд░реВрд░рдд рд╣реЛрддреА рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдЗрд╕реЗ рдЪрд▓рд╛рдирд╛ рдереЛрдбрд╝рд╛ рдорд╣рдБрдЧрд╛ рдкрдбрд╝рддрд╛ рд╣реИ (рдЗрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдХреЗ рд▓рд┐рдП рд▓рдЧрднрдЧ $5)ред 4-рдмрд┐рдЯ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реНрдб Magistral рдореЙрдбрд▓ рдХреЛ рд▓рдЧрднрдЧ 14GB рдореЗрдореЛрд░реА рдЪрд╛рд╣рд┐рдП, рдЬрд┐рд╕реЗ рдПрдХ RTX 4090 GPU рдпрд╛ рдпрд╣рд╛рдБ рддрдХ рдХрд┐ 32GB RAM рд╡рд╛рд▓реЗ MacBook рдкрд░ рднреА рд╣реЛрд╕реНрдЯ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдБрдХрд┐, рд╕реАрдорд┐рдд рдХрдВрдкреНрдпреВрдЯ рдХреЗ рдХрд╛рд░рдг рдЕрдиреБрдорд╛рди рдзреАрдорд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИтАФрдкреНрд░рддрд┐ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ 4 рдорд┐рдирдЯ рддрдХред
рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, vLLM рдЙрдЪреНрдЪ-рдкреНрд░рджрд░реНрд╢рди GPUs рдЬреИрд╕реЗ A100 SXM рдкрд░ рдбрд┐рдкреНрд▓реЙрдп рд╣реЛрдиреЗ рдкрд░ рдХрд╛рдлреА рддреЗрдЬрд╝ рдЕрдиреБрдорд╛рди рджреЗрддрд╛ рд╣реИ (рд▓рдЧрднрдЧ рдПрдХ рдорд┐рдирдЯ рд╕реЗ рдХрдо рдкреНрд░рддрд┐ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛), рдЬрд┐рд╕рд╕реЗ рдпрд╣ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛рд╢реАрд▓ рдРрдкреНрд╕ рдпрд╛ рд╕реНрдХреЗрд▓реНрдб рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдмреЗрд╣рддрд░ рд╡рд┐рдХрд▓реНрдк рдмрдирддрд╛ рд╣реИред
рдпрджрд┐ рдЖрдк рд╕рд┐рд░реНрдл рдкреНрд░рдпреЛрдЧ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдФрд░ рдЖрдкрдХреЗ рдкрд╛рд╕ рд▓реЛрдХрд▓ рд╕рдВрд╕рд╛рдзрди рд╣реИрдВ, рддреЛ рдХрдо рд╕реЗрдЯрдЕрдк рд▓рд╛рдЧрдд рдХреЗ рдХрд╛рд░рдг Ollama рдЙрдкрдпреБрдХреНрдд рд╣реИред рд▓реЗрдХрд┐рди рдкреНрд░реЛрдбрдХреНрд╢рди-рдЧреНрд░реЗрдб рдкреНрд░рджрд░реНрд╢рди рдпрд╛ рдмрдбрд╝реЗ рд╡рд░реНрдХрд▓реЛрдбреНрд╕ рдХреЗ рд▓рд┐рдП, vLLM рдЕрдиреБрд╢рдВрд╕рд┐рдд рд╡рд┐рдХрд▓реНрдк рд╣реИред рдзреНрдпрд╛рди рд░рдЦреЗрдВ рдХрд┐ vLLM рд▓реЛрдХрд▓реА рдЪрд▓ рд╕рдХрддрд╛ рд╣реИ, рдлрд┐рд░ рднреА рдЗрд╕реЗ рд╕рдХреНрд╖рдо GPU рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИред
рдирд┐рд╖реНрдХрд░реНрд╖
рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рдореЗрдВ, рд╣рдордиреЗ Magistral SmallтАФMistral рдХрд╛ рдПрдХ reasoning-first LLMтАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЪрд░рдг-рджрд░-рдЪрд░рдг рд▓реЙрдЬрд┐рдХ рдбреАрдмрдЧрд░ рдмрдирд╛рдпрд╛ред рд╣рдордиреЗ рдореЙрдбрд▓ рдХреЛ рд▓реЛрдХрд▓реА рдбрд┐рдкреНрд▓реЙрдп рдХрд┐рдпрд╛: рддреНрд╡рд░рд┐рдд рдСрди-рдбрд┐рд╡рд╛рдЗрд╕ рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП Ollama рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдФрд░ OpenAI-рд╕рдВрдЧрдд APIs рдХреЗ рд╕рд╛рде рдЙрдЪреНрдЪ-рдереНрд░реВрдкреБрдЯ GPU рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП vLLM рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗред рд╣рдордиреЗ Gradio рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЗ рд╕рд╛рде рдореЙрдбрд▓ рдХреА рд░реАрдЬрдирд┐рдВрдЧ рдХреНрд╖рдорддрд╛рдУрдВ рдХрд╛ рднреА рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ред рдЪрд╛рд╣реЗ рдЖрдк рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдХреЛ рдбреАрдмрдЧ рдХрд░ рд░рд╣реЗ рд╣реЛрдВ рдпрд╛ рд░реАрдЬрдирд┐рдВрдЧ AI рдЯреВрд▓реНрд╕ рдмрдирд╛ рд░рд╣реЗ рд╣реЛрдВ, Magistral Small рдПрдХ рдЕрдЪреНрдЫрд╛ рд╕рдорд╛рдзрд╛рди рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
Mistral рдиреЗ рдЕрдкрдирд╛ рдкрд╣рд▓рд╛ рд░реАрдЬрдирд┐рдВрдЧ рдореЙрдбрд▓ рдЬрд╛рд░реА рдХрд┐рдпрд╛ рд╣реИ, Magistral, рдЬреЛ рджреЛ рд╡реЗрд░рд┐рдПрдВрдЯ рдореЗрдВ рдЙрдкрд▓рдмреНрдз рд╣реИ: Magistral Small (рдУрдкрди-рд╡реЗрдЯ) рдФрд░ Magistral Medium (рдХреНрд▓реЛрдЬрд╝реНрдб рдореЙрдбрд▓)ред
рдЗрд╕ рдмреНрд▓реЙрдЧ рдореЗрдВ рдореЗрд░рд╛ рдзреНрдпрд╛рди Magistral Small рдкрд░ рд░рд╣реЗрдЧрд╛тАФрдпрд╣ рдПрдХ рдУрдкрди-рд╡реЗрдЯ рд░реАрдЬрдирд┐рдВрдЧ рдореЙрдбрд▓ рд╣реИ, рдЬрд┐рд╕реЗ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рд▓реЙрдЬрд┐рдХ, рдмрд╣реБрднрд╛рд╖реА рд╕рдордЭ, рдФрд░ рдЯреНрд░реЗрд╕ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рд╡реНрдпрд╛рдЦреНрдпрд╛рдПрдБ рджреЗрдиреЗ рдХреА рдХреНрд╖рдорддрд╛ рд╡рд╛рд▓реЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдЬрдм рдЗрд╕реЗ vLLM рдЬреИрд╕реЗ рд╣рд╛рдИ-рдереНрд░реВрдкреБрдЯ рдЗрдВрдлрд░реЗрдВрд╕ рдЗрдВрдЬрди рдпрд╛ Ollama рдЬреИрд╕реЗ рдЖрд╕рд╛рди рдЯреВрд▓реНрд╕ рдХреЗ рд╕рд╛рде рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИ, рддреЛ рдпрд╣ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдХреЛ рдбрд┐рдмрдЧ рдХрд░рдиреЗ рдФрд░ рд░реАрдЬрдирд┐рдВрдЧ рдЯрд╛рд╕реНрдХ рдХреЗ рд▓рд┐рдП рдПрдХ рдмреЗрд╣рддрд░реАрди рдЯреВрд▓ рдмрди рдЬрд╛рддрд╛ рд╣реИред
рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рдореЗрдВ, рдореИрдВ рдЪрд░рдг-рджрд░-рдЪрд░рдг рд╕рдордЭрд╛рдКрдБрдЧрд╛ рдХрд┐ рдХреИрд╕реЗ:
рд╣рдо рдЕрдкрдиреЗ рдкрд╛рдардХреЛрдВ рдХреЛ AI рдХреА рддрд╛рдЬрд╝рд╛ рдЦрдмрд░реЛрдВ рд╕реЗ рдЕрдкрдбреЗрдЯ рд░рдЦрддреЗ рд╣реИрдВ The Median рдХреЗ рдЬрд╝рд░рд┐рдПтАФрдпрд╣ рд╣рдорд╛рд░рд╛ рдореБрдлрд╝реНрдд рд╢реБрдХреНрд░рд╡рд╛рд░ рдХрд╛ рдиреНрдпреВрдЬрд╝рд▓реЗрдЯрд░ рд╣реИ рдЬреЛ рд╣рдлреНрддреЗ рдХреА рдкреНрд░рдореБрдЦ рдХрд╣рд╛рдирд┐рдпреЛрдВ рдХреЛ рд╕рд░рд▓рддрд╛ рд╕реЗ рд╕рдордЭрд╛рддрд╛ рд╣реИред рд╕рдмреНрд╕рдХреНрд░рд╛рдЗрдм рдХрд░реЗрдВ рдФрд░ рд╣рд░ рд╣рдлреНрддреЗ рдЪрдВрдж рдорд┐рдирдЯреЛрдВ рдореЗрдВ рдЕрдкрдбреЗрдЯ рд░рд╣реЗрдВ:
Mistral рдХрд╛ Magistral рдХреНрдпрд╛ рд╣реИ?
Magistral, Mistral AI рдХрд╛ рдкрд╣рд▓рд╛ рд╕рдорд░реНрдкрд┐рдд рд░реАрдЬрдирд┐рдВрдЧ рдореЙрдбрд▓ рд╣реИ, рдЬрд┐рд╕реЗ рдЪрд░рдг-рджрд░-рдЪрд░рдг рд▓реЙрдЬрд┐рдХ, рдмрд╣реБрднрд╛рд╖реА рд╕рдЯреАрдХрддрд╛, рдФрд░ рдЯреНрд░реЗрд╕ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдЖрдЙрдЯрдкреБрдЯ рдХреЗ рд▓рд┐рдП рдмрдирд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред рдпрд╣ рджреЛ рд╡реЗрд░рд┐рдПрдВрдЯ рдореЗрдВ рдбреНрдпреВрд▓-рд░рд┐рд▓реАрдЬрд╝ рдореЙрдбрд▓ рд╣реИ:
рд╕реНрд░реЛрдд: Mistral
Magistral Small, рдЬрд┐рд╕ рдУрдкрди рдореЙрдбрд▓ рдкрд░ рд╣рдо рдзреНрдпрд╛рди рджреЗрдВрдЧреЗ, 128K рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд╡рд┐рдВрдбреЛ рдХреЛ рд╕рдкреЛрд░реНрдЯ рдХрд░рддрд╛ рд╣реИ (рд╕реНрдерд┐рд░ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рд▓рд┐рдП 40K рдЕрдиреБрд╢рдВрд╕рд┐рдд)ред рдЗрд╕реЗ рд╕реБрдкрд░рд╡рд╛рдЗрдЬрд╝реНрдб рдлрд╛рдЗрди-рдЯреНрдпреВрдирд┐рдВрдЧ (Magistral Medium рдХреЗ рдЯреНрд░реЗрд╕реЗрдЬрд╝ рдкрд░) рдФрд░ рд░реАрдЗрдиреНрдлреЛрд░реНрд╕рдореЗрдВрдЯ рд▓рд░реНрдирд┐рдВрдЧ рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
Ollama рдХреЗ рд╕рд╛рде рд▓реЛрдХрд▓ рд░реВрдк рд╕реЗ Magistral Small рдХреИрд╕реЗ рд╕реЗрдЯ рдЕрдк рдХрд░реЗрдВ рдФрд░ рдЪрд▓рд╛рдПрдБ
рдЗрд╕ рд╕реЗрдХреНрд╢рди рдореЗрдВ, рд╣рдо Ollama рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рд▓реЛрдХрд▓ рд░реВрдк рд╕реЗ Mistral рдХреЗ Magistral рдореЙрдбрд▓ рдкрд░ рдЗрдВрдлрд░реЗрдВрд╕ рдХрд░реЗрдВрдЧреЗред рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ рдЗрд╕ рдореЙрдбрд▓ рдХреЛ рд▓рдЧрднрдЧ 14GB рд╕реНрдкреЗрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ рдФрд░ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдЗрд╕реЗ рдПрдХрд▓ RTX 4090 рдпрд╛ 32GB RAM рд╡рд╛рд▓реЗ MacBook рдореЗрдВ рдЪрд▓рд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдореИрдВрдиреЗ рдпрд╣ рдбреЗрдореЛ M3 MacBook Pro рдкрд░ рдЪрд▓рд╛рдпрд╛ред
рдЪрд░рдг 1: Ollama рдХреЗ рдЬрд╝рд░рд┐рдП рдореЙрдбрд▓ рдкреБрд▓ рдХрд░реЗрдВ
macOS, Windows, рдпрд╛ Linux рдХреЗ рд▓рд┐рдП Ollama рдпрд╣рд╛рдБ рд╕реЗ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ: https://ollama.com/download.
рдЗрдВрд╕реНрдЯреЙрд▓рд░ рдХреЗ рдирд┐рд░реНрджреЗрд╢реЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░реЗрдВ, рдФрд░ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди рдХреЗ рдмрд╛рдж, рдЯрд░реНрдорд┐рдирд▓ рдореЗрдВ рдпрд╣ рдЪрд▓рд╛рдХрд░ рд╕рддреНрдпрд╛рдкрд┐рдд рдХрд░реЗрдВ:
рдЕрдЧрд▓рд╛ рдХрджрдо, рдирд┐рдореНрди рдХреЛрдб рдЪрд▓рд╛рдХрд░ Magistral рдореЙрдбрд▓ рдкреБрд▓ рдХрд░реЗрдВ:
рдпрд╣ Magistral рдореЙрдбрд▓ рдХреЛ рдЖрдкрдХреА рд▓реЛрдХрд▓ рдорд╢реАрди рдкрд░ рдкреБрд▓ рдХрд░ рджреЗрдЧрд╛ред рдиреЛрдЯ: рдореЙрдбрд▓ рд▓рдЧрднрдЧ 14 GB рдХрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рд╕рдордп рд▓рдЧреЗрдЧрд╛ред
рдЪрд░рдг 2: рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВ
рдЖрдЗрдП рд╕рднреА рдЖрд╡рд╢реНрдпрдХ рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдХреЗ рд╢реБрд░реБрдЖрдд рдХрд░реЗрдВред
рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рд╣реЛрдиреЗ рдХреЗ рдмрд╛рдж, рд╣рдо рдЗрдВрдлрд░реЗрдВрд╕ рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рд╣реИрдВред
рдЪрд░рдг 3: рдПрдХ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рдкреНрд░реЙрдореНрдкреНрдЯ рдЯреЗрдореНрдкрд▓реЗрдЯ рдмрдирд╛рдПрдБ
рдЕрдм, рд╣рдо рдПрдХ рдкреНрд░реЙрдореНрдкреНрдЯ рдЯреЗрдореНрдкрд▓реЗрдЯ рд╕рдВрд░рдЪрдирд╛ рд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВ (рдЬреИрд╕рд╛ рдХрд┐ рдореВрд▓ Magistral рдкреЗрдкрд░ рдореЗрдВ рдмрддрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИ) рдЬреЛ рдореЙрдбрд▓ рдХреА рд╕реЛрдЪрдиреЗ рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рддреА рд╣реИред
рдЙрдкрд░реЛрдХреНрдд рдлрд╝рдВрдХреНрд╢рди рдПрдХ рдлреЙрд░реНрдореИрдЯреЗрдб рдкреНрд░реЙрдореНрдкреНрдЯ рд▓реМрдЯрд╛рддрд╛ рд╣реИ рдЬреЛ Magistral рдХреЛ рдпрд╣ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИ:
рдпрд╣ рд╕рдВрд░рдЪрдирд╛ рдЙрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ рдЬреИрд╕реЗ Magistral, рдЬрд┐рдиреНрд╣реЗрдВ рдЯреВрд▓-рдСрдЧрдореЗрдВрдЯреЗрдб рдкреНрд░реЙрдореНрдкреНрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдпрд╣реА рд╕рд┐рд╕реНрдЯрдо рдкреНрд░реЙрдореНрдкреНрдЯ рд╕рдВрд░рдЪрдирд╛ рдЧрдгрд┐рддреАрдп рдФрд░ рдХреЛрдбрд┐рдВрдЧ рджреЛрдиреЛрдВ рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреЛрдЧ рдХреА рдЬрд╛ рд╕рдХрддреА рд╣реИред
рдЪрд░рдг 4: рд╕реНрдЯреНрд░реАрдо рдЗрдВрдлрд░реЗрдВрд╕ рдХрд░реЗрдВ рдФрд░ Gradio UI рдмрдирд╛рдПрдВ
рдЗрд╕ рдЪрд░рдг рдореЗрдВ, рд╣рдо Ollama рдХреЗ рд▓реЛрдХрд▓ API рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Magistral рдореЙрдбрд▓ рдХрд╛ рдЖрдЙрдЯрдкреБрдЯ рд░рд┐рдпрд▓-рдЯрд╛рдЗрдо рдореЗрдВ рд╕реНрдЯреНрд░реАрдо рдХрд░реЗрдВрдЧреЗред рдЪреВрдБрдХрд┐ рд╣рдорд╛рд░рд╛ рдлреЛрдХрд╕ рдЯреНрд░реЗрд╕ рдХрд░рдиреЗ рдпреЛрдЧреНрдп, рдЪрд░рдгрдмрджреНрдз рддрд░реНрдХ рдХреЗ рд╕рд╛рде рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рд▓реЙрдЬрд┐рдХ рдХреЛ рдбрд┐рдмрдЧ рдХрд░рдирд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдпрд╣ рдЬрд╝рд░реВрд░реА рд╣реИ рдХрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рджреЗрдЦ рд╕рдХреЗ рдХрд┐ рдореЙрдбрд▓ рдЕрдкрдиреЗ рдирд┐рд╖реНрдХрд░реНрд╖ рддрдХ рдХреИрд╕реЗ рдкрд╣реБрдБрдЪрддрд╛ рд╣реИред рдЕрдВрдд рдореЗрдВ, рд╣рдо рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХреЛ рдПрдХ рд╕рд╛рдл-рд╕реБрдерд░реЗ Gradio рдЗрдВрдЯрд░рдлреЗрд╕ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рджрд┐рдЦрд╛рддреЗ рд╣реИрдВред
рдпрд╣рд╛рдБ рд╕рдВрдХреНрд╖реЗрдк рдореЗрдВ рдХреНрдпрд╛ рд╣реЛ рд░рд╣рд╛ рд╣реИ:
build_prompt()рдлрд╝рдВрдХреНрд╢рди рд╕реЗ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ, рдЬреЛ рдпреВрдЬрд╝рд░ рдЗрдирдкреБрдЯ рдХреЛ рдПрдХ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рдкреНрд░реЙрдореНрдкреНрдЯ рдореЗрдВ рд▓рдкреЗрдЯрддрд╛ рд╣реИ рдФрд░ рдореЙрдбрд▓ рдХреЛ<think>рд░реАрдЬрдирд┐рдВрдЧ рдЯреИрдЧреНрд╕ рдХреЗ рд╕рд╛рде рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИредcall_ollama_stream()рдлрд╝рдВрдХреНрд╢рди рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ POST рд░рд┐рдХреНрд╡реЗрд╕реНрдЯ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗlocalhost:11434рдкрд░ Ollama рдХреЗ HTTP API рдХреЛ рдкреНрд░реЙрдореНрдкреНрдЯ рднреЗрдЬрддрд╛ рд╣реИредrequests.iter_lines()рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкрдВрдХреНрддрд┐-рджрд░-рдкрдВрдХреНрддрд┐ рд╕реНрдЯреНрд░реАрдо рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛рдПрдБ рд╕реБрдирддрд╛ рд╣реИред рд╣рд░ рд▓рд╛рдЗрди рдХреЗ рд▓рд┐рдП, рдпрд╣ JSON рдкреЗрд▓реЛрдб рд╕реЗ response рдлрд╝реАрд▓реНрдб рдирд┐рдХрд╛рд▓рддрд╛ рд╣реИ рдФрд░ рдЙрд╕реЗ рд░рдирд┐рдВрдЧ рдЯреЗрдХреНрд╕реНрдЯ рдмрдлрд╝рд░ рдореЗрдВ рдЬреЛрдбрд╝рддрд╛ рд╣реИредрдореИрдВрдиреЗ рдпрд╣ рдЗрдирдкреБрдЯ рдЖрдЬрд╝рдорд╛рдпрд╛:
M3 MacBook Pro рдкрд░ рдореЗрд░реЗ рдкрд░реАрдХреНрд╖рдг рдореЗрдВ, рдореЙрдбрд▓ рдиреЗ рд╕рд░рд▓ рддрд╛рд░реНрдХрд┐рдХ рд╢реНрд░рдВрдЦрд▓рд╛рдУрдВ рдФрд░ рдЧрдгрд┐рддреАрдп рдкреНрд░реВрдл рдХреЛ рдХрд╛рдлрд╝реА рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕рдВрднрд╛рд▓рд╛ред рд╣рд╛рд▓рд╛рдБрдХрд┐, рдЧрд╣рд░реА рд░реАрдЬрдирд┐рдВрдЧ рдЯрд╛рд╕реНрдХ рдпрд╛ рд▓рдВрдмреА рдереЙрдЯ-рдЪреЗрди рдХреЗ рд▓рд┐рдП, рдпрд╣ рдХрднреА-рдХрднреА рдПрдЬ рдХреЗрд╕ рдорд┐рд╕ рдХрд░ рджреЗрддрд╛ рдерд╛тАФрдЬреЛ рдХрд┐ 24B рдУрдкрди рдореЙрдбрд▓ рд╕реЗ рдЕрдкреЗрдХреНрд╖рд┐рдд рд╣реИред рдпрд╣ рддрд░реАрдХрд╛ рд╣рд▓реНрдХреЗ-рдлреБрд▓реНрдХреЗ рд░реАрдЬрдирд┐рдВрдЧ рдбреЗрдореЛ рдпрд╛ рдСрди-рдбрд┐рд╡рд╛рдЗрд╕ рдЪреЗрди-рдСрдл-рдереЙрдЯ рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЗ рд▓рд┐рдП рдЖрджрд░реНрд╢ рд╣реИ, рд╡рд╣ рднреА рдХреНрд▓рд╛рдЙрдб APIs рдкрд░ рдирд┐рд░реНрднрд░ рд╣реБрдП рдмрд┐рдирд╛ред
vLLM рдХреЗ рд╕рд╛рде Magistral Small рдЪрд▓рд╛рдирд╛
рдЗрд╕ рд╕реЗрдХреНрд╢рди рдореЗрдВ, рдореИрдВ рдмрддрд╛рдКрдБрдЧрд╛ рдХрд┐ RunPod рдкрд░ рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА GPU рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдХреИрд╕реЗ рдкреНрд░реЛрд╡рд┐рдЬрд╝рди рдХрд░реЗрдВ, vLLM рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ Mistral рдХрд╛ Magistral рдореЙрдбрд▓ рдбрд┐рдкреНрд▓реЙрдп рдХрд░реЗрдВ, рдФрд░ рд▓реЛрдХрд▓ рд╡ рд░рд┐рдореЛрдЯ рдЗрдВрдлрд░реЗрдВрд╕ рдХреЗ рд▓рд┐рдП OpenAI-рдХрдореНрдкреИрдЯрд┐рдмрд▓ API рдХреЛ рдПрдХреНрд╕рдкреЛрдЬрд╝ рдХрд░реЗрдВред
рдЪрд░рдг 1: рдЕрдкрдирд╛ RunPod рд╡рд╛рддрд╛рд╡рд░рдг рд╕реЗрдЯ рдЕрдк рдХрд░реЗрдВ┬а
рдореЙрдбрд▓ рд▓реЙрдиреНрдЪ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдкрдХрд╛ RunPod рдЕрдХрд╛рдЙрдВрдЯ рд╕реЗрдЯ рд╣реИ:
рдЪрд░рдг 2: A100 GPU рдХреЗ рд╕рд╛рде рдПрдХ рдкреЙрдб рдбрд┐рдкреНрд▓реЙрдп рдХрд░реЗрдВ
рдЕрдм, рдРрд╕рд╛ рдкреЙрдб рдкреНрд░реЛрд╡рд┐рдЬрд╝рди рдХрд░реЗрдВ рдЬреЛ рдореЙрдбрд▓ рдХреЛ рд╣реЛрд╕реНрдЯ рдХрд░ рд╕рдХреЗред рдкреЙрдб рд╕реЗрдЯ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдпреЗ рдХрджрдо рдЕрдкрдирд╛рдПрдБ:
рдЪрд░рдг 3: рдЕрдкрдиреЗ рдкреЙрдб рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ
рдЬреИрд╕реЗ рд╣реА Connect рдмрдЯрди рдХреНрд▓рд┐рдХ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рд╣реЛ рдЬрд╛рдП, рдЙрд╕ рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВред рдЖрдкрдХреЛ рдХрдИ рдХрдиреЗрдХреНрд╢рди рд╡рд┐рдХрд▓реНрдк рджрд┐рдЦрд╛рдИ рджреЗрдВрдЧреЗтАФрдЖрдк рдпрд╛ рддреЛ:
рдиреЛрдЯ: Jupyter Lab рдХреЗ рдиреАрдЪреЗ рд╣рд░реЗ рд░рдВрдЧ рдХрд╛ рдбреЙрдЯ ЁЯЯв рдФрд░ Ready рд╕рдВрдХреЗрдд рджрд┐рдЦрд╛рдИ рджреЗрдиреЗ рддрдХ рдкреНрд░рддреАрдХреНрд╖рд╛ рдХрд░реЗрдВред
┬аJupyter Lab рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВтАФрдпрд╣ рдЖрдкрдХреЛ рдПрдХ рдЕрдиреНрдп рд╡рд┐рдВрдбреЛ рдореЗрдВ рд▓реЗ рдЬрд╛рдПрдЧрд╛ рдЬрд╣рд╛рдБ рдирдпрд╛ Jupyter рдиреЛрдЯрдмреБрдХ рдмрдирд╛рдиреЗ рдХреЗ рд╡рд┐рдХрд▓реНрдк рд╣реЛрдВрдЧреЗред рдПрдХ рдирдпрд╛ рдЯрд░реНрдорд┐рдирд▓ рдЦреЛрд▓реЗрдВ рдпрд╛ рдирдИ Python рдлрд╝рд╛рдЗрд▓ рд╕реЗрдЯ рдХрд░реЗрдВред
рдЪрд░рдг 4: vLLM рдФрд░ рдЖрд╡рд╢реНрдпрдХ рд▓рд╛рдЗрдмреНрд░реЗрд░реАрдЬрд╝ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВ
рдЕрдкрдиреЗ рдкреЙрдб рдХреЗ рдЕрдВрджрд░, рдЯрд░реНрдорд┐рдирд▓ рдпрд╛ Jupyter Notebook рдореЗрдВ, vLLM рдФрд░ рдЗрд╕рдХреА рдирд┐рд░реНрднрд░рддрд╛рдПрдБ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВред┬а
рд╕рд╛рде рд╣реА, рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдЖрдк
mistral_common >= 1.6.0рдЪрд▓рд╛ рд░рд╣реЗ рд╣реИрдВ, рдЗрд╕рдХреЗ рд▓рд┐рдП рдпрд╣ рдХрдорд╛рдВрдб рдЪрд▓рд╛рдПрдБ:рдЪрд░рдг 5: рдореЙрдбрд▓ рдХреЛ рд╕рд░реНрд╡ рдХрд░реЗрдВ
рдЕрдм, рдореЙрдбрд▓ рдХреЛ рд╕рд░реНрд╡ рдХрд░рддреЗ рд╣реИрдВред рдмрд╛рдПрдБ рдКрдкрд░ рдХреЛрдиреЗ рдореЗрдВ тАЬ+тАЭ рдЪрд┐рдиреНрд╣ рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВ рдФрд░ рд╡рд┐рдХрд▓реНрдкреЛрдВ рдореЗрдВ рд╕реЗ Terminal рдЪреБрдиреЗрдВ, рдлрд┐рд░ рдирд┐рдореНрди рдХрдорд╛рдВрдб рдЪрд▓рд╛рдПрдБ:
рдЗрд╕ рдЯрд░реНрдорд┐рдирд▓ рдХреЛ рдЪрд▓рддрд╛ рд░рд╣рдиреЗ рджреЗрдВ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдХрдорд╛рдВрдб vLLM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ Magistral Small рдореЙрдбрд▓ рд▓реЙрдиреНрдЪ рдХрд░рддреА рд╣реИ рдФрд░ рдЗрд╕реЗ рддреЗрдЬ, OpenAI-рд╕рдВрдЧрдд API рдПрдиреНрдбрдкреЙрдЗрдВрдЯ (http://localhost:8000/v1) рдкрд░ рдЙрдкрд▓рдмреНрдз рдХрд░рд╛рддреА рд╣реИред рдпрд╣рд╛рдБ рдкреНрд░рддреНрдпреЗрдХ рдлреНрд▓реИрдЧ рдХрд╛ рд╡рд┐рд╡рд░рдг рд╣реИ:
рдлреНрд▓реИрдЧ
рд╡рд┐рд╡рд░рдг
mistralai/Magistral-Small-2506рдпрд╣ рдПрдХ Hugging Face рдореЙрдбрд▓ рдкрд╣рдЪрд╛рдирдХрд░реНрддрд╛ рд╣реИред рдпрджрд┐ рдпрд╣ рдореЙрдбрд▓ рдкрд╣рд▓реЗ рд╕реЗ рдореМрдЬреВрдж рдирд╣реАрдВ рд╣реИ, рддреЛ vLLM рдЗрд╕реЗ рд╕реНрд╡рддрдГ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░ рд▓реЗрддрд╛ рд╣реИред
--tokenizer-mode mistralрдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдХреЛ Mistral-рд╡рд┐рд╢рд┐рд╖реНрдЯ рд▓реЙрдЬрд┐рдХ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдЗрдВрдЯрд░рдкреНрд░реЗрдЯ рдХрд┐рдпрд╛ рдЬрд╛рдПред
--config-format mistralрдпрд╣ рд╕рдВрдХреЗрдд рджреЗрддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХреЙрдиреНрдлрд╝рд┐рдЧ Mistral рдХреЗ рдХрд╕реНрдЯрдо рдлрд╝реЙрд░реНрдореЗрдЯ рдореЗрдВ рд╣реИ, рди рдХрд┐ Hugging Face рдХреЗ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдореЗрдВред
--load-format mistralрдпрд╣ Mistral рджреНрд╡рд╛рд░рд╛ рдЕрдкреЗрдХреНрд╖рд┐рдд рд▓реЗрдЖрдЙрдЯ рдореЗрдВ рдореЙрдбрд▓ рд╡реЗрдЯреНрд╕ рд▓реЛрдб рдХрд░рддрд╛ рд╣реИ (рд╕рдВрдЧрддрддрд╛ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг)ред
--tool-call-parser mistralрдпрд╣ Mistral рдХреА рд╕рдВрд░рдЪрдирд╛ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдЯреВрд▓-рдХреЙрд▓рд┐рдВрдЧ рд╕рд┐рдВрдЯреИрдХреНрд╕ рдХреЛ рдкрд╛рд░реНрд╕ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рдмрдирд╛рддрд╛ рд╣реИред
--enable-auto-tool-choiceрдпрджрд┐ рдЯреВрд▓ рдХреЙрд▓рд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИ, рддреЛ рдЗрдирдкреБрдЯ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рд╕реНрд╡рддрдГ рд╕рд░реНрд╡рд╢реНрд░реЗрд╖реНрда рдЯреВрд▓ рдЪреБрдирддрд╛ рд╣реИред рдпрд╣ рд╡реИрдХрд▓реНрдкрд┐рдХ рд╣реИ, рд▓реЗрдХрд┐рди рдЯреВрд▓ рд░реАрдЬрдирд┐рдВрдЧ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рд╣реИред
рдЪрд░рдг 6: Magistral рдФрд░ vLLM рдХреЗ рд╕рд╛рде рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдХрд╛ рдбреАрдмрдЧ
рдЕрдм рд╣рдо рдПрдХ рдбреЗрдореЛ рдмрдирд╛рдПрдБрдЧреЗ рдЬрд╣рд╛рдБ Magistral рд╕реЗ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдпрд╛ рдЧрдгрд┐рддреАрдп рдкреНрд░реВрдл рдХреЛ рдбреАрдмрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд╣рд╛ рдЬрд╛рдПрдЧрд╛ред рдореЙрдбрд▓ <think> рдЯреИрдЧреНрд╕ рдореЗрдВ рдПрдХ рд╡рд┐рд╕реНрддреГрдд рдЖрдВрддрд░рд┐рдХ рдореЛрдиреЛрд▓реЙрдЧ рдФрд░ рдЕрдВрдд рдореЗрдВ рдПрдХ рд╕рд╛рд░рд╛рдВрд╢ рдЖрдЙрдЯрдкреБрдЯ рдХрд░реЗрдЧрд╛ред
рдЪрд░рдг 6.1: OpenAI рдХреНрд▓рд╛рдЗрдВрдЯ рдФрд░ рд╕рд┐рд╕реНрдЯрдо рдкреНрд░реЙрдореНрдкреНрдЯ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝ рдХрд░реЗрдВ
рд╣рдо Jupyter Notebook рдореЗрдВ рдЗрдореНрдкреЛрд░реНрдЯреНрд╕ рд╕реЗрдЯрдЕрдк рдХрд░рдиреЗ рдФрд░ OpenAI рдХреНрд▓рд╛рдЗрдВрдЯ рдХреЛ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝ рдХрд░рдиреЗ рд╕реЗ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВред рдлрд┐рд░, рдореВрд▓ Magistral рдкреЗрдкрд░ рдореЗрдВ рд╕реБрдЭрд╛рдП рдЕрдиреБрд╕рд╛рд░ Magistral рдХрд╛ рд╕рд┐рд╕реНрдЯрдо рдкреНрд░реЙрдореНрдкреНрдЯ рд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВред
SYSTEM_PROMPTрдпрд╣ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХреЛ рдХрд┐рд╕ рд╕рдВрд░рдЪрд┐рдд рдлрд╝реЙрд░реНрдореЗрдЯ рдореЗрдВ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рджреЗрдиреА рдЪрд╛рд╣рд┐рдП:рдЪрд░рдг 6.2: рдореЙрдбрд▓ рдЖрдЙрдЯрдкреБрдЯ рдХреЛ рд╕реНрдЯреНрд░реАрдо рдХрд░реЗрдВ рдФрд░ рдмреАрдЪ рдореЗрдВ рд░реЛрдХрдиреЗ рдХреА рд╕реБрд╡рд┐рдзрд╛ рджреЗрдВ
рдЗрд╕рдХреЗ рдмрд╛рдж, рд╣рдо Magistral рдХреЗ рдореВрд▓ рдмреНрд▓реЙрдЧ рдореЗрдВ рд╕реБрдЭрд╛рдП рдЕрдиреБрд╕рд╛рд░ рдЖрд╡рд╢реНрдпрдХ
temperature,top_p, рдФрд░max_tokensрд╕реЗрдЯ рдХрд░рдХреЗ рдореЙрдбрд▓ рдЖрдЙрдЯрдкреБрдЯ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рдХреЛ рд╣реИрдВрдбрд▓ рдХрд░рддреЗ рд╣реИрдВредрдЙрдкрд░реЛрдХреНрдд рдХреЛрдб рд╕реНрдирд┐рдкреЗрдЯ рдореЙрдбрд▓ рд╕реЗ рдЯреЛрдХрди-рджрд░-рдЯреЛрдХрди рд▓рд╛рдЗрд╡ рдЖрдЙрдЯрдкреБрдЯ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рдХреЛ рд╕рдВрднрд╛рд▓рддрд╛ рд╣реИред
stop_signalрдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЛ "Stop" рдмрдЯрди рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░рдХреЗ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рд░реЛрдХрдиреЗ рджреЗрддрд╛ рд╣реИредрдмрдлрд╝рд░ рд╕рд╛рд░реЗ рдХрдВрдЯреЗрдВрдЯ рдХреЛ рдЗрдХрдЯреНрдард╛ рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рд░реЗрдЧреБрд▓рд░ рдПрдХреНрд╕рдкреНрд░реЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП рдХреЗрд╡рд▓ рд╕рд╛рд░рд╛рдВрд╢ (<think> рдЯреИрдЧ рдХреЛ рд╣рдЯрд╛рдХрд░) рд╣реА рдпреАрд▓реНрдб рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдпрджрд┐ рдХреЛрдИ рддреНрд░реБрдЯрд┐ рд╣реЛрддреА рд╣реИ (рдЬреИрд╕реЗ, рдиреЗрдЯрд╡рд░реНрдХ рд╕рдорд╕реНрдпрд╛), рддреЛ рдпрд╣ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢ рд▓реМрдЯрд╛рддрд╛ рд╣реИред
рдЪрд░рдг 6.3: Gradio UI рдмрдирд╛рдПрдБ
рдЖрдЗрдП рдЗрд╕реЗ рдПрдХ рд╕рд╛рдзрд╛рд░рдг Gradio рдРрдк рдХреЗ рд╕рд╛рде рдЬреЛрдбрд╝рддреЗ рд╣реИрдВ рдЬреЛ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЛ рдЙрдирдХрд╛ рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдпрд╛ рдкреНрд░реВрдл рдЬреЛрдбрд╝рдиреЗ рдФрд░ рдЙрд╕реЗ рдореЙрдбрд▓ рдХреЛ рд░реАрдЬрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рд╕рдмрдорд┐рдЯ рдХрд░рдиреЗ рдХреА рд╕реБрд╡рд┐рдзрд╛ рджреЗрддрд╛ рд╣реИред
рдКрдкрд░ рджрд┐рдпрд╛ рдЧрдпрд╛ рдХреЛрдб рдПрдХ рд╕рд░рд▓ Gradio рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдмрдирд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ:
рдпрд╣
gr.StateрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ рддрд╛рдХрд┐ рдкрддрд╛ рд░рдЦрд╛ рдЬрд╛ рд╕рдХреЗ рдХрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рд░реЛрдХрдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реИ рдпрд╛ рдирд╣реАрдВред рдлрд┐рд░launch()рдореЗрдердб рдРрдк рдХреЛ рд▓реЛрдХрд▓реА рдЪрд▓рд╛рддрд╛ рд╣реИ рдФрд░ рдЖрдкрдХреЗ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдореЗрдВ рдЦреЛрд▓рддрд╛ рд╣реИред рдпрд╣рд╛рдБ рд╡рд╣ рдЗрдирдкреБрдЯ рд╣реИ рдЬреЛ рдореИрдВрдиреЗ рдЖрдЬрд╝рдорд╛рдпрд╛:рдЖрдк рдЙрд╕ рдкрд╣рд▓реЗ рд╕реЗ рдЪрд▓ рд░рд╣реЗ рдЯрд░реНрдорд┐рдирд▓ рдкрд░ рд╕реНрд╡рд┐рдЪ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдЬрд╣рд╛рдБ vLLM рд╕рд░реНрд╡ рдХрд░ рд░рд╣рд╛ рд╣реИ, рддрд╛рдХрд┐ KV рдХреИрд╢ рдЙрдкрдпреЛрдЧ рдХреЗ рд▓реЙрдЧреНрд╕ рджреЗрдЦреЗрдВ, рд╕рд╛рде рд╣реА рдЬрдм рдореЙрдбрд▓ рдЖрдЙрдЯрдкреБрдЯ рджреЗрддрд╛ рд╣реИ рддреЛ рд╣рд┐рдЯ рд░реЗрдЯ рдХреИрд╕реЗ рдмрдврд╝рддреА рд╣реИ рдпрд╣ рднреА рджреЗрдЦ рд╕рдХреЗрдВред
Ollama рдХреА рддреБрд▓рдирд╛ рдореЗрдВ, vLLM рдЕрдиреБрдорд╛рди рдХреЗ рджреМрд░рд╛рди рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рддреЗрдЬрд╝ рдФрд░ рдЕрдзрд┐рдХ рд╕реНрдерд┐рд░ рд░рд╣рд╛ред рд╕реНрдЯреНрд░реАрдорд┐рдВрдЧ рд╕реНрдореВрде рд▓рдЧреА, рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдЕрдзрд┐рдХрддрд░ рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕рдВрд░рдЪрд┐рдд рдереЗред рдпрд╣ рдХрд╣рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдХрд┐ рдХрднреА-рдХрднреА рдореЙрдбрд▓ рдиреЗ <think> рд╕реЗрдХреНрд╢рдВрд╕ рдореЗрдВ рд╡рд┐рдЪрд╛рд░реЛрдВ рдХреЛ рджреЛрд╣рд░рд╛рдпрд╛, рдЬреЛ рд╕рдВрднрд╡рддрдГ рд╕реИрдВрдкрд▓рд┐рдВрдЧ рдкреЗрдирд▓реНрдЯреА рдХреЗ рдмрд┐рдирд╛ рдСрдЯреЛрд░рд┐рдЧреНрд░реЗрд╕рд┐рд╡ рдбрд┐рдХреЛрдбрд┐рдВрдЧ рдХреА рдкреНрд░рдХреГрддрд┐ рдХреЗ рдХрд╛рд░рдг рд╣реИред
Magistral Small рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП Ollama рдмрдирд╛рдо vLLM
рдЬрд╣рд╛рдБ Ollama рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рдХреБрд╢рд▓ рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдХрд╛ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реНрдб 4-рдмрд┐рдЯ рд╕рдВрд╕реНрдХрд░рдг рд╕рдкреЛрд░реНрдЯ рдХрд░рддрд╛ рд╣реИ, рд╡рд╣реАрдВ vLLM рдХреЛ GPU рдПрдХреНрд╕реЗрд▓реЗрд░реЗрд╢рди рдХреА рдЬрд╝рд░реВрд░рдд рд╣реЛрддреА рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдЗрд╕реЗ рдЪрд▓рд╛рдирд╛ рдереЛрдбрд╝рд╛ рдорд╣рдБрдЧрд╛ рдкрдбрд╝рддрд╛ рд╣реИ (рдЗрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдХреЗ рд▓рд┐рдП рд▓рдЧрднрдЧ $5)ред 4-рдмрд┐рдЯ рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реНрдб Magistral рдореЙрдбрд▓ рдХреЛ рд▓рдЧрднрдЧ 14GB рдореЗрдореЛрд░реА рдЪрд╛рд╣рд┐рдП, рдЬрд┐рд╕реЗ рдПрдХ RTX 4090 GPU рдпрд╛ рдпрд╣рд╛рдБ рддрдХ рдХрд┐ 32GB RAM рд╡рд╛рд▓реЗ MacBook рдкрд░ рднреА рд╣реЛрд╕реНрдЯ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдБрдХрд┐, рд╕реАрдорд┐рдд рдХрдВрдкреНрдпреВрдЯ рдХреЗ рдХрд╛рд░рдг рдЕрдиреБрдорд╛рди рдзреАрдорд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИтАФрдкреНрд░рддрд┐ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ 4 рдорд┐рдирдЯ рддрдХред
рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, vLLM рдЙрдЪреНрдЪ-рдкреНрд░рджрд░реНрд╢рди GPUs рдЬреИрд╕реЗ A100 SXM рдкрд░ рдбрд┐рдкреНрд▓реЙрдп рд╣реЛрдиреЗ рдкрд░ рдХрд╛рдлреА рддреЗрдЬрд╝ рдЕрдиреБрдорд╛рди рджреЗрддрд╛ рд╣реИ (рд▓рдЧрднрдЧ рдПрдХ рдорд┐рдирдЯ рд╕реЗ рдХрдо рдкреНрд░рддрд┐ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛), рдЬрд┐рд╕рд╕реЗ рдпрд╣ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛рд╢реАрд▓ рдРрдкреНрд╕ рдпрд╛ рд╕реНрдХреЗрд▓реНрдб рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдмреЗрд╣рддрд░ рд╡рд┐рдХрд▓реНрдк рдмрдирддрд╛ рд╣реИред
рдпрджрд┐ рдЖрдк рд╕рд┐рд░реНрдл рдкреНрд░рдпреЛрдЧ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдФрд░ рдЖрдкрдХреЗ рдкрд╛рд╕ рд▓реЛрдХрд▓ рд╕рдВрд╕рд╛рдзрди рд╣реИрдВ, рддреЛ рдХрдо рд╕реЗрдЯрдЕрдк рд▓рд╛рдЧрдд рдХреЗ рдХрд╛рд░рдг Ollama рдЙрдкрдпреБрдХреНрдд рд╣реИред рд▓реЗрдХрд┐рди рдкреНрд░реЛрдбрдХреНрд╢рди-рдЧреНрд░реЗрдб рдкреНрд░рджрд░реНрд╢рди рдпрд╛ рдмрдбрд╝реЗ рд╡рд░реНрдХрд▓реЛрдбреНрд╕ рдХреЗ рд▓рд┐рдП, vLLM рдЕрдиреБрд╢рдВрд╕рд┐рдд рд╡рд┐рдХрд▓реНрдк рд╣реИред рдзреНрдпрд╛рди рд░рдЦреЗрдВ рдХрд┐ vLLM рд▓реЛрдХрд▓реА рдЪрд▓ рд╕рдХрддрд╛ рд╣реИ, рдлрд┐рд░ рднреА рдЗрд╕реЗ рд╕рдХреНрд╖рдо GPU рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИред
рдирд┐рд╖реНрдХрд░реНрд╖
рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рдореЗрдВ, рд╣рдордиреЗ Magistral SmallтАФMistral рдХрд╛ рдПрдХ reasoning-first LLMтАФрдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЪрд░рдг-рджрд░-рдЪрд░рдг рд▓реЙрдЬрд┐рдХ рдбреАрдмрдЧрд░ рдмрдирд╛рдпрд╛ред рд╣рдордиреЗ рдореЙрдбрд▓ рдХреЛ рд▓реЛрдХрд▓реА рдбрд┐рдкреНрд▓реЙрдп рдХрд┐рдпрд╛: рддреНрд╡рд░рд┐рдд рдСрди-рдбрд┐рд╡рд╛рдЗрд╕ рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП Ollama рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдФрд░ OpenAI-рд╕рдВрдЧрдд APIs рдХреЗ рд╕рд╛рде рдЙрдЪреНрдЪ-рдереНрд░реВрдкреБрдЯ GPU рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП vLLM рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗред рд╣рдордиреЗ Gradio рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЗ рд╕рд╛рде рдореЙрдбрд▓ рдХреА рд░реАрдЬрдирд┐рдВрдЧ рдХреНрд╖рдорддрд╛рдУрдВ рдХрд╛ рднреА рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ред рдЪрд╛рд╣реЗ рдЖрдк рддреНрд░реБрдЯрд┐рдкреВрд░реНрдг рддрд░реНрдХ рдХреЛ рдбреАрдмрдЧ рдХрд░ рд░рд╣реЗ рд╣реЛрдВ рдпрд╛ рд░реАрдЬрдирд┐рдВрдЧ AI рдЯреВрд▓реНрд╕ рдмрдирд╛ рд░рд╣реЗ рд╣реЛрдВ, Magistral Small рдПрдХ рдЕрдЪреНрдЫрд╛ рд╕рдорд╛рдзрд╛рди рд╣реЛ рд╕рдХрддрд╛ рд╣реИред