Programa
Fundamentos da IA
10 h
Imagem do autor
O mundo da ciência de dados mudou completamente desde o surgimento dos large language models (LLMs), com ferramentas como o GPT-3 da OpenAI impulsionando a inovação na área e desbloqueando habilidades antes consideradas inalcançáveis.
Embora os modelos GPT da OpenAI tenham dominado o mercado inicialmente, o cenário evoluiu com o lançamento de vários novos modelos, cada um com seu conjunto de recursos e aplicações especializadas.
Entre eles, os modelos da Mistral se destacam pelo raciocínio avançado e suporte multilíngue, além de ótimas habilidades para escrever código — um salto significativo para a IA.
Este tutorial apresenta o modelo mais recente da Mistral, o Mistral Large, incluindo acesso via API para uso sob demanda, com um mergulho profundo em suas funcionalidades, análise comparativa com outros LLMs e aplicações práticas.
Se você é um cientista de dados experiente, um desenvolvedor buscando ampliar seu toolkit ou um entusiasta de IA curioso para explorar as novidades, este tutorial foi feito para você.
O que é a Mistral AI?
A Mistral AI é uma empresa francesa fundada em abril de 2023 por ex-funcionários da Meta Platforms e do Google DeepMind. Seu principal objetivo é vender produtos e serviços de IA enquanto oferece à sociedade LLMs robustos e open source.
A empresa revolucionou o mercado com o modelo Mistral 7B, lançado em setembro de 2023. Com 7,3 bilhões de parâmetros, ele superou os modelos open source mais avançados da época, incluindo o LLaMA 2, o que deu à Mistral AI um papel de liderança no domínio da IA open source.
Nos últimos meses, a Mistral AI se tornou uma força pioneira na indústria de inteligência artificial, oferecendo ferramentas poderosas para resolver problemas complexos e otimizar operações.
E é exatamente isso que nos leva ao seu lançamento mais recente, o modelo Mistral Large.
O que é o Mistral Large
O Mistral Large é o LLM mais recente e mais poderoso da Mistral, lançado em fevereiro de 2024. Ele se posiciona como o modelo carro-chefe para geração de texto, rivalizando até mesmo com as renomadas capacidades do GPT-4.
O foco é entregar forte raciocínio e conhecimento, além de uma compreensão sólida de código (em múltiplas linguagens de programação) e domínio multilíngue. E são justamente estas as tarefas em que ele mais se destaca:
Raciocínio e conhecimento
O Mistral Large demonstra habilidades robustas de raciocínio. Para avaliar essas habilidades, o desempenho de LLMs como Mistral Large ou GPT-4 é comparado em diferentes benchmarks que testam compreensão, raciocínio, conhecimento e capacidade de lidar com diferentes tipos de dados.
Alguns dos mais comuns são:
- MMLU, ou Measuring Massive Multitask Language Understanding: testa a compreensão do modelo em uma ampla variedade de assuntos, de domínios profissionais a raciocínio de senso comum.
- HellaSwag: avalia a compreensão do modelo sobre cenários de senso comum e sua capacidade de prever a continuação mais plausível de um contexto dado.
- ARC Challenge: mede a capacidade do modelo de responder a questões complexas de ciências em nível escolar, exigindo raciocínio lógico e entendimento de conceitos científicos.
O desempenho desses modelos pré-treinados nos três benchmarks anteriores e em outros é ilustrado na figura abaixo:
Imagem por Mistral AI. Desempenho em benchmarks amplamente usados de senso comum, raciocínio e conhecimento dos principais LLMs do mercado: MMLU (Measuring massive multitask language understanding), HellaSwag (10-shot), WinoGrande (5-shot), ARC Challenge (5-shot), ARC Challenge (25-shot), TriviaQA (5-shot) e TruthfulQA.
Como você pode ver, o Mistral Large é o modelo com melhor desempenho em ArcC e TruthfulQA, mantendo pontuações próximas às do GPT-4 em quase todos os benchmarks.
Capacidades multilíngues
Diferente de muitos modelos proficientes em um único idioma, o Mistral Large possui fluência nativa em inglês, francês, espanhol, alemão e italiano.
Essa capacidade vai além da simples tradução: inclui compreensão profunda de gramática e contexto cultural, tornando-o ideal para aplicações globais que exigem um tratamento nativo nesses idiomas.
Matemática e código
O Mistral Large também se destaca em tarefas de programação e matemática, demonstrando capacidades superiores. Novamente, há benchmarks padrão para comparar diferentes LLMs em matemática e codificação. Alguns dos mais comuns são:
- HumanEval: mede a capacidade do modelo de gerar soluções de código corretas para uma variedade de problemas de programação.
- MBPP: testa a proficiência do modelo em resolver problemas de programação em Python.
- GSM8K: avalia as habilidades de resolução de problemas em matemática de nível escolar.
A tabela a seguir apresenta uma visão geral do desempenho em vários benchmarks conhecidos, comparando as habilidades de codificação e matemática dos principais LLMs.
Imagem por Mistral AI. Desempenho em benchmarks populares de código e matemática dos principais LLMs do mercado: HumanEval pass@1, MBPP pass@1, Math maj@4, GSM8K maj@8 (8-shot) e GSM8K maj@1 (5-shot).
Assim como antes, o Mistral Large lidera na maioria dos benchmarks (MBPP, Math maj@4 e GSM8K), mantendo notas altas em todos.
Além disso, o Mistral Large traz novas capacidades e pontos fortes:
- Sua janela de contexto de 32K tokens permite recuperar informações com precisão a partir de documentos extensos. Em termos simples, o Mistral Large consegue considerar até 32.000 tokens (pedaços de palavras) de texto de entrada por vez ao gerar respostas ou analisar texto, em comparação com a janela de 8K tokens do Mistral 7B.
- Sua precisão ao seguir instruções permite que desenvolvedores personalizem políticas de moderação – usamos esse recurso para estabelecer moderação em nível de sistema no le Chat.
- Ele suporta function calling nativamente. Isso significa que o Mistral Large consegue processar e executar chamadas de função dentro de sua estrutura. O LLM entende solicitações para executar funções específicas, realiza essas funções como parte da geração de resposta ou manipula dados conforme a lógica da função.
Todos os modelos da Mistral AI são lançados sob a licença Apache 2.0, permitindo uso sem restrições. Você pode saber mais sobre arquitetura e desempenho no site e na documentação oficiais da Mistral.
Mistral Large vs. outros LLMs
Quando comparado a outros modelos no universo dos LLMs, como ChatGPT e Claude, o Mistral Large se destaca principalmente pela maior acessibilidade de preço.
No cenário competitivo da IA, o Mistral Large apresentou resultados impressionantes em benchmarks amplamente reconhecidos, garantindo sua posição como o segundo melhor modelo do mundo disponível via API.
Essa conquista reforça sua eficácia em compreender e gerar texto, em comparação com gigantes como GPT-4, Claude 2 e LLaMA 2 70B, em avaliações abrangentes como o MMLU (Measuring Massive Multitask Language Understanding).
Imagem por Mistral AI. Comparação entre GPT-4, Mistral Large (pré-treinado), Claude 2, Gemini Pro 1.0, GPT-3.5 e LLaMA 2 70B no MMLU.
Enquanto o ChatGPT revolucionou as conversas interativas com IA e o Claude 2 trouxe avanços em compreensão e geração, o Mistral Large vai além ao integrar raciocínio profundo em um modelo mais econômico, tornando IA avançada acessível a um público mais amplo.
Agora, é hora de aprender a domar essa fera!
Primeiros passos com o Mistral Large
Começar a usar a Mistral AI envolve um processo simples de configuração para colocar tudo para rodar em pouco tempo.
Existem duas formas principais de acessar o modelo:
- Usar a interface inspirada no ChatGPT da Mistral, chamada “Le Chat”.
- Integrá-lo ao seu código usando o endpoint da API da Mistral.
Imagem do autor.
Se você quer começar com um modelo mais simples, recomendo fortemente seguir este guia de uso e fine-tuning do Mistral 7B.
Chatbot da Mistral - Le Chat
Essa interface permite conversar por texto com a Mistral de forma semelhante ao que empresas como a OpenAI ou o Google oferecem: você faz perguntas ou dá instruções e a Mistral responde da forma mais informativa possível.
Captura de tela da interface do Mistral Le Chat.
Para acessar, basta visitar o site do Mistral Le Chat e se cadastrar. É gratuito, sem limites ou restrições.
API da Mistral
Desenvolvedores podem interagir com a Mistral por meio da sua API, em uma experiência semelhante ao sistema de API da OpenAI.
Essa API permite enviar prompts de texto e receber as respostas geradas pelo modelo. Ao usar Python para interagir com a API da Mistral, bibliotecas como mistralai simplificam o processo.
Então, vamos realizar os passos mais básicos para interagir com o Mistral Large.
PASSO 1 - Criar sua conta na Mistral
O primeiro passo é acessar o site da Mistral e clicar no botão “Build now”.
Captura de tela do site principal da MistralAI.
Será necessário criar uma nova conta ou entrar se você já tiver uma.
Captura de tela da interface de cadastro da MistralAI.
Depois de entrar, será preciso assinar um plano para ter acesso aos modelos via API.
Captura de tela da conta MistralAI.
Em seguida, você precisará preencher suas informações pessoais e de cobrança.
Captura de tela do processo de cadastro da MistralAI.
Pronto! Sua conta está criada e pronta para uso.
PASSO 2 - Criar sua API KEY
Com a conta funcionando, você precisará gerar uma API Key para chamar o modelo Mistral Large no seu código Python. Para isso, vá até a seção API Keys.
Captura de tela do processo de cadastro da MistralAI.
Chegando lá, clique em “Create new key”, dê um nome e, se quiser, um prazo de expiração (opcional).
Captura de tela do processo de cadastro da MistralAI.
PASSO 3 - Configurar seu ambiente local
Para chamar o modelo da Mistral a partir do seu código Python, você usará a biblioteca mistralai, que pode ser instalada facilmente com o comando pip a seguir:
pip install mistralaiComo você usará uma API Key, recomendo aproveitar a biblioteca dotenv para armazenar sua chave. Instale com o comando:
pip install python-dotenvDepois, defina sua Mistral API Key em um arquivo .env e carregue com o código abaixo:
import os
from dotenv import load_dotenv
# Load environment variables from the .env file
load_dotenv()
# Access the API key using os.getenv
api_key = os.getenv("MISTRAL_API_KEY")Aplicações práticas do Mistral Large
O Mistral Large pode ser usado em várias frentes, incluindo criação de conteúdo, automação de atendimento ao cliente, assistência em programação, análise de dados, tradução de idiomas e ferramentas educacionais.
Essas aplicações demonstram a versatilidade dos LLMs da Mistral para impulsionar produtividade, criatividade e tomada de decisão em diferentes setores. Para começar a usar, primeiro é preciso inicializar o modelo.
Para isso, importe a biblioteca mistralai.client e a função de chat completion para obter respostas do modelo. Em seguida, para facilitar a interação com a API, defina uma função chat_mistral que recebe seu prompt como entrada e retorna a resposta do modelo.
from mistralai.client import MistralClient
from mistralai.models.chat_completion import ChatMessage
model = "mistral-large-latest"
client = MistralClient(api_key=api_key)
def chat_mistral(prompt: str):
messages = [
ChatMessage(role="user", content=prompt)
]
# No streaming
chat_response = client.chat(
model=model,
messages=messages,
)
return chat_response.choices[0].message.contentVamos ver alguns exemplos do que o Mistral consegue fazer:
Geração e processamento de texto
O Mistral Large é excelente em tarefas de geração, compreensão e transformação de texto. De criar narrativas e artigos envolventes a resumir documentos complexos e transformar estilos de escrita, suas principais aplicações em processamento de texto incluem:
Geração de texto
Uma das principais aplicações do Mistral Large, como de qualquer LLM, é gerar texto a partir do seu prompt inicial. No centro dessa habilidade está o extenso treinamento do modelo em conjuntos de dados diversos, com grandes volumes de texto de vários domínios.
Esse treinamento permite ao modelo compreender diferentes estilos de escrita, temas e estruturas de linguagem, tornando-o apto a produzir textos em tons específicos ou com requisitos de conteúdo definidos.
# Starting prompt for a fairytale poem
prompt = """Write a short story starting with "Once upon a time" """
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Once upon a time, in a bustling city filled with towering skyscrapers and endless traffic, there was a small, quaint bookstore named "Whispers of the Past". This wasn't an ordinary bookstore. It was a magical place where every book held a secret story, waiting to be discovered.
The owner of the store, Mr. Benjamin, was an old man with a heart full of kindness and a mind full of tales. He had a peculiar habit of recommending books to his customers, not based on their genre preference, but on their current life situations. His recommendations were always spot on, and people often found solace, guidance, or inspiration from the books he suggested.
One day, a young girl named Lily walked into the store. She was new in town and had a lost look in her eyes. Seeing this, Mr. Benjamin approached her and asked, "What can I help you find today, my dear?"
Lily…
Você pode saber mais sobre geração de texto no artigo What is Text Generation?
Análise de sentimento
A capacidade de análise de sentimento do Mistral Large se baseia em seu arcabouço de deep learning, que permite compreender contextos de linguagem e distinguir com eficácia entre sentimentos positivos, negativos e neutros.
Ao analisar um texto de entrada, ele infere o tom emocional por trás das palavras, aproveitando seu treinamento em dados diversos para garantir detecção precisa de sentimento em diferentes tipos de conteúdo.
Um bom uso seria pedir ao Mistral para identificar o sentimento de um texto.
# Sample text
text = "This movie was absolutely fantastic! I highly recommend it."
prompt = f"""Analyze the sentime of the following {text}.
Generate a json like response with the corresponding sentiment (positive, neutral or negatie).
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
{
"Sentiment": "Positive",
"Text": "This movie was absolutely fantastic! I highly recommend it."
}
Sumarização de texto
O Mistral Large se destaca em sumarização ao usar recursos avançados de processamento de linguagem natural para transformar documentos longos em resumos concisos e informativos. Ele entende os temas principais e os detalhes-chave, identificando e extraindo as informações mais críticas para produzir um resumo coeso e sucinto.
Essa habilidade é especialmente útil para compreender rapidamente o essencial em grandes volumes de texto, tornando o Mistral Large uma ferramenta essencial para profissionais que precisam digerir e agir sobre informações com eficiência.
Um exemplo simples é pedir ao modelo para resumir um texto, como a seguir:
# Sample text
text = """The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
This is a longer sentence to show summarization capabilities."""
prompt = f"""Summarize the following {text} in 4 words.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Fox jumps, rain falls.
Tradução e tarefas multilíngues
O Mistral Large também demonstra ótima performance em tarefas multilíngues. O mistral-large foi treinado especificamente para entender e gerar texto em vários idiomas, especialmente francês, alemão, espanhol e italiano.
O Mistral Large pode ser especialmente valioso para empresas e usuários que precisam se comunicar em múltiplos idiomas.
Um exemplo simples é usar o Mistral Large como tradutor.
# Sample text
text = """The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
This is a longer sentence to show summarization capabilities."""
language_in = "english"
language_out = "spanish"
prompt = f"""Translate the following {text} that is written in {language_in} to {language_out} and
just output the translated text.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
Translation to Spanish:
El rápido zorro marrón salta sobre el perro perezoso. La lluvia en España cae principalmente en la llanura.
This is a longer sentence to show summarization capabilities.
Translation to Spanish:
Esta es una oración más larga para mostrar las capacidades de resumen.
Geração de código e resolução de problemas matemáticos
Além de texto, o Mistral Large mostra grande habilidade para gerar código e resolver problemas matemáticos. Fornecendo enunciados concisos, você pode usar o Mistral Large para produzir trechos de código otimizados e encarar desafios matemáticos, evidenciando sua utilidade em contextos educacionais, de pesquisa e desenvolvimento.
Geração de código
O Mistral Large se destaca na geração de código ao entender descrições de alto nível e traduzi-las em código sintaticamente correto e eficiente em várias linguagens.
Ele aproveita seu amplo treinamento em bases de código, documentação técnica e fóruns de desenvolvedores para gerar código que atenda aos requisitos especificados, garantindo funcionalidade e otimização.
Um exemplo simples é pedir ao modelo que gere uma função para executar uma tarefa descrita.
# Prompt: Generate a Python function that takes a list of numbers and returns the sum of squares.
prompt = """def sum_of_squares(numbers):
# Your code here
pass
# Call the generated function with a sample list
numbers = [1, 2, 3]
result = sum_of_squares(numbers)
print(f"Sum of squares: {result}") # Expected output: Sum of squares: 14"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Sure, I can help you define the function `sum_of_squares`. This function should take a list of numbers as an argument, square each number, and then return the sum of those squares. Here's how you could do it:
```python
def sum_of_squares(numbers):
return sum(num ** 2 for num in numbers)
```
Essa capacidade acelera o desenvolvimento, ajudando programadores em prototipagem rápida, depuração e implementação de algoritmos complexos com facilidade.
Resolução de problemas matemáticos
O Mistral Large é hábil em resolver problemas matemáticos graças à sua compreensão de conceitos numéricos e à capacidade de processar e interpretar instruções matemáticas complexas.
Ele aplica algoritmos treinados em um amplo conjunto de dados matemáticos, permitindo enfrentar desde aritmética básica até cálculo e álgebra avançados.
Por exemplo, você pode pedir ao modelo para resolver um problema matemático.
# Prompt: Solve a system of linear equations with two variables.
prompt = """We have a system of equations:
x + 2y = 5
3x - y = 1
Solve for x and y.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Sure, I'd be happy to help you solve this system of equations. We can use the method of substitution or elimination. I'll use substitution for this example.
First, let's solve the first equation for x:
x = 5 - 2y
Now, we can substitute x in the second equation with the expression we just found:
3(5 - 2y) - y = 1
Expanding and simplifying this gives:
15 - 6y - y = 1
-7y = 1 - 15
-7y = -14
Now, divide both sides by -7 to solve for y:
y = -14 / -7
y = 2
Substitute y = 2 into the first equation:
x + 2(2) = 5
x + 4 = 5
x = 5 - 4
x = 1
So, the solution to the system of equations is x = 1 and y = 2.
Essa capacidade torna o Mistral Large uma ferramenta valiosa para educadores, alunos e pesquisadores que buscam soluções para questões matemáticas ou desejam verificar a correção de seus trabalhos.
Recursos avançados do Mistral Large e boas práticas
Entendendo preços e acesso
A Mistral AI oferece um modelo de preços pay-as-you-go para seus serviços de API, com tarifas diferentes para chat completions e embeddings. Os preços são por milhão de tokens, variando conforme a complexidade do modelo, com opções como Mistral 7B, Mixtral 8x7B e vários tamanhos do Mistral (Small, Medium, Large).
A plataforma oferece diferentes níveis — Mistral Small, Medium e Large — cada um projetado para atender a requisitos de projeto e orçamentos distintos. Os menores preços ficam com o Mistral 7B, a partir de US$ 0,25 por token, chegando a US$ 8 para saída do Mistral Large e US$ 24 para entrada do Mistral Large.
Essa flexibilidade permite escolher a versão mais adequada do modelo, otimizando desempenho e custos.
Tabela de preços dos modelos Mistral AI.
A plataforma impõe limites de taxa de 5 requisições por segundo, 2 milhões de tokens por minuto e 10.000 milhões de tokens por mês, com possibilidade de ajuste sob solicitação.
Para preços detalhados e limites, visite a página de preços da Mistral AI.
Otimizando o desempenho
Escolher o modelo Mistral ideal exige equilibrar performance e custo. Suas necessidades ditam a escolha, que pode mudar conforme os modelos evoluem.
Em geral, modelos maiores performam melhor, com o Mistral Large liderando em benchmarks como o MMLU (um benchmark de LLM chamado Measuring Massive Multitask Language Understanding, que explicamos acima), seguido por Mistral Medium, Small, Mixtral 8x7B e Mistral 7B.
Comparativo de performance dos modelos Mistral. Imagem por Mistral AI.
Para maximizar a eficácia do Mistral Large controlando custos, você pode refinar seus prompts e selecionar a versão mais adequada do modelo para cada tarefa. Saiba mais sobre fine-tuning de LLMs neste guia introdutório de fine-tuning
A Mistral AI disponibiliza cinco endpoints de API com cinco Large Language Models líderes:
- open-mistral-7b (também chamado de mistral-tiny-2312)
- open-mixtral-8x7b (também chamado de mistral-small-2312)
- mistral-small-latest (também chamado de mistral-small-2402)
- mistral-medium-latest (também chamado de mistral-medium-2312)
- mistral-large-latest (também chamado de mistral-large-2402)
O Mistral mais recente apresenta três variantes, com custos e desempenho reduzidos conforme a aplicação desejada:
- Mistral Small: otimizado para tarefas simples e em volume, como classificação, suporte ao cliente e geração básica de texto. É econômico para aplicações diretas como detecção de spam.
- Mistral Medium: voltado a tarefas de complexidade moderada, destaca-se em extração de dados, sumarização de documentos e geração de conteúdo descritivo. Equilibra capacidade e eficiência.
- Mistral Large: tem desempenho superior na maioria dos benchmarks. É mais indicado para tarefas complexas, com muito raciocínio, ou aplicações especializadas, incluindo geração de texto sintético e código. Demonstra performance acima da média em raciocínio avançado e resolução de problemas.
O que vem a seguir para o Mistral Large?
À medida que o Mistral Large evolui, novas funcionalidades, contribuições da comunidade e melhorias estão a caminho.
Manter-se por dentro dessas novidades é essencial para quem quer aproveitar todo o potencial do Mistral Large e integrar os recursos mais recentes aos seus projetos.
O roadmap do modelo promete inovação contínua, com foco em aprimorar raciocínio, suporte a idiomas e acessibilidade para o usuário.
Conclusão
O Mistral Large representa um passo monumental para IA e ciência de dados, oferecendo raciocínio avançado com suporte multilíngue e auxiliando usuários em codificação e matemática.
É a primeira vez que temos um modelo open source e acessível que não apenas possui habilidades sólidas, mas também lidera alguns benchmarks, superando modelos comerciais como o GPT-4 da OpenAI ou o Gemini do Google.
Isso significa que, ao aproveitar o poder do Mistral Large, você pode abrir novas possibilidades, otimizar processos e criar soluções inovadoras que antes pareciam fora de alcance — com baixo orçamento e melhor desempenho.
Você pode conferir todo o código neste repositório no GitHub.
Se quiser continuar evoluindo em LLMs, recomendo fortemente seguir tutoriais mais avançados. Se você é totalmente iniciante na área, comece pelo curso LLM Concepts da DataCamp, que cobre várias metodologias de treinamento e as pesquisas mais recentes.
Para usuários avançados, outros bons recursos são:
Tópicos
