O que é o soneto de Claude 3.5? Como funciona, casos de uso e artefatos

Claude 3.5 Soneto: Primeiras impressões

Fiquei intrigado com os resultados do benchmark, então fui direto para o Claude.ai para testar o novo modelo Claude 3.5 Sonnet.

Primeiro, pedi ao Claude 3.5 Sonnet que criasse um gráfico usando os dados da tabela abaixo:

Acho que não me esforcei muito para pensar no prompt que usei - Gerarum gráfico para esta tabela -, mas o modelo gerou esse gráfico de barras agrupadas interativo:

Claude 3.5 A Sonnet implementou o gráfico como um componente React usando a biblioteca Recharts. Você pode ver e copiar o código alternando para a guia Code (Código ) no canto superior direito:

Um aspecto que me incomodou no gráfico de barras gerado é que a legenda de cores na parte inferior se sobrepõe aos rótulos do eixo x. Você pode ver o gráfico de barras em um gráfico de barras. Além disso, há muitas informações a serem consumidas em um único gráfico. Achei que seria uma boa ideia ter um infográfico separado para cada benchmark, por isso, solicitei ao Claude 3.5 Sonnet que fizesse isso:

Para o benchmark de código, gere um infográfico no qual você adiciona uma breve explicação sobre o que é o benchmark e o que ele mede, além de um pequeno gráfico de comparação ao lado para mostrar como cada LLM se classifica nesse benchmark

Devo dizer que o resultado foi bastante impressionante, considerando o quão ruim era meu prompt:

O infográfico é bem organizado, com uma boa escolha de cores e propriedades de fonte. Já estou vendo muitas aplicações aqui - com instruções detalhadas, poderíamos adaptar o design às nossas necessidades e adicionar personalizações específicas da marca, por exemplo.

Se você ainda não experimentou o Claude 3.5 Sonnet, talvez esteja se perguntando o que é esse componente da interface do usuário que mostra o gráfico e o código. Você pode entrar em Artifacts.

Artefatos: Novo recurso do Claude AI

Não faz sentido eu explicar o que são artefatos quando o vídeo oficial faz isso muito melhor. O motivo pelo qual incentivo você a assistir a esse vídeo é que ele mostra como criar um jogo de rolagem lateral em HTML 5 em um minuto:

Os artefatos são tão dinâmicos!

À primeira vista, o recurso Artifacts pode parecer apenas mais uma janela ou guia na interface. No entanto, a Anthropic não está apenas adicionando outra maneira de exibir informações - ela está oferecendo uma nova maneira de interagir com sua IA.

Os artefatos vão além das interações tradicionais baseadas em texto, introduzindo uma camada dinâmica e interativa. Isso nos permite visualizar e manipular diretamente os resultados da IA, em vez de apenas lê-los.

Essa mudança é um desenvolvimento notável. Isso sugere uma mudança em direção a um relacionamento mais colaborativo com a IA, em que podemos nos envolver ativamente e refinar o resultado da IA.

Será interessante ver como esse recurso evolui e como ele afeta a maneira como utilizamos a IA no futuro.

E o que me entusiasma é a promessa da Antrophic de projetá-lo para a colaboração em equipe:

Como ativar e usar artefatos

Para acessar o Claude Artifacts, você precisará habilitá-lo nas configurações. Primeiro, clique nas iniciais de sua conta e, em seguida, clique em Feature Preview.

Em seguida, ative os artefatos alternando o botão para Ligado.

Depois de ativado, você pode acionar o recurso solicitando ao Claude que gere conteúdo que possa ser exibido em um artefato, como código, visualizações de dados ou até mesmo maquetes.

Quando o Claude cria um artefato, ele aparece em um painel separado na interface, dividido nas guiasCódigo e Visualizar. A guia Code exibe a saída bruta gerada pelo Claude, enquanto a guiaPreview fornece uma representação visual ou interativa dessa saída.

Como acessar o Claude 3.5 Sonnet

A maneira mais direta de acessar o Claude 3.5 Sonnet é acessar o site Claude.ai e se divertir com a interface gráfica de usuário amigável:

Você pode usar o Claude 3.5 Sonnet gratuitamente no Claude.ai, mas preciso mencionar que atingi o limite de uso muito rapidamente (após cerca de dez solicitações).

Se você quiser usar o Claude 3.5 Sonnet regularmente, não há dúvida de que precisará comprar uma assinatura Pro.

O Claude 3.5 Sonnet também está disponível por meio da API Anthropic, do Vertex AI do Google Cloud e do Amazon Bedrock.

Como o Claude 3.5 Sonnet funciona e atua

Embora a Anthropic não tenha divulgado os detalhes técnicos completos, sabemos que o Claude 3.5 Sonnet foi desenvolvido com base em seu modelo anterior, o Claude 3 Opus. É um modelo de linguagem grande, o que significa que foi treinado em um conjunto de dados massivo de texto e código, permitindo que ele entenda e gere linguagem semelhante à humana.

O que diferencia o Claude 3.5 Sonnet é seu desempenho aprimorado. Ele foi ajustado e otimizado, resultando em melhorias em várias áreas.

Há muito tempo, o raciocínio em nível de pós-graduação é considerado uma marca registrada da inteligência humana, uma fronteira em que a IA tradicionalmente tem se esforçado para acompanhar o ritmo.  Embora ainda haja muito trabalho a ser feito, o Claude Sonnet 3.5 demonstra um progresso significativo.

Em relação à matemática, o Claude 3.5 Sonnet fica ligeiramente atrás do GPT-4o, que lidera com uma pontuação de 76,6%. Mas a pontuação de 71,1% do Claude 3.5 Sonnet ainda é notavelmente alta. Esse desempenho sugere que o Claude 3.5 Sonnet tem uma sólida compreensão de conceitos matemáticos, fórmulas e raciocínio lógico, o que o torna uma ferramenta promissora para tarefas que exigem conhecimento matemático.

O benchmark BIG-Bench-Hard se concentra na avaliação da capacidade dos modelos de IA de lidar com problemas multifacetados, demonstrar raciocínio avançado e aplicar conhecimento em vários domínios. O Claude 3.5 Sonnet supera significativamente o desempenho de outros modelos nesse benchmark, alcançando uma pontuação de 93,1%. Isso indica que o Claude 3.5 Sonnet possui um alto nível de proficiência em lidar com tarefas complexas, raciocinar com eficácia em diferentes áreas e aplicar seu conhecimento de forma flexível a situações novas.

Quando se trata de recursos visuais, o Claude 3.5 Sonnet se destaca particularmente no raciocínio visual matemático, com 67,7% de pontuação no teste MathVista, uma vantagem significativa em relação aos outros modelos. Claude 3.5 O Sonnet também apresenta bom desempenho em respostas a perguntas visuais (MMMU) e em perguntas e respostas visuais de documentos (pontuação ANLS), demonstrando sua capacidade de compreender e processar informações visuais de forma eficaz.

Embora seu desempenho em diagramas científicos e gráficos de perguntas e respostas seja ligeiramente inferior ao do GPT-4o e do Gemini 1.5 Pro, ele ainda mantém uma alta taxa de precisão acima de 90%. De modo geral, os resultados destacam a forte capacidade do Claude 3.5 Sonnet de compreender dados visuais e textuais, tornando-o uma ferramenta promissora para vários aplicativos que exigem compreensão multimodal.

Cláudio 3.5 Casos de uso do Sonnet

O Claude 3.5 Sonnet é o modelo de visão mais forte do Anthropic, e não é de surpreender que ele se saia tão bem em tarefas que exigem raciocínio visual, como interpretar e criar gráficos. No entanto, ele também é comercializado como um excelente parceiro de codificação ou escrita, portanto, vamos dar uma olhada mais de perto.

Apresentações visuais

Se você tiver dados que precise apresentar visualmente, o Claude 3.5 Sonnet parece ser capaz de fazer mágica.

No exemplo do Anthropic, um professor de biologia solicita ao modelo dois gráficos e pede ao Claude que extraia informações relevantes para criar uma apresentação baseada em Javascript que use o reveal-js, uma estrutura popular para criar apresentações em HTML. Vamos ver se a professora conseguiu os slides que queria:

Parceiro de codificação

Digamos que você seja um engenheiro de software que tenta escrever testes e corrigir bugs em um código que corta imagens em círculos (para que os usuários possam ter belas imagens de perfil). O Claude 3.5 Sonnet pode ajudar com isso? Vejamos:

Parceiro de redação

O Anthropic também apresenta o Claude 3.5 Sonnet como parceiro de escrita, mas seu exemplo não poderia estar mais distante de um caso de uso no mundo real - os romances geralmente não são sobre "caranguejos carregados de sarcasmo que vivem em recifes agitados". No entanto, o genograma que Claude cria é incrível e, mais uma vez, mostra suas incríveis habilidades visuais.

Comparação de preços: Soneto vs. GPT-4o vs. Gemini Pro 1.5

Vamos ver como os preços do Claude 3.5 Sonnet se comparam aos da OpenAI e do Google. É claro que essa é uma boa oportunidade para você pedir ao Claude 3.5 Sonnet que crie um gráfico:

Para uso pessoal, todas as três plataformas cobram cerca de US$ 20/mês.

Conclusão

Nos últimos anos, vimos tantas notícias e descobertas no espaço da IA que ficou mais difícil ficar empolgado com os novos lançamentos, especialmente com tantos exemplos escolhidos a dedo em vídeos de demonstração.

No entanto, estou realmente empolgado com os recursos visuais e o recurso Artifacts do Claude 3.5 Sonnet. Pessoalmente, vou experimentá-lo no trabalho e ficarei de olho em seu desenvolvimento.