Introdução aos LLMs em Python

Os Modelos de Linguagem Grande (LLMs) representam o auge atual da tecnologia de IA, impulsionando avanços notáveis no Processamento e Compreensão de Linguagem Natural. Este capítulo serve como porta de entrada para a compreensão dos LLMs: o que são, seus recursos extraordinários e a ampla gama de tarefas linguísticas em que se destacam. Você ganhará experiência prática no carregamento e aproveitamento de vários LLMs para tarefas de compreensão e geração de linguagem. Ao longo do caminho, você será apresentado ao catalisador de sucesso que está no centro da maioria dos LLMs: a arquitetura do transformador. Pronto para iniciar sua jornada no mundo dos LLMs?

Neste capítulo, você descobrirá os segredos e as complexidades práticas dos transformadores, a arquitetura de aprendizagem profunda mais popular usada para criar os modelos de linguagem mais bem-sucedidos da atualidade. Passo a passo, com a ajuda da biblioteca PyTorch, você aprenderá a projetar e configurar manualmente diferentes tipos de arquiteturas de transformadores. Você desenvolverá uma sólida compreensão de seus elementos principais, incluindo mecanismos de autoatenção, camadas de codificador e decodificador e cabeças de modelo especializadas projetadas para tarefas de linguagem e casos de uso específicos.

Este capítulo revela o potencial transformador do aproveitamento de LLMs (Large Language Models) pré-treinados. Ao longo do capítulo, você descobrirá dicas e truques eficazes para dominar casos de uso de linguagem complexa e obterá insights práticos sobre o aproveitamento de LLMs pré-treinados e conjuntos de dados do Hugging Face. Ao longo do caminho, você aprenderá os prós e contras de vários problemas comuns de linguagem, incluindo classificação de sentimentos, resumo e resposta a perguntas, e explorará como os LLMs são treinados de forma adaptativa para resolvê-los.

Nossa empolgante jornada de aprendizado de LLMs está chegando ao fim! Você se aprofundará em diferentes métricas e métodos para avaliar o desempenho do seu modelo, seja ele pré-treinado, uma versão ajustada ou algo que você tenha criado do zero! Você aprenderá sobre os aspectos e desafios cruciais da aplicação de modelos de linguagem em cenários do mundo real, incluindo a otimização de um modelo com feedback de seres humanos (RLHF), o enfrentamento de resultados de linguagem tendenciosos e muito mais.