Já se passaram mais de setenta anos desde que o renomado matemático americano Samuel S. Wilks afirmou, de forma célebre, "O pensamento estatístico um dia será tão necessário para uma cidadania eficiente quanto a capacidade de ler e escrever," parafraseando o livro de HG Wells, Mankind in the Making. Embora essa afirmação possa soar um tanto exagerada, a mensagem central sobre a importância da estatística continua atual na era da informação.
Fonte da imagem: The American Statistical Association
Com o avanço acelerado da tecnologia e um ritmo inédito de inovação, o aprendizado de máquina e a IA generativa ganharam os holofotes. Esses avanços impactaram profundamente nossa vida pessoal e impulsionaram a tomada de decisão baseada em dados em larga escala.
Em meio ao buzz sobre essas tecnologias de ponta, a estatística segue como a base de inúmeras conquistas em aprendizado de máquina. Ela é inseparável da própria essência dos dados, que sustentam todas as novas tecnologias empolgantes ao nosso redor.
O que é aprendizado de máquina estatístico?
Como o próprio nome sugere, aprendizado de máquina estatístico envolve o uso de técnicas estatísticas para desenvolver modelos que aprendem com dados e fazem previsões ou tomam decisões.
Em essência, o aprendizado de máquina estatístico une a eficiência computacional e a adaptabilidade dos algoritmos de machine learning às capacidades de inferência e modelagem da estatística. Você provavelmente já ouviu falar de termos como aprendizado supervisionado, não supervisionado e semi-supervisionado – todos eles se apoiam em uma base estatística sólida.
Ao aplicar métodos estatísticos, conseguimos extrair padrões, relações e insights relevantes de conjuntos de dados complexos, aumentando a eficácia dos algoritmos de aprendizagem.
O papel da estatística no aprendizado de máquina
Eu disse que, essencialmente, a estatística fornece o arcabouço teórico sobre o qual os algoritmos de machine learning são construídos. Agora, quero olhar mais de perto as diferenças entre eles e como se complementam.
A estatística é a ciência que nos permite coletar, analisar, interpretar, apresentar e organizar dados. Ela oferece ferramentas para entender padrões e tendências, além de recursos para fazer inferências e previsões com base em dados. Quando lidamos com grandes volumes de dados, a estatística nos ajuda a compreender e resumir as informações, permitindo dar sentido a padrões complexos.
Já o aprendizado de máquina é uma poderosa abordagem que permite a computadores aprender e tomar decisões ou fazer previsões com base em dados. O objetivo final é criar modelos que se adaptem e melhorem com o tempo, generalizando de exemplos específicos para casos mais amplos.
É aqui que a beleza da fusão entre estatística e aprendizado de máquina aparece. Os princípios estatísticos são os pilares que sustentam a estrutura do machine learning.
- Construção de modelos de machine learning: A estatística fornece metodologias e princípios para criar modelos em aprendizado de máquina. Por exemplo, a regressão linear usa o método estatístico de mínimos quadrados para estimar os coeficientes.
- Interpretação de resultados: Conceitos estatísticos nos permitem interpretar os resultados gerados por modelos de machine learning. Medidas como valor-p, intervalos de confiança, R-quadrado e outras oferecem uma visão estatística sobre o desempenho do modelo.
- Validação de modelos: Técnicas estatísticas são essenciais para validar e refinar modelos de aprendizado de máquina. Por exemplo, testes de hipótese, validação cruzada e bootstrapping ajudam a quantificar o desempenho e evitar problemas como overfitting.
- Base de técnicas avançadas: Mesmo alguns dos algoritmos mais complexos, como redes neurais, têm princípios estatísticos no seu núcleo. As técnicas de otimização usadas para treinar esses modelos, como o gradiente descendente, são fundamentadas em teoria estatística.
Como resultado, um entendimento sólido de estatística não só nos permite construir e validar melhor os modelos, como também interpretar suas saídas de forma significativa e útil.
Vamos ver alguns conceitos estatísticos-chave intimamente ligados ao aprendizado de máquina. Você pode se aprofundar nesses temas na nossa trilha de habilidades Statistics Fundamentals with Python para ganhar experiência prática.
Probabilidade
A teoria das probabilidades é crucial no aprendizado de máquina, pois fornece a base para modelar incerteza e fazer previsões probabilísticas. Como quantificar a chance de diferentes resultados, eventos ou valores numéricos? A probabilidade resolve isso! Além disso, distribuições de probabilidade são especialmente importantes em machine learning e fazem toda a mágica acontecer.
Algumas distribuições muito usadas incluem as distribuições gaussiana (normal), Bernoulli, Poisson e exponencial. Temos um prático cheat sheet de probabilidade para consulta rápida das regras principais.
Estatística descritiva
A estatística descritiva nos permite entender as características e propriedades dos conjuntos de dados. Ela ajuda a resumir e visualizar dados, identificar padrões, detectar outliers e obter insights iniciais que orientam a modelagem e as análises seguintes.
Nosso cheat sheet de estatística descritiva pode ajudar você a aprender esses conceitos
Medidas de tendência central
Média, mediana e moda geram insights valiosos sobre os valores centrais ou representativos de um conjunto de dados. Em machine learning, elas ajudam no pré-processamento ao apoiar a imputação de valores ausentes e a identificação de possíveis outliers.
Durante a engenharia de atributos (feature engineering), também são úteis para capturar valores típicos ou mais frequentes que impactam o desempenho do modelo.
Variância e desvio padrão
Variância e desvio padrão quantificam a dispersão dos dados em torno da tendência central. Eles funcionam como indicadores de consistência e variabilidade em aprendizado de máquina.
Essas medidas são úteis para seleção de atributos ou redução de dimensionalidade, ajudando a identificar variáveis com baixo poder preditivo.
Além disso, auxiliam na avaliação do desempenho do modelo ao analisar a variabilidade das previsões ou dos resíduos, facilitando a comparação entre algoritmos.
Medidas de dispersão
Amplitude, intervalo interquartil e percentis são medidas de dispersão que trazem insights sobre a distribuição dos valores. São especialmente valiosas na detecção de outliers, pois ajudam a identificar e tratar pontos que podem influenciar fortemente o treinamento e as previsões. Quando é preciso transformar ou normalizar dados para melhorar o desempenho dos algoritmos, essas medidas também orientam o processo.
Amostragem
Modelos de aprendizado de máquina são treinados com base em dados amostrados. Se as amostras não forem bem selecionadas, a confiabilidade dos modelos fica comprometida. O ideal é escolher subconjuntos representativos de dados de populações maiores.
Aplicar técnicas adequadas de amostragem garante que os modelos sejam treinados em dados diversos e sem vieses, promovendo o uso ético e responsável da tecnologia.
Confira nosso curso Sampling in Python para aprender mais sobre essa habilidade poderosa.
Estimação
Técnicas de estimação são vitais em aprendizado de máquina para determinar parâmetros populacionais desconhecidos a partir de dados amostrais. Elas permitem estimar parâmetros do modelo, avaliar desempenho e fazer previsões sobre dados não vistos.
O método de estimação mais comum em machine learning é a máxima verossimilhança (Maximum Likelihood, ML), que encontra o estimador de um parâmetro desconhecido ao maximizar a função de verossimilhança.
Testes de hipótese
Testes de hipótese oferecem uma abordagem sistemática para avaliar a significância de relações ou diferenças em tarefas de aprendizado de máquina. Eles permitem verificar suposições, comparar modelos e tomar decisões estatisticamente embasadas com base nas evidências disponíveis.
Validação cruzada
A validação cruzada (Cross-Validation, CV) é uma técnica estatística usada para avaliar o desempenho e o erro de generalização de um algoritmo. Seu principal objetivo é prevenir overfitting, quando o modelo vai bem nos dados de treino, mas não generaliza para dados novos.
Ao dividir o conjunto de dados em múltiplos subconjuntos e treinar/avaliar o modelo iterativamente em diferentes combinações, a CV fornece uma estimativa mais confiável do desempenho em dados não vistos.
Técnicas populares de aprendizado de máquina estatístico
Esses conceitos estatísticos, embora complexos, são o primeiro passo para algoritmos de aprendizado de máquina eficazes. Vamos explorar agora alguns dos modelos mais populares e ver como a estatística ajudou a alcançar suas capacidades impressionantes.
Regressão linear
Regressão linear é um termo comum na literatura estatística, mas vai além disso. Também é vista como um algoritmo de aprendizado supervisionado que captura a relação entre uma variável dependente e uma ou mais variáveis independentes.
A estatística auxilia a estimar coeficientes, realizar testes de hipótese e avaliar a significância das relações, oferecendo insights valiosos e um entendimento mais profundo dos dados. Explore o tema em mais detalhes com nosso tutorial essentials of linear regression in Python ou no curso Introduction to Regression in R.
Regressão logística
Assim como a regressão linear, a regressão logística é um algoritmo estatístico de classificação que estima a probabilidade de resultados categóricos com base em variáveis independentes. Ao aplicar a função logística, prevê a ocorrência de uma classe específica.
Regressão logística e linear
Árvores de decisão
Árvores de decisão são algoritmos versáteis que usam estatística para dividir dados com base em atributos, criando uma estrutura em árvore para classificação ou regressão. São intuitivas, interpretáveis e lidam bem com dados categóricos e numéricos.
Métricas baseadas em estatística, como impureza de Gini ou ganho de informação, costumam orientar as divisões ao longo da construção da árvore.
Você pode aprender sobre Decision Tree Classification in Python em um tutorial dedicado, ou explorar Decision Trees in Machine Learning Using R.
Random forest
Random forest é um método de aprendizado por ensemble que melhora a acurácia ao combinar várias árvores de decisão. Ele usa amostragem para selecionar aleatoriamente subconjuntos de atributos e dados na construção das árvores. As previsões de cada árvore são então agregadas para formar a previsão final.
Esse algoritmo é uma escolha poderosa por introduzir diversidade e reduzir overfitting. A diversidade torna o modelo mais robusto e abrangente, capaz de capturar uma ampla gama de padrões; e a redução do overfitting garante boa generalização para dados não vistos, tornando-o uma ferramenta confiável e precisa para análises preditivas.
Temos um tutorial específico sobre classificação com random forest, que explica como e quando usar essa técnica estatística em machine learning.
Exemplo de classificação com random forest
Máquinas de vetores de suporte (SVM)
SVM é um algoritmo poderoso usado tanto para classificação quanto para regressão. Ele aplica princípios estatísticos para criar uma fronteira entre grupos de pontos de dados, facilitando a separação entre eles. Ao otimizar essa fronteira, a SVM reduz a chance de erros e melhora a acurácia geral.
Temos tutoriais sobre support vector machines com scikit-learn em Python e também sobre SVMs em R.
K-vizinhos mais próximos (KNN)
KNN é um algoritmo simples e eficiente para classificar pontos de dados com base no voto majoritário de seus vizinhos mais próximos. Ele serve para problemas de classificação e regressão e não exige treinamento.
No KNN, medidas estatísticas determinam a proximidade entre os pontos, ajudando a identificar os vizinhos mais próximos. O voto da maioria desses vizinhos é então usado para classificar ou prever a variável-alvo.
Novamente, você pode explorar o conceito de KNN em mais detalhes com nosso tutorial K-Nearest Neighbors Classification with scikit-learn.
Considerações finais
Enquanto navegamos por esta era empolgante de avanços tecnológicos e decisões orientadas por dados, ter uma base sólida em estatística é inestimável para elevar nossas habilidades em aprendizado de máquina. Ao mergulhar nos fundamentos da estatística, abrimos a porta para liberar todo o potencial do machine learning.
Seja você iniciante ou já experiente, comece sua jornada hoje pelas trilhas Statistics Fundamentals with Python e Machine Learning Fundamentals with Python para aprender mais sobre o fascinante campo do aprendizado de máquina estatístico!
Fontes
- All of Statistics (A Concise Course in Statistical Inference), de Larry Wasserman
- The Elements of Statistical Learning, de Jerome H. Friedman, Robert Tibshirani e Trevor Hastie
