Dados sintéticos, usados em ciência de dados e aprendizado de máquina, são dados gerados artificialmente que permitem a pesquisadores e desenvolvedores testar e aprimorar algoritmos sem colocar em risco a privacidade ou a segurança de dados do mundo real.
Entendendo dados sintéticos
De forma simples, dados sintéticos são dados artificiais criados de maneira algorítmica. Eles são projetados para reproduzir as características de dados reais sem incluir nenhuma informação verdadeira. Muito usados em ciência de dados e aprendizado de máquina, os dados sintéticos permitem testar e melhorar algoritmos sem comprometer a privacidade ou a segurança de dados reais. Também podem ampliar conjuntos de dados existentes, especialmente quando os dados originais são limitados ou enviesados.
A geração de dados sintéticos é feita com métodos estatísticos, aprendizado de máquina ou a combinação de ambos, para produzir dados que espelham a estrutura e os padrões encontrados nos dados originais. Por exemplo, Generative Adversarial Networks (GANs), uma classe de frameworks de aprendizado de máquina em que duas redes neurais competem entre si, são frequentemente usadas. As GANs funcionam com uma rede geradora, que cria instâncias sintéticas, e uma rede discriminadora, que avalia sua autenticidade. Com esse processo, a geradora aprende a produzir dados cada vez mais realistas.
Há também diversas ferramentas comerciais para gerar dados sintéticos, como a MOSTLY AI e a Hazy.
Aplicações reais de dados sintéticos
Dados sintéticos têm aplicação em vários domínios:
- Veículos autônomos. Empresas como a Waymo e a Tesla usam dados sintéticos para treinar seus algoritmos de direção autônoma. Elas criam ambientes virtuais que simulam cenários do mundo real, permitindo que os algoritmos aprendam a reagir a diferentes situações sem o risco dos testes no mundo real.
- Saúde. Dados sintéticos são usados para gerar prontuários para pesquisa. Assim, pesquisadores trabalham com dados que preservam as propriedades estatísticas dos dados de pacientes reais sem comprometer a privacidade. Por exemplo, é possível gerar imagens realistas de órgãos ou tecidos para treinar algoritmos a reconhecer padrões e detectar anomalias em imagens reais de pacientes. Isso permite diagnósticos e planos de tratamento mais precisos e eficientes, sem exigir grandes volumes de dados reais de pacientes. Aprenda a processar informações sensíveis fazendo um curso de privacidade e anonimização de dados com Python ou R.
- Finanças. Dados sintéticos são usados para simular mercados financeiros, permitindo testar estratégias de negociação e modelos de risco sem depender de dados reais de mercado. Em modelagem de risco de crédito, por exemplo, dados sintéticos podem simular características e comportamentos de tomadores, permitindo que instituições testem e refinem seus modelos sem expor informações sensíveis de clientes. Isso ajuda a melhorar a acurácia do credit scoring e reduzir o risco de inadimplência.
- Aprendizado de máquina. Uma forma de melhorar o desempenho e a precisão de modelos é usar dados sintéticos. Eles ajudam a lidar com problemas como desbalanceamento de classes e a reduzir vieses em conjuntos de dados existentes.
Quais são as limitações dos dados sintéticos?
Apesar dos benefícios, dados sintéticos têm limitações:
- Qualidade. A qualidade dos dados sintéticos depende dos algoritmos usados para gerá-los. Se os algoritmos não capturam com precisão a distribuição subjacente dos dados reais, os dados sintéticos podem não ser representativos.
- Viés. Dados sintéticos são gerados com base em certas suposições, algoritmos ou modelos. Se essas suposições forem enviesadas ou não refletirem bem os cenários do mundo real, os dados sintéticos herdarão esses vieses, levando a modelos ou previsões distorcidas.
- Dificuldade em capturar eventos raros. Eventos raros ou outliers presentes nos dados reais podem não ser bem representados nos dados sintéticos. Gerar dados que representem ocorrências extremamente raras é desafiador e pode afetar o desempenho de modelos treinados apenas com dados sintéticos nesses casos excepcionais.
- Complexidade. Gerar dados sintéticos de alta qualidade pode ser complexo, exigindo conhecimento avançado em técnicas de aprendizado de máquina e recursos computacionais significativos.
Usando dados sintéticos em projetos
A Gartner prevê que, até 2024, 60% dos dados usados no desenvolvimento de aplicações de aprendizado de máquina e analíticas serão gerados artificialmente. Essa tendência se deve ao alto custo e à dificuldade de coletar e preparar dados reais.
Por exemplo, dados relacionados a fraude bancária, câncer de mama, carros autônomos e ataques de malware são difíceis de obter no mundo real. E, mesmo quando disponíveis, limpar e processar esses dados para uso em tarefas de aprendizado de máquina pode consumir muito tempo e recursos.
Além disso, eu uso a biblioteca Python faker para gerar conjuntos de dados de exemplo para testar bancos de dados e aplicações diversas. No entanto, ela não é útil para aplicações de aprendizado de máquina, pois gera dados a partir de um conjunto limitado. Para machine learning, eu uso GANs condicionais para gerar dados tabulares sintéticos. Isso ajudou a melhorar o desempenho e a estabilidade dos modelos.
Se você estiver lidando com um problema de aprendizado de máquina mais específico, talvez precise explorar técnicas de geração de dados sintéticos adequadas às suas necessidades. Isso porque obter dados desatualizados no Kaggle e em bases como a Accuriqin não é algo adaptável.
Quer aprender mais sobre IA e aprendizado de máquina? Confira estes recursos:
FAQs
Dados sintéticos são dados reais?
Não. Dado sintético não é dado real. É um dado artificial gerado por algoritmos para imitar as características de dados do mundo real.
Dados sintéticos podem ser usados em aprendizado de máquina?
Sim. Dados sintéticos são frequentemente usados para treinar modelos de aprendizado de máquina, especialmente quando dados reais são escassos, caros de coletar ou sensíveis à privacidade.
Dados sintéticos cumprem as regras de privacidade?
Sim. Como dados sintéticos não contêm informações pessoais reais, eles podem ser usados sem risco de violar regulamentações de privacidade.
Qual a diferença entre dados sintéticos e dados simulados?
Dados simulados são criados com modelos matemáticos para reproduzir um cenário do mundo real, enquanto dados sintéticos são gerados por algoritmos para imitar as características de dados reais sem conter informações verdadeiras.
Dados sintéticos podem substituir totalmente dados reais em aprendizado de máquina?
Não. Dados sintéticos podem complementar dados reais, mas não os substituem completamente. Dados do mundo real ainda são necessários para validar e aprimorar a precisão dos modelos.
Como validar a precisão de dados sintéticos?
A validação pode ser feita comparando as propriedades estatísticas e os padrões dos dados sintéticos com os dos dados reais. Também é possível comparar a acurácia de modelos treinados com dados sintéticos versus modelos treinados com dados reais.
Dados sintéticos funcionam com todos os tipos de algoritmos de aprendizado de máquina?
Dados sintéticos podem ser usados em muitos tipos de algoritmos de aprendizado de máquina, mas sua eficácia varia conforme o algoritmo e a natureza dos dados gerados.
Gerar dados sintéticos é caro?
Gerar dados sintéticos de alta qualidade pode ser complexo e exigir muitos recursos, mas há ferramentas e plataformas comerciais que tornam o processo mais acessível e econômico.
Sou um cientista de dados certificado que gosta de criar aplicativos de aprendizado de máquina e escrever blogs sobre ciência de dados. No momento, estou me concentrando na criação e edição de conteúdo e no trabalho com modelos de linguagem de grande porte.
