O que é Julia?
Julia é uma linguagem de programação relativamente nova, lançada pela primeira vez em 2012. Mesmo com pouco mais de dez anos de existência, Julia vem crescendo rápido e já figura entre as 30 linguagens de programação mais usadas, segundo o índice TIOBE de outubro de 2022.
Um diferencial de Julia é ter sido criada para computação científica. Isso significa que Julia é fácil de usar e muito rápida, além de lidar com grandes volumes de dados e cálculos complexos em altíssima velocidade. Um slogan famoso resume bem: ela "tem performance de C e legibilidade de Python".
Julia é uma linguagem compilada que se lê como uma linguagem interpretada. A maioria das linguagens compiladas tradicionais (como C ou C++) capazes de resolver problemas computacionalmente intensos precisa primeiro ser compilada para um formato legível pela máquina antes da execução.
Já Julia alcança a mesma performance com a simplicidade de uma linguagem interpretada (como Python), mas sem precisar compilar tudo previamente. Em vez disso, Julia usa um compilador Just-In-Time (JIT), que compila em tempo de execução.
Por que escolher Julia para machine learning?
Python domina o cenário de data science e machine learning há muito tempo — e com razão. É uma linguagem poderosa e flexível. Ainda assim, alguns pontos fracos de Python simplesmente não existem em Julia.
Algumas desvantagens de Python em comparação com Julia:
- Python é uma linguagem interpretada mais lenta, com opções limitadas para ganho de velocidade. Em projetos de machine learning com big data, isso pode ser menos eficiente do que usar Julia.
- Python usa single dispatch, o que limita bastante os tipos que podem ser usados e compartilhados entre funções e bibliotecas.
- Computação paralela e threading não fazem parte do design nativo de Python. Existem bibliotecas que permitem algum nível de threading, mas não de forma ideal.
Nesta seção, vamos ver por que Julia é uma ótima escolha para machine learning.
Você também pode saber mais sobre a ascensão da linguagem e se vale a pena aprender Julia em 2022 em outro post do blog.
1. Simplicidade e facilidade de uso
Julia tem uma sintaxe muito amigável e próxima do inglês. Isso torna o aprendizado mais rápido, já que o código costuma ser intuitivo e fácil de entender.
Julia também é simples de instalar e começar a usar. Não é preciso instalar distribuições especiais (como Python com Anaconda) nem seguir processos de instalação complicados (como em C e C++).
Para quem trabalha com machine learning, quanto menos atrito na programação, mais cedo você foca no que faz de melhor: analisar dados e construir modelos.
2. Velocidade
Um dos maiores destaques de Julia é a velocidade. Como mencionamos, é uma linguagem compilada, o que traz ganhos consideráveis frente a linguagens interpretadas.
Julia faz parte do "clube do petaflop" junto com C, C++ e Fortran. Isso mesmo: esse clube exclusivo tem só quatro membros e um requisito para entrar — atingir velocidades de um petaflop (ou seja, mil trilhões de operações) por segundo no pico de performance.
Em machine learning, é comum lidar com grandes volumes de dados. Usar uma linguagem rápida pode reduzir bastante o tempo de treino e os custos de colocar modelos em produção.
3. Código desveterizado é rápido
Em Julia, não é necessário vetorizar o código para ganhar performance. Escrever loops e usar funções nativas já é rápido. Vetorizar pode até trazer um ganho marginal, mas não é obrigatório.
Trabalhar com código desveterizado economiza tempo ao construir modelos de machine learning, já que você não precisa refatorar apenas para acelerar a execução.
4. Reaproveitamento de código e multiple dispatch
Julia usa duck typing para “inferir” o tipo apropriado para uma função. A ideia é: se anda como um pato e grasna como um pato, provavelmente é um pato. Assim, qualquer objeto que atenda às especificações implícitas de uma função é aceito — sem precisar declarar explicitamente.
No entanto, duck typing nem sempre resolve casos especiais — é aí que entra o multiple dispatch. Com ele, você define vários casos específicos para uma função e, conforme as condições atendidas, a função escolhe em tempo de execução a implementação mais adequada.
Multiple dispatch é útil em machine learning porque você não precisa antecipar todos os tipos possíveis aceitos por uma função. Os pacotes em Julia permanecem muito flexíveis e ainda conseguem compartilhar código e tipos entre diferentes pacotes.
Pense em formatos de data: em outras linguagens, há vários pacotes com formatos próprios de data e data/hora. Em Python, por exemplo, existe o datetime nativo e o datetime64[ns] do Pandas. Em Julia, há um único formato de data compartilhado por todos os pacotes, fornecido pelo módulo nativo Dates.
5. Gerenciamento de pacotes nativo
Em Julia, pacotes são gerenciados automaticamente com o Pkg. O Pkg para Julia é como o Pip para Python — só que melhor. Os ambientes são definidos por dois arquivos: Project.toml e Manifest.toml. Eles informam a Julia quais pacotes e versões o projeto usa. Em vez de criar ambientes especiais externos, a pasta onde estão seus arquivos Julia (com os tomls) vira o ambiente.
Esse gerenciamento simplificado e nativo facilita compartilhar e reproduzir seus projetos e análises de machine learning.
6. O “problema das duas linguagens”
Você sabia que apenas 20–30% dos pacotes Python são, de fato, escritos em Python?
Essa dependência de outras linguagens existe porque, para criar pacotes eficientes, geralmente é preciso usar linguagens de baixo nível como C e C++.
Na computação científica, é comum usar duas linguagens: uma fácil para prototipar (como Python), criando uma versão inicial rápida, e outra veloz (como C++) para reescrever todo o código na versão final.
Como dá para imaginar, isso torna o desenvolvimento mais lento e ineficiente — tanto no início quanto na manutenção e na inclusão de novas funcionalidades.
Em Julia, por outro lado, os pacotes podem ser prototipados, desenvolvidos e mantidos na própria linguagem. Com isso, todo o ciclo de desenvolvimento fica muito mais ágil.
Pacotes de machine learning em Julia
Hoje, Julia tem mais de 7.400 pacotes em seu registro geral. Embora esse número seja bem menor que o de Python (mais de 200 mil), ainda pode ser desafiador encontrar o pacote certo para cada problema.
Nesta seção, vamos ver os principais pacotes de que você precisa para analisar dados e construir modelos de machine learning.
Mas, se você está começando com machine learning em Julia, experimente primeiro a toolbox MLJ. Esse pacote reúne os pacotes de machine learning mais usados em um único lugar, fácil de acessar, poupando seu tempo na busca pela melhor opção para seu projeto. O MLJ hoje integra mais de 20 pacotes diferentes.
Abaixo está uma lista de pacotes comuns que você vai encontrar em projetos de machine learning — desde importação, limpeza e visualização de dados até a construção de modelos:
- Notebook: Pluto, IJulia, Jupyter
- Gerenciamento de pacotes/ambientes: Pkg
- Importação e manipulação de dados: CSV, DataFrames
- Visualização e saída: Plots, StatsPlots, LaTeXStrings, Measures, Makie
- Estatística e matemática: Random, Statistics, LinearAlgebra, StatsBase, Distributions, HypothesisTests, KernelDensity, Lasso, Combinatorics, SpecialFunctions, Roots
- Pacotes individuais de machine learning:
- Modelos lineares generalizados (ex.: regressão linear, regressão logística): GLM
- Deep learning: Flux, Knet
- Support Vector Machines: LIBSVM
- Árvore de decisão, random forest, AdaBoost: DecisionTree
- K-nearest neighbors: NearestNeighbors
- Clusterização k-means: Clustering
- Análise de componentes principais: MultivariateStats
Também há muitas implementações e wrappers para pacotes populares do ecossistema Python, como Scikit-Learn e TensorFlow. Porém, você não precisa necessariamente usá-los — pode acabar abrindo mão de vantagens importantes de Julia, como velocidade e multiple dispatch.
Começando com Julia para machine learning
Uma das melhores formas de começar com Julia é usando o ambiente de notebooks Pluto. Nesta seção, falamos sobre os benefícios do Pluto, especialmente no início da sua jornada em data science, quando você ainda está aprendendo a construir projetos de machine learning com Julia. Também indicamos ótimos recursos para aprender mais sobre Julia e machine learning.
Pluto
Pluto é um ambiente de Notebook interativo, fácil de usar e com uma interface amigável. Essa simplicidade é ideal para quem está começando em Julia. O Pluto também traz diversos recursos adicionais que ajudam você a construir soluções de machine learning mais envolventes, quase sem esforço:
Reatividade
Ao avaliar uma célula, o Pluto identifica quais outras precisam ser executadas. Esse recurso garante que qualquer célula dependente seja atualizada antes da avaliação da célula atual.
O legal do Pluto é que ele sabe exatamente quais células adicionais precisa rodar junto com a atual, evitando o problema de ter que atualizar tudo no notebook quando você faz alguma mudança.
O Pluto também limpa códigos antigos ou excluídos e atualiza a saída das células dependentes para refletir essa ação. Se você define uma variável em uma célula e depois a apaga, o Pluto remove essa variável do namespace. Além disso, as células dependentes exibem um erro informando que a variável necessária foi excluída.
Interatividade
A reatividade gera interatividade automática entre as células. Isso é especialmente útil para criar rapidamente gráficos ou objetos interativos que se atualizam automaticamente quando alguma variável muda.
O mais interessante é que essa variável pode ser um widget interativo do próprio notebook, como um slider ou uma caixa de texto. Se você souber JavaScript, pode até criar seus próprios widgets.
Reatividade e interatividade permitem produzir relatórios e dashboards dinâmicos a partir dos seus modelos de machine learning e análises de dados. Comunicação é peça-chave em projetos de ML, e o Pluto facilita mostrar e explicar seus resultados.
Gerenciamento automático de pacotes
O Pluto integra-se perfeitamente ao Pkg para gerenciar pacotes automaticamente no seu notebook. Mais do que isso: você nem precisa instalar pacotes fora do Pluto. Todas as informações que o Pluto (e Julia) precisam para rodar e reproduzir seu notebook ficam salvas no próprio arquivo!
Isso significa que você pode compartilhar o notebook com colegas ou colegas de turma e ter a certeza de que todos os pacotes certos irão junto para que o arquivo rode corretamente.
Controle de versão
Todos os notebooks do Pluto são salvos como arquivos .jl executáveis. Se você abrir um notebook em um editor de texto, ele será diferente do que aparece no navegador. O arquivo contém tudo o que o notebook precisa — código, dependências entre células e ordem de execução. Mas não inclui nenhuma saída. Tudo isso facilita muito o controle de versão com Git e GitHub.
Exportação e compartilhamento
Notebooks Pluto podem ser exportados como arquivo .jl executável, PDF estático ou HTML estático. Ao exportar em HTML, quem receber terá a opção de baixar e editar o notebook bruto mesmo sem ter Julia instalado na máquina.
O Pluto viabiliza isso por meio da parceria com o Binder — uma plataforma gratuita que hospeda notebooks Pluto online (e também funciona com outras linguagens, como Python e R).
Esse recurso fecha o ciclo de um workflow de machine learning: primeiro você faz a análise, depois constrói um relatório interativo no notebook para apresentar resultados e, por fim, compartilha com colegas técnicos, que podem reproduzir e editar a análise, e também com públicos não técnicos.
Recursos para aprender Julia
Estes são alguns dos recursos mais recomendados para aprender a linguagem Julia e como usá-la em data science e machine learning:
- Se você gosta de aprender de forma interativa, temos o curso Introduction to Julia
- Para uma explicação completa da linguagem, o livro Think Julia: How to Think Like a Computer Scientist é um dos melhores materiais.
- Confira nosso tutorial de Julia para iniciantes com um passo a passo para começar
- Veja nosso cheat sheet com um guia prático dos essenciais de programação em Julia.
