After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
Viviamo in un mondo frenetico con scadenze serrate. Di conseguenza, tendiamo a rifugiarci in ciò che è familiare e semplice, preferendo interfacce GUI come Visual Studio e RStudio. Tuttavia, dedicare del tempo a imparare l’analisi dei dati dalla riga di comando è un ottimo investimento a lungo termine, perché ci rende professionisti dei dati più forti e produttivi.In questo corso adotteremo un approccio pratico per imparare competenze da riga di comando semplici, potenti e specifiche per i dati. Utilizzando insiemi di dati pubblici di Spotify, impareremo a scaricare, elaborare, pulire e trasformare i dati, tutto tramite la riga di comando. Impareremo anche tecniche avanzate come le operazioni su database SQL dalla riga di comando. Infine, combineremo la potenza della riga di comando e di Python per creare una pipeline di dati che automatizzi un modello predittivo.
Prerequisiti
Curriculum
Programma del corso
1
Scaricare dati dalla riga di comando
In questo capitolo impari a scaricare file di dati dai server web tramite la riga di comando. Nel frattempo, vedrai anche come usare i manuali della documentazione, i flag delle opzioni e l’elaborazione di più file.
- Scaricare dati con curl50 XP
- Usare la documentazione di curl50 XP
- Scaricare un singolo file con curl100 XP
- Scaricare più file con curl100 XP
- Scaricare dati con Wget50 XP
- Installare Wget50 XP
- Scaricare un singolo file con wget100 XP
- Download avanzati con Wget50 XP
- Impostare vincoli per download di più file50 XP
- Impostare un tempo di attesa con Wget100 XP
- Download dei dati con Wget e curl100 XP
2
Pulizia e preparazione dei dati dalla riga di comando
Proseguiamo il nostro percorso dai download dei dati alla loro elaborazione. In questo capitolo utilizziamo la libreria da riga di comando csvkit per convertire, visualizzare in anteprima, filtrare e manipolare i file, preparando i dati per analisi successive.
3
Operazioni su database dalla riga di comando
In questo capitolo approfondiamo tutto ciò che offre la libreria csvkit. In particolare, ci concentriamo sulle operazioni di database che possiamo eseguire dalla riga di comando, tra cui creazione di tabelle, estrazione dei dati e varie trasformazioni ETL.
4
Pipeline di dati dalla riga di comando
Nell’ultimo capitolo colleghiamo la riga di comando ad altri linguaggi di data science e vediamo come possano lavorare insieme. Usando Python come caso di studio, impari a eseguire Python dalla riga di comando, a installare le dipendenze con il gestore pacchetti pip e a costruire un’intera pipeline di modello tramite la riga di comando.
S
Elaborazione dei dati in Shell
Corso
completato
