Set di dati e dove trovarli: orientarsi nel panorama dell’informazione

Che tu stia aggiungendo un progetto di data science al tuo portfolio o iniziando il tuo primo progetto come data scientist retribuito, il tuo primo compito sarà trovare un set di dati adatto. Quindi, cos’è un set di dati e dove lo si trova?

I dati sono ovunque, ma trovare una fonte di informazione affidabile e accessibile per rispondere alle domande specifiche che ti stai ponendo può essere molto più difficile di quanto sembri. Ma l’inizio di ogni grande progetto sui dati parte dalla scelta di un buon set di dati. In questo tutorial vedremo brevemente quali tipi di set di dati esistono, come trovarli e cosa farne una volta che li hai.

Che cosa sono i set di dati?

Un set di dati è semplicemente una raccolta di informazioni. Di solito queste informazioni sono organizzate in qualche modo, anche se potresti scoprire che non sono strutturate in maniera subito utile per il tuo contesto e richiederanno un po’ di lavoro da parte tua per diventare utilizzabili.

Esistono diversi tipi di dati che possono essere organizzati in modi differenti. Tipologie comuni di set di dati includono:

• Dati tabellari, disposti in tabelle, come i fogli di calcolo
• Dati relazionali, ovvero una raccolta di tabelle collegate da relazioni
• Dati temporali (time series), cioè dati ordinati cronologicamente.

Altri set di dati possono includere raccolte di immagini, documenti di testo o registrazioni audio o video.

Dove posso trovare set di dati?

Cercare set di dati affidabili con cui lavorare può richiedere molto tempo. Ci sono molti set di dati gratuiti disponibili, anche se molti altri sono a pagamento o addirittura proprietari.

Trovare i dati di cui hai bisogno per iniziare il tuo progetto potrebbe essere complicato da paywall, questioni legali, diritti di proprietà intellettuale o, in alcuni casi, potrebbe non esistere esattamente il dato che cerchi.

In questi ultimi casi, potresti dover essere creativo con ciò che puoi fare con i dati che riesci a ottenere, o potresti persino dover raccogliere tu stesso i dati (il che può essere un progetto a sé). Dai un’occhiata a questo corso sul web scraping con Python, a questo corso per comprendere la data science o a questo corso di data science per il business per ottenere qualche idea sulla raccolta dei dati.

DataCamp mette a disposizione una raccolta curata di set di dati facilmente accessibile su vari argomenti. Può essere un ottimo punto di partenza, soprattutto se non sai da dove iniziare.

Altri ottimi luoghi includono i siti web governativi, quelli delle organizzazioni non profit, le università e le biblioteche. Di seguito trovi una tabella con diverse ottime risorse per trovare set di dati interessanti.

Un passaggio cruciale nella scelta di una fonte di dati è valutarne la qualità e l’affidabilità. Soprattutto, vorrai verificare che la tua fonte sia autorevole. Ciascuno dei set di dati di DataCamp ha un link al materiale originale, consentendoti di verificarne facilmente l’autenticità.

Con altre fonti di dati, potresti dover approfondire un po’ di più per assicurarti di utilizzare dati affidabili. Fattori di affidabilità da considerare includono come sono stati raccolti i dati, quali popolazioni sono rappresentate dai dati e se ci sono stati bias nel processo di raccolta.

Un altro fattore da considerare nella scelta di un set di dati è quanto lavoro di pulizia e preparazione sia necessario per portarlo in un formato utilizzabile. Scegliere un set di dati più curato può farti risparmiare tempo. Tuttavia, spesso è inevitabile utilizzare dati più disordinati che richiedono impegno per garantire che i campi siano nello stesso formato, che i valori mancanti siano gestiti e che i duplicati vengano eliminati.

Questo tutorial sulla pulizia dei dati ti aiuterà ad affrontare alcuni di questi problemi.

Esplorare le strutture dei set di dati

Esiste una terminologia standard per descrivere le parti di un set di dati che è utile conoscere.

I set di dati tabellari sono composti da righe e colonne. In genere, ogni riga è un singolo record e ogni colonna indica un attributo o una variabile di quel record.

Ogni cella di dati all’intersezione tra una riga e una colonna contiene un valore. Un indice assegna a ogni record un numero individuale. L’header, ovvero la prima riga di ciascuna colonna, è in genere il nome dell’attributo o della colonna. In un database relazionale, le singole tabelle possono essere collegate da relazioni.

Quando ottieni per la prima volta un set di dati, è importante esaminarlo e identificare alcune di queste caratteristiche chiave. Ci sono molte opzioni per visualizzare il tuo set di dati, tra cui caricarlo in Python, in SQL, in R o in Matlab e richiamare righe specifiche da visualizzare.

A seconda del tipo di file e delle dimensioni, potresti anche riuscire ad aprirlo direttamente in Microsoft Excel o Google Fogli e visualizzarlo lì. Tieni presente che, se il tuo set di dati è molto grande, caricarlo interamente in una volta richiederà molta memoria, quindi potresti doverlo esaminare a blocchi.

Pulizia e preparazione dei set di dati

Spesso, dopo aver ottenuto un set di dati per il tuo progetto, il passo successivo sarà molta pulizia e preparazione per portare i dati in un formato utilizzabile. Scegliere un set di dati curato, come quelli che trovi su DataCamp, limita la quantità di pulizia necessaria.

Tuttavia, probabilmente dovrai comunque adattare il set di dati alle tue esigenze. Questo è particolarmente vero se per il tuo progetto stai attingendo dati da più fonti.

Durante la pulizia e la preparazione dei tuoi set di dati, alcune attività comuni che potresti dover svolgere includono:

• Rimuovere i dati non pertinenti alla tua analisi
• Identificare e rimuovere voci duplicate
• Correggere errori di battitura, maiuscole/Minuscole o convenzioni di denominazione incoerenti
• Rimuovere o imputare i dati mancanti
• Codificare i dati categorici in un formato numerico
• Trasformare i dati in un formato coerente
• Garantire coerenza e accuratezza all’interno del tuo set di dati

Dai un’occhiata a questi corsi per maggiori informazioni sulla pulizia dei dati in Python o sulla pulizia dei dati nei database SQL Server.

Analisi esplorativa dei dati

L’analisi esplorativa dei dati può aiutarti a comprendere davvero il tuo set di dati, un passaggio cruciale prima di tuffarti in analisi più complesse. Molti professionisti junior dei dati saltano questo passaggio critico a loro discapito.

Ti consiglio vivamente di eseguire diverse analisi esplorative sul tuo set di dati prima di avventurarti in qualsiasi modellazione, machine learning o altre analisi più complesse.

Questo passaggio ti aiuterà a intercettare stranezze, incoerenze o problemi del tuo set di dati. Ti guiderà verso un’analisi appropriata più avanti e ti aiuterà a individuare e correggere eventuali risultati anomali.

Questa fase esplorativa dovrebbe assumere forme diverse, dalle statistiche descrittive a semplici visualizzazioni. Per la maggior parte dei set di dati tabellari, statistiche riassuntive come media, mediana e deviazione standard, insieme a semplici scatter plot o grafici a barre, possono offrirti uno sguardo illuminante sui pattern e sui comportamenti dei tuoi dati.

Ti incoraggio a prenderti il tempo per tracciare quante più variabili possibile in modo ragionevole nel tuo set di dati. Anche se questa fase potrebbe non arrivare fino alla dashboard, al report o all’applicazione finale che immagini come traguardo del tuo progetto, ti guiderà nel processo. Scopri di più sull’analisi esplorativa dei dati in Python o sull’analisi esplorativa dei dati in R.

Raccontare la tua storia con i dati

L’obiettivo finale di ogni progetto sui dati è presentare le tue scoperte alle parti interessate. Che il tuo pubblico sia un referente aziendale, un potenziale datore di lavoro o un collega dei dati, è importante che le tue intuizioni siano chiare e facilmente interpretabili.

A volte basta un semplice grafico con un titolo descrittivo. Altre volte, potrebbe essere necessario un dashboard più articolato. Qualunque cosa tu scelga, dovrai assicurarti che la tua interpretazione sia fedele al set di dati.

La nostra cheat sheet sulla visualizzazione dei dati può aiutarti a scegliere il modo migliore per presentare i tuoi set di dati.

L’obiettivo dovrebbe essere quello di comunicare onestamente al tuo pubblico che cosa rappresenta il set di dati e come risponde alle tue domande. Dai un’occhiata al percorso di competenze sul data storytelling per padroneggiare questa competenza essenziale.

DataCamp è un ottimo luogo dove mettere in mostra il tuo portfolio dati. Altre scelte popolari per ospitare un portfolio includono un repository GitHub o una pagina web professionale. Ovunque tu ospiti il tuo progetto, assicurati che sia facilmente accessibile al pubblico che desideri raggiungere.

Conclusione

L’informazione è al cuore della data science. I set di dati raccolgono informazioni in un unico luogo, rendendo possibile individuare tendenze, fare previsioni e far progredire l’umanità. Trovare set di dati da analizzare può sembrare scoraggiante all’inizio. Ma conoscere alcuni luoghi da cui iniziare la ricerca può fare la differenza. Dai un’occhiata alla selezione di set di dati interessanti di DataCamp e vedi cosa ti ispira!