Elaborazione, analisi e visualizzazioni sono state effettuate con R e i relativi pacchetti. Il notebook e i file pertinenti utilizzati sono disponibili qui.
Secondo il dizionario Merriam-Webster, i dati sono informazioni fattuali usate come base per ragionamenti, discussioni o calcoli. In base a questa definizione, i dati sono in pratica qualsiasi informazione raccolta che può essere utilizzata e ulteriormente elaborata e analizzata per ottenere insight. Sono comunemente associati ai computer perché di norma vengono prodotti e archiviati in un computer, ma i dati esistono da molto più tempo di quanto si possa immaginare.
Storia dei dati
Il primo esempio di conservazione e analisi dei dati da parte degli esseri umani risale al 18.000 a.C., quando si scoprì che gli uomini preistorici usavano bastoncini di conteggio per eseguire calcoli rudimentali. Questi membri delle tribù paleolitiche incidevano tacche su bastoni e ossa per tenere traccia delle loro attività, come il baratto e il monitoraggio delle scorte. Nel 2400 a.C. fu inventato a Babilonia l’abaco, un dispositivo utilizzato per eseguire calcoli.
Nel corso della storia, il costante sviluppo della raccolta, dell’elaborazione e dell’analisi dei dati è testimoniato da numerose scritture su tavolette di pietra, argilla, papiro, legno e rotoli di carta. Con il tempo, man mano che venivano scoperte nuove forme di dati, anche l’esigenza di elaborarli, raccoglierli, archiviarli e analizzarli si è evoluta.
Con l’avanzare della società umana, è aumentata anche la necessità di elaborare i dati. Nell’Ottocento, negli Stati Uniti iniziò il censimento. Il numero di punti dati crebbe in modo esponenziale, al punto che l’U.S. Census Bureau stimò che ci sarebbero voluti anni, se non decenni, per raccogliere e analizzare tutti i dati del censimento. Ciò era molto problematico, perché la compilazione e l’analisi dei dati del censimento in corso sarebbero state completate solo quando il censimento successivo stava per iniziare o era già iniziato. Fortunatamente, un giovane ingegnere e inventore di nome Herman Hollerith sviluppò la Hollerith Tabulating Machine, una macchina elettromeccanica di tabulazione che ridusse il tempo necessario per raccogliere e analizzare i dati del censimento da anni a pochi mesi. Per questo, Hollerith è considerato il padre della computazione automatica moderna e in seguito sarebbe diventato noto per aver fondato IBM.
Facendo un salto al Novecento, con l’invenzione del computer, l’arrivo di macchine di calcolo più potenti portò a requisiti più sofisticati per l’archiviazione dei dati. Fritz Pfleumer, ingegnere austro-tedesco, inventò un metodo per memorizzare informazioni magneticamente su nastro. Alcuni principi della sua invenzione sono tuttora utilizzati per l’archiviazione di dati digitali. In quest’epoca il termine “business intelligence” acquisì popolarità, dato il rapido aumento della necessità di software e sistemi per analizzare le performance commerciali e operative.
La rivoluzione dei dati cambiò davvero marcia quando Tim Berners-Lee creò il World Wide Web, noto anche come Internet, nel 1989. Questo portò alla condivisione automatizzata di informazioni tra persone in tutto il mondo. Significa che oggi più dati vengono condivisi, creati e archiviati, aprendo nuove strade per la raccolta, l’uso e l’analisi dei dati.
Transizione al “Big Data”
A causa dell’incredibile crescita di Internet negli anni ’90 e dello sviluppo costante dei personal computer e dei dispositivi di calcolo in generale, il numero di dispositivi online (e di conseguenza la quantità di dati creati) crebbe rapidamente.
Sebbene l’idea di Big Data esistesse già prima degli anni ’90, solo nel 2005 Roger Mougalas le diede ufficialmente un’etichetta. La definì “un grande insieme di dati quasi impossibile da gestire ed elaborare utilizzando i tradizionali strumenti di business intelligence”.
Big Data è un termine usato per descrivere l’enorme volume di dati, sia strutturati che non strutturati, che sovrasta le organizzazioni quotidianamente. Comprende il volume di informazioni, la velocità con cui vengono create e raccolte e la varietà o ampiezza dei punti dati considerati.
Dati la dimensione e la complessità dei Big Data, il processo di raccolta, organizzazione e analisi per scoprire pattern e altre informazioni utili è diventato parte integrante del supporto alle decisioni in molte organizzazioni. A sua volta, questo ha dato origine alla data science, un campo interdisciplinare che utilizza metodi, processi, algoritmi e sistemi scientifici per estrarre pattern da grandi volumi di dati e consentire ai leader aziendali di trarre insight informati.
Quali ruoli esistono nella Data Science?
Secondo IBM, la data science è un approccio multidisciplinare per estrarre insight azionabili dai grandi e sempre crescenti volumi di dati raccolti e creati dalle organizzazioni odierne. Il campo richiede in genere competenze in informatica e scienze pure, poiché i data scientist applicano metodi scientifici e utilizzano analisi predittiva e intelligenza artificiale per estrarre insight dai dati. Consulta la nostra guida completa su “che cos’è la data science” per una definizione più approfondita.
Oggi “data science” è spesso usato da aziende e organizzazioni come termine ombrello per il processo di gestione di grandi quantità di dati, che si tratti di prepararli, pulirli, analizzarli o visualizzarli per rivelare pattern. Queste sono solo alcune delle carriere nella data science che puoi intraprendere:
-
Data Scientist
I data scientist devono saper applicare matematica, statistica e metodo scientifico; usare diversi strumenti e tecniche per pulire e preparare i dati; eseguire analisi predittiva e intelligenza artificiale; e spiegare come tali risultati possano essere usati per fornire soluzioni data-driven ai problemi di business. Richiedono competenze tecniche ben più approfondite rispetto ai data analyst. Per iniziare, puoi seguire corsi orientati alla data science come questi su DataCamp: Introduzione a Python per la Data Science e Introduzione a R.
-
Data Analyst
I data analyst raccolgono, elaborano ed eseguono analisi statistiche sui dati per arrivare a conclusioni significative per le organizzazioni. Trasformano e manipolano grandi set di dati in forme utilizzabili, come report o presentazioni. Contribuiscono anche al processo decisionale individuando pattern importanti e ricavando insight dai dati, che poi comunicano efficacemente ai leader dell’organizzazione per supportare le decisioni di business. Questi corsi su DataCamp possono aiutarti a dare il via alla tua carriera da data analyst: Introduzione a SQL e Analisi esplorativa dei dati in SQL.
-
Data Engineer
I data engineer si occupano della preparazione, dell’elaborazione e della gestione dei dati raccolti e archiviati per usi analitici o operativi. Come gli ingegneri tradizionali, costruiscono e mantengono “pipeline” di dati che collegano i dati da un sistema all’altro, rendendo le informazioni accessibili ai data scientist. Per questo, devono conoscere diversi linguaggi di programmazione usati nella data science come Python, R e SQL. Su DataCamp sono disponibili temi legati alla data engineering come questi: Introduzione alla Data Engineering e Capire la Data Engineering.
-
Data Architect
I data architect progettano principalmente e creano blueprint per sistemi di gestione dei dati che i data engineer poi costruiscono. Analogamente agli architetti tradizionali, i data architect sono i “visionari”, poiché sono responsabili della visualizzazione e della progettazione dell’architettura di gestione dei dati di un’organizzazione. Inoltre, migliorano le prestazioni dei sistemi esistenti, assicurandone l’accessibilità ad amministratori di database e analisti. Puoi seguire corsi legati all’architettura dei dati come questi disponibili su DataCamp: Concetti di AWS Cloud e Progettazione di database
-
Business Intelligence (BI) Developer
I BI developer sono ingegneri specializzati che utilizzano strumenti software per trasformare i dati in insight utili a supportare le decisioni di business. Sono responsabili di semplificare le informazioni tecniche affinché chiunque in azienda possa comprenderle facilmente. In breve, creano ed eseguono report contenenti i dati che trovano con strumenti di business intelligence, trasformando le informazioni in termini più comprensibili. Su DataCamp trovi corsi sull’uso di strumenti di business intelligence come Microsoft Power BI e Tableau, ad esempio: Introduzione a Power BI e Analizzare i dati in Tableau
-
Statistician
Dato che la statistica è uno dei pilastri della data science, molti statistici possono passare facilmente al campo della data science. Gli statistici sono principalmente responsabili della raccolta e della gestione dei dati. Decidono quali dati servono e come raccoglierli. Inoltre, progettano esperimenti, analizzano e interpretano i dati e riportano le conclusioni. Puoi dare un’occhiata a questi corsi introduttivi di statistica su DataCamp: Introduzione alla modellazione statistica in R e Introduzione alla statistica nei fogli di calcolo.
-
Machine Learning Engineer
I machine learning engineer sono un altro gruppo di ingegneri specializzati, focalizzati sulla ricerca, costruzione e progettazione di sistemi di intelligenza artificiale (AI) e machine learning (ML) per automatizzare i modelli predittivi. In sostanza, sviluppano algoritmi che utilizzano dati in input e sfruttano modelli statistici per prevedere un output, aggiornando continuamente i risultati man mano che diventano disponibili nuovi dati. DataCamp offre numerosi corsi sul machine learning che potresti trovare utili, come: Capire il Machine Learning e Machine Learning con caret in R.
Una rapida ricerca di lavoro online può darti un’idea di quale tra i percorsi di carriera nella data science elencati sopra sia il più richiesto. Il grafico seguente mostra le offerte di lavoro per percorso di carriera secondo Indeed USA all’8 dicembre 2021.
Il data architect sembra essere il percorso più richiesto nella data science, per via della sua importanza nella creazione di sistemi di gestione dei dati che gli altri professionisti della data science poi utilizzano. Subito dopo troviamo il machine learning engineer, dato il ruolo centrale dell’intelligenza artificiale nel prevedere risultati in molte aziende tech.
I meno richiesti sono gli statistici, principalmente perché molti degli statistici tradizionali stanno diventando data scientist. Si prevede che questa tendenza continui, vista la facilità con cui gli statistici possono passare dalla statistica pura alla data science, possedendo già le conoscenze fondamentali necessarie per diventare data scientist a pieno titolo.
La data science non sta rallentando
Il campo della data science ha conosciuto un’enorme popolarità negli anni 2010, soprattutto quando la Harvard Business Review definì il “Data Scientist” come “il lavoro più sexy del XXI secolo”. È diventato così popolare che il titolo “Data Scientist” è divenuto un’espressione onnipresente e di tendenza. Sebbene il termine “lavoro più sexy” suoni ridicolo a prima vista, si riferisce soprattutto al fatto che i data scientist non solo sono molto richiesti, ma sono anche costosi da assumere e difficili da trattenere.
Che la data science sia estremamente popolare oggi non è in discussione; la domanda migliore è: resterà così popolare in futuro? Sulla base delle proiezioni occupazionali, sembra proprio di sì. I dati delle Proiezioni Occupazionali 2020-2030 del Bureau of Labor Statistics degli Stati Uniti mostrano che le carriere nella data science, che includono statistica, data science e altre occupazioni basate su matematica e scienze come la data engineering, avranno un tasso di crescita molto elevato in termini di variazione percentuale dal 2020 al 2030. Gli statistici si sono classificati al 14º posto in assoluto, mentre i data scientist e le altre professioni delle scienze matematiche al 31º su 790 lavori inclusi nei dati.
Sebbene le quote di statistici e data scientist sul totale della forza lavoro siano piccole rispetto ad altre professioni, ci si aspetta che quei numeri aumentino negli anni a venire man mano che il percorso di carriera nella data science diventa sempre più popolare. La figura seguente mostra come statistici, data scientist e altre professioni delle scienze matematiche si confrontano con altri lavori a forte crescita prevista.
Un settore davvero ben retribuito
Uno dei principali motivi per cui la data science è popolare è che è tra i lavori più pagati al mondo. La figura seguente mostra l’intervallo di stipendi per 10 diverse professioni, inclusi data scientist e data analyst, a New York City. I dati sono stati ottenuti da Teleport, un sito che aggrega dati sulle condizioni di vita (ad esempio, stipendi) in diverse città.
Secondo Teleport, i data scientist avevano il 4º più alto stipendio mediano annuo a New York City, pari a \$114.105, dietro solo ai dirigenti di livello C e agli operatori sanitari. In effetti, in alcune altre città come Manila, i data scientist si classificano addirittura al 2º posto, subito dietro i dirigenti di livello C. Questo la dice lunga su quanto sia remunerativo questo lavoro. I lavori da data analyst, pur non essendo redditizi quanto le posizioni di data scientist, restano tutt’altro che trascurabili. Con uno stipendio mediano annuo di $61.818, i data analyst guadagnano comunque intorno al reddito medio familiare a New York City.
In costante crescita nel mercato del lavoro
Un altro motivo importante della popolarità della data science è il modo in cui le organizzazioni di oggi integrano i principi della disciplina nelle loro operazioni quotidiane. Il grafico seguente mostra le 10 principali industrie che coinvolgono la data science nel loro lavoro. Il campione di 8.000 aziende orientate alla data science è estratto da Diffbot, il più grande knowledge graph al mondo.
Non sorprende che le aziende software, incluse realtà tech come Google, Apple e Uber, siano in cima. In fin dei conti, la crescita eccezionale dei big data è stata causata dalla creazione di Internet, strettamente legata al software e alla tecnologia. La data science riguarda davvero l’elaborazione di molte informazioni tramite vari strumenti e tecnologie.
Subito dopo troviamo i servizi finanziari, trainati dall’ascesa delle aziende fintech. Fusione delle parole “finance” e “technology”, le fintech integrano tecnologia e innovazione nei loro servizi e nelle loro offerte per migliorare la consegna ai clienti e scardinare i servizi finanziari tradizionali. Poiché comporta la gestione di enormi quantità di dati, come le informazioni dei clienti, le aziende dei servizi finanziari hanno visto il potenziale degli strumenti di data science per snellire e ottimizzare i processi e migliorare i servizi.
In conclusione, vale la pena intraprendere una carriera nella data science?
Alla luce di tutto quanto spiegato sopra, la risposta è un deciso sì! Quanto al percorso specifico di data science da seguire, dipende principalmente dai tuoi punti di forza e dai tuoi interessi. L’importante è che una qualsiasi delle carriere menzionate sopra sarà sicuramente gratificante.
Un percorso professionale molto remunerativo e che non mostra segni di rallentamento in termini di popolarità, la data science continuerà a plasmare e influenzare il modo in cui aziende e organizzazioni operano per molti anni a venire.
