Glossario di Data Science: definizioni dei termini più comuni

Un punteggio di accuratezza è una metrica di valutazione usata per stimare le prestazioni di un modello di machine learning e mostra il rapporto tra il numero di previsioni corrette e il numero totale di previsioni.

Funzione di attivazione

Una funzione di attivazione è usata nelle reti neurali artificiali (ANN) e determina se un neurone deve essere attivato o meno calcolandone l'uscita verso il livello nascosto successivo (o livello di output) in base all'input del livello precedente (o livello di input). La funzione di attivazione è responsabile della trasformazione non lineare di una rete neurale.

Algoritmo

Un algoritmo è una sequenza di passaggi ripetibili, spesso espressi matematicamente, scritti da un umano ed eseguiti da un computer, per risolvere un certo tipo di problema di data science. Gli algoritmi vanno da molto semplici a estremamente complessi. Algoritmi diversi sono adatti a vari compiti e tecnologie. Il concetto principale è che un algoritmo riceve un input e produce un output, e lo stesso input produrrà sempre lo stesso output. Nel machine learning, gli algoritmi ricevono in input dati e iperparametri, identificano e apprendono schemi comuni dai dati e producono output sotto forma di previsioni.

Apache Spark

Apache Spark è un framework open source multifunzionale per l'elaborazione parallela, usato per analizzare e modellare big data. Spark ti permette di distribuire dati e calcoli su cluster con più nodi (pensa a ciascun nodo come a un computer separato). Suddividere i dati facilita il lavoro con dataset molto grandi perché ogni nodo lavora solo su una piccola quantità di dati. Poiché ogni nodo lavora sul proprio sottoinsieme del totale, esegue anche una parte dei calcoli richiesti, così sia l'elaborazione dei dati sia il calcolo avvengono in parallelo tra i nodi del cluster. È un dato di fatto che la computazione parallela può rendere molto più veloci alcuni tipi di attività di programmazione.

API

API è l'acronimo di Application Programming Interface, un intermediario software che garantisce la connessione tra applicazioni o computer. Un esempio di API è l'integrazione di Google Maps in un'app di ridesharing. I data scientist lavorano spesso con le API per accedere ai dati (ad esempio, l'API di Twitter per scaricare tweet) o per impacchettare una soluzione creata (ad esempio, un'API che chiama un modello di machine learning in produzione).

Intelligenza Artificiale (AI)

L'intelligenza artificiale è un ramo dell'informatica che utilizza tecniche di machine learning, programmazione e data science per abilitare i computer a comportarsi in modo intelligente. I sistemi di AI sono ampi e con gradi di complessità variabili. Possono andare da sistemi basati su regole a sistemi basati su machine learning e possono svolgere capacità come il rilevamento delle frodi, il riconoscimento di oggetti, la traduzione linguistica, la previsione dei prezzi azionari e molto altro.

Reti neurali artificiali (ANN)

Una rete neurale artificiale è un modello di machine learning vagamente ispirato alle reti neurali biologiche del cervello umano. Le reti neurali sono composte da fino a centinaia di livelli di unità interconnesse chiamate neuroni. Concettualmente, una rete neurale artificiale ha i seguenti tipi di livelli: input, output e livelli nascosti, usati per far filtrare i dati, elaborarli con una funzione di attivazione e generare previsioni in uscita. Le ANN sono i mattoni alla base di un sottoinsieme del machine learning chiamato deep learning, che produce output complessi come riconoscimento di immagini o suoni, rilevamento di oggetti, traduzione linguistica e altro.

B

Backpropagation (BP)

La backpropagation è una tecnica usata nell'addestramento di reti di deep learning e si basa sull'implementazione della discesa del gradiente per regolare iterativamente pesi e bias al fine di aumentare l'accuratezza di una rete. L'algoritmo calcola l'errore dell'output a ogni iterazione di training e poi lo propaga all'indietro nella rete, permettendo così di minimizzare l'errore nelle iterazioni successive.

Rete bayesiana

Una rete bayesiana è un grafo probabilistico che mostra la relazione tra variabili aleatorie in un dominio incerto, in cui i nodi del grafo rappresentano tali variabili e i collegamenti tra ogni coppia di nodi (gli archi) rappresentano la probabilità condizionata per le variabili corrispondenti. Un esempio di reti bayesiane è nella diagnosi medica, dove i ricercatori prevedono gli esiti di salute tenendo conto di tutti i fattori che possono influenzare un esito.

Teorema di Bayes

Il teorema di Bayes è un'equazione matematica per il calcolo della probabilità condizionata, cioè la probabilità che l'evento B si verifichi dato che l'evento correlato A è già accaduto. Una delle applicazioni di questo teorema nella data science è la costruzione di reti bayesiane per grandi dataset.

Bias

Bias indica la tendenza dei modelli a sottoadattare i dati, portando a previsioni inaccurate nel machine learning e nella data science. Questa è la definizione di bias spesso discussa nel compromesso bias-varianza. Inoltre, bias può anche significare bias algoritmico, ovvero la propensione dei modelli di machine learning a riprodurre pregiudizi sociali dannosi trattando in modo diverso gruppi di individui in base ad attributi protetti come razza, orientamento sessuale, identità di genere, età, gravidanza, status di veterano e altro.

Compromesso bias-varianza

Il compromesso bias-varianza è il trade-off tra bias e varianza nella creazione di un modello di machine learning. Bias e varianza sono due tipi di errore di previsione nella creazione di modelli di machine learning: un bias elevato indica sottoadattamento del modello, mentre un'alta varianza indica sovradattamento. Minimizzare entrambi questi fattori a un livello ottimale riduce l'errore complessivo delle previsioni.

Big Data

I Big Data sono il campo che ruota attorno all'elaborazione, al trattamento e all'estrazione di informazioni da insiemi di dati troppo grandi o complessi per gli strumenti tradizionali di elaborazione. I big data sono definiti dalle cinque V: velocità, ovvero la rapidità di generazione dei dati; volume, la quantità di dati generati; varietà, la varietà di tipi di dati, ad esempio testo, immagini, dati tabellari ecc.; veridicità, la qualità e l'attendibilità dei dati; e valore, la propensione dei dati a tradursi in insight di business di valore.

Distribuzione binomiale

La distribuzione binomiale è la distribuzione di probabilità discreta degli esiti di prove indipendenti, con due risultati possibili e mutuamente esclusivi (successo e fallimento), un numero finito di prove e una probabilità di successo costante. In parole semplici, si può pensare alla distribuzione binomiale come alla probabilità di un particolare esito (successo o fallimento) in un evento ripetuto più volte (ad esempio, la probabilità di ottenere il 3 con un dado lanciato 5 volte).

Business Analyst

I business analyst sono responsabili di collegare gli insight sui dati a risultati concreti che aumentano la redditività o l'efficienza. Hanno una profonda conoscenza del dominio di business e spesso usano SQL insieme a strumenti senza codice per comunicare gli insight derivati dai dati.

Business Analytics (BA)

La business analytics è un sottoinsieme dell'analytics focalizzato sull'uso di dati storici e attuali per scoprire insight operativi di valore, anticipare possibili trend futuri e prendere decisioni aziendali data-driven. Il toolkit della business analytics include solitamente analisi statistica, analisi descrittiva e data visualization, e può sconfinare nell'analisi predittiva e nel machine learning.

Business Intelligence (BI)

La business intelligence è un sottoinsieme dell'analytics che combina analisi descrittiva, business analytics, data visualization, analisi statistica, reporting e altro. Mira ad aiutare le organizzazioni a prendere decisioni basate sui dati. La BI utilizza solitamente strumenti senza codice come Tableau e Power BI per esplorare i trend nei dati storici e attuali. Diversamente dalla business analytics, il focus principale della BI è sull'analisi descrittiva.

C

Variabile categorica

Una variabile categorica è una variabile che può assumere uno tra un numero limitato di valori possibili (categorie) senza alcun ordinamento intrinseco. Un esempio di variabile categorica è lo stato civile (ad esempio sposato, single, divorziato). È chiamata anche variabile nominale o qualitativa.

Classificazione

La classificazione è un problema di apprendimento supervisionato in cui è necessario prevedere esiti categorici sulla base di feature in input. Esempi di problemi di classificazione sono il rilevamento di frodi (ad esempio, questa transazione è fraudolenta dato l'insieme di feature in input?) e i filtri antispam per le email (ad esempio, questa email è spam o no?). Algoritmi di classificazione comunemente usati sono k-nearest neighbors, alberi decisionali, random forest, ecc.

Clustering

Il clustering è un problema di apprendimento non supervisionato che riguarda il raggruppamento di tutte le osservazioni di un dataset in base alla loro somiglianza per alcune caratteristiche comuni. Diversamente da un problema di classificazione, questi gruppi (chiamati cluster) non sono predefiniti dagli umani, ma identificati dagli algoritmi di machine learning durante l'apprendimento dei dati di input. Gli elementi in ciascun cluster sono simili tra loro e diversi da tutti gli altri. Algoritmi di clustering comuni sono k-means, clustering gerarchico, clustering spettrale, ecc.

Informatica

L'informatica è un campo di studio sfaccettato, incentrato sugli aspetti teorici e pratici dell'elaborazione dell'informazione nei computer digitali, sulla progettazione di hardware e software e sulle applicazioni dei computer. In particolare, l'informatica tratta di intelligenza artificiale, sistemi computazionali, algoritmi, strutture dati, data modeling, sicurezza, progettazione di computer e reti, ecc.

Computer vision

La computer vision è un'area dell'informatica che si occupa di consentire ai computer di ottenere una comprensione di alto livello da immagini o video digitali, in modo simile a come li vedono gli umani. La computer vision è diventata particolarmente popolare con l'evoluzione del deep learning e l'accumulo di big data. Alcune sue applicazioni sono il riconoscimento di oggetti e volti, l'analisi del movimento, le auto a guida autonoma e il riconoscimento ottico dei caratteri.

Matrice di confusione

Una matrice di confusione è una tabella che illustra le prestazioni predittive di un modello di classificazione. Di solito, una matrice di confusione è creata per un output binario (cioè problemi con solo due tipi di previsione, ad esempio se una transazione è fraudolenta o no), quindi la tabella risultante è 2x2. Una matrice di confusione rappresenta le relazioni tra previsioni e etichette reali per entrambe le classi. Mette facilmente in evidenza il numero di previsioni accurate effettuate (veri positivi e veri negativi) e il numero di falsi positivi (errore di tipo I) e falsi negativi (errore di tipo II).

Variabile continua

Una variabile continua è una variabile che può assumere un insieme infinito di valori all'interno di un intervallo particolare. Esempi di variabili continue sono altezza e peso.

Correlazione

La correlazione è l'intensità e la direzione della relazione tra due o più variabili, misurata da un coefficiente di correlazione, o coefficiente di Pearson. Statisticamente, un coefficiente di correlazione è il rapporto tra la covarianza di due variabili e il prodotto delle loro deviazioni standard. Può assumere valori da -1 (correlazione negativa perfetta) a 1 (correlazione positiva perfetta). La presenza di correlazione tra due variabili non implica una relazione di causa-effetto.

Funzione di costo

La funzione di costo è una funzione di machine learning usata per misurare la media delle differenze tra i valori previsti e quelli reali sul training set, e che si suppone debba essere minimizzata.

Covarianza

La covarianza è una misura della relazione tra due variabili. A differenza della varianza, che misura le variazioni all'interno della stessa variabile, la covarianza mostra come le variazioni in una variabile influenzano i cambiamenti nell'altra. La covarianza è usata per calcolare un coefficiente di correlazione.

Cross-validation (non convalidata)

La cross-validation è un metodo di ricampionamento durante l'addestramento di modelli di machine learning che divide i dati etichettati in training set e test set. A ogni iterazione della cross-validation, parti diverse dei dati vengono usate per addestrare e testare il modello. Il training set viene usato per addestrare un modello e il test set per effettuare previsioni e confrontarle con le etichette reali per quelle righe. Successivamente, viene calcolata una metrica di accuratezza complessiva per stimare le prestazioni predittive del modello risultante.

D

Dashboard

Una dashboard è un'interfaccia grafica interattiva usata per visualizzare, riassumere e riportare indicatori chiave di prestazione (KPI), metriche di avanzamento e informazioni sui processi aziendali, consentendo al pubblico di riferimento di cogliere facilmente gli insight più importanti a molti livelli. Le dashboard sono costruite con strumenti senza codice come Excel, Tableau o PowerBI, o anche con strumenti di coding come Python e R. Una dashboard è spesso collegata a database e servizi aggiornati regolarmente.

Data Analysis (DA)

La data analysis è una disciplina focalizzata sulla pulizia, trasformazione, visualizzazione ed esplorazione dei dati con lo scopo di estrarre schemi e insight significativi e comunicare i risultati alle parti interessate. La data analysis è di solito la prima tappa in tutti i progetti di data science, ma può anche rappresentare un progetto autonomo. A differenza della data science, però, si occupa maggiormente di analisi descrittiva piuttosto che predittiva.

Data Analyst

Un data analyst, simile ai business analyst, è responsabile dell'analisi dei dati e del reporting degli insight derivanti dalla propria analisi. Ha una profonda comprensione del flusso di lavoro dell'analisi dei dati e ricava e riporta i propri insight usando una combinazione di strumenti con e senza codice.

Database

Un database è uno spazio di archiviazione strutturato in cui i dati sono organizzati in molte tabelle diverse in modo tale che le informazioni necessarie possano essere facilmente accessibili e riassunte. I database sono usati per lo più con un sistema di gestione di database relazionale (RDBMS) come Oracle o PostgreSQL. Il linguaggio di programmazione più comune per interagire con i dati di un database è SQL.

Database Management System (DBMS)

Un sistema di gestione di database è un pacchetto software usato per eseguire facilmente diverse operazioni sui dati: accesso, manipolazione, recupero, gestione e archiviazione dei dati in un database. In base a come i dati sono organizzati e strutturati, esistono diversi tipi di DBMS: relazionali, a grafo, gerarchici, ecc. Alcuni esempi di DBMS: Oracle, MySQL, PostgreSQL, Microsoft SQL Server, MongoDB.

Data consumer

I data consumer ricoprono spesso ruoli non tecnici, ma consumano insight e analisi fornite dai professionisti dei dati per prendere decisioni basate sui dati. I data consumer devono spesso dialogare con i professionisti dei dati e dovrebbero essere in grado di distinguere quando i dati possono o non possono essere usati per rispondere a domande di business.

Data Engineer

Un data engineer è uno specialista responsabile di mettere i dati giusti nelle mani di data scientist e data analyst. Progetta e mantiene l'infrastruttura di archiviazione e le data pipeline che portano grandi quantità di dati grezzi provenienti da varie fonti in un unico luogo centralizzato con dati puliti, correttamente formattati e rilevanti per l'organizzazione.

Data Engineering (DE)

La data engineering è una specializzazione che si concentra sullo scaling dell'accesso ai dati all'interno dell'organizzazione. I data engineer lavorano su acquisizione, raccolta, gestione e archiviazione dei dati, oltre che sulla creazione di data pipeline e sulla trasformazione dei dati in dati di alta qualità e utilizzabili dal resto dell'organizzazione.

Data enrichment

Il data enrichment è il processo di arricchimento, affinamento e potenziamento dei dati grezzi per renderli più utili all'organizzazione e, di conseguenza, ottenere insight di business più significativi e ottimizzare l'analisi predittiva.

Dataframe

Un dataframe è la struttura dati tabellare con assi etichettati (righe e colonne) di tipi potenzialmente diversi.

Data governance

DAMA definisce la data governance come "la pianificazione, supervisione e controllo sulla gestione dei dati e delle risorse correlate ai dati". La data governance stabilisce ruoli, responsabilità e processi per garantire disponibilità, rilevanza, qualità, usabilità, integrità e sicurezza dei dati. Include un organo di governo, un quadro di regole e pratiche per soddisfare le esigenze informative dell'azienda e un programma per eseguire tali pratiche.

Data journalism

Il data journalism è un tipo di giornalismo che si occupa dell'elaborazione e analisi di grandi quantità di dati numerici, con lo scopo di creare una storia sui dati o sulle informazioni derivate da questi dati. Questo ruolo è apparso come risultato del flusso informativo in costante crescita e della crescente interazione del giornalismo moderno con ambiti quali statistica, tecnologie IT e data science.

Data lake

Un data lake è un unico repository di archiviazione che contiene una grande quantità di dati grezzi e non elaborati di qualsiasi tipo provenienti da varie fonti, che non hanno ancora uno scopo definito. Un data lake include sia dati strutturati di diverse strutture senza alcuna relazione tra loro e, più spesso, dati non strutturati, come documenti e file di testo. I dati grezzi sono mantenuti come fonte originale di informazione, senza la necessità di strutturarli e manipolarli a meno che non siano necessari.

Data literacy

La data literacy è la capacità di leggere, scrivere, analizzare, comunicare e ragionare con i dati per prendere decisioni migliori basate sui dati. Da una prospettiva organizzativa, è uno spettro di competenze che va dal decision making data-driven a competenze tecniche avanzate in data science, data engineering e machine learning, con il risultato che tutti in azienda hanno le competenze pertinenti e generano valore dai dati su larga scala.

Data mining

Il data mining è il processo di raccolta di dati rilevanti da varie fonti, pulizia e trasformazione nel formato corretto, rilevamento ed estrazione di trend nascosti significativi, schemi e interconnessioni tra i dati, e comunicazione di insight azionabili per aiutare l'organizzazione a prendere decisioni data-driven e sviluppare strategie migliori. A questo scopo si usano varie tecniche analitiche e di modellazione, tra cui analisi statistica, data visualization, regressione e classificazione.

Data modeling

Il data modeling è il processo di sviluppo di una rappresentazione visiva di un intero sistema IT, o di sue parti, per comunicare le connessioni tra punti e strutture di dati. I modelli dei dati mostrano i tipi di dati usati e archiviati nel sistema, le relazioni tra le diverse fonti di dati e come i dati sono raggruppati in base a diversi attributi e caratteristiche. Una definizione leggermente adattata che puoi incontrare nella data science per data modeling è: costruire modelli affidabili che trasformino i dati grezzi in insight predittivi, coerenti e azionabili. L'intento principale è comprendere chiaramente le esigenze critiche del business, le fonti di dati disponibili e le scadenze, e fornire un framework data-driven pertinente e correttamente formattato per soddisfare tali esigenze.

Data pipeline

Una data pipeline è un insieme di script di elaborazione dei dati collegati tra loro, che automatizzano così il flusso di dati in un'organizzazione dove i dati vengono estratti, trasformati e caricati per essere pronti all'uso.

Data Science (DS)

La data science è un campo di studio interdisciplinare e sfaccettato che utilizza vari metodi scientifici, tecniche avanzate di analytics e algoritmi di modellazione predittiva per estrarre insight significativi dai dati, per aiutare a rispondere a domande strategiche di business o scientifiche in molti ambiti. Combina un'ampia gamma di competenze tecniche e non tecniche e di solito richiede una solida conoscenza del dominio nel particolare settore in cui è applicata, per poter interpretare correttamente i dati disponibili e i risultati ottenuti.

Data Scientist

I data scientist esplorano, estraggono e riportano insight significativi nei dati dell'organizzazione. Comunicano questi insight a stakeholder non tecnici e hanno una buona comprensione dei workflow di machine learning e di come ricollegarli alle applicazioni di business. Lavorano quasi esclusivamente con strumenti di coding, conducono analisi e spesso utilizzano strumenti per big data.

Dataset

Un dataset è una raccolta di dati di uno o più tipi che rappresentano osservazioni reali o generate sinteticamente, usati per analisi statistiche o modellazione dei dati. I dati di un dataset possono essere raccolti da molte fonti e sono tipicamente archiviati in qualche tipo di struttura dati, più comunemente una tabella, in cui le colonne corrispondono a variabili diverse e le righe a diverse voci di dati.

Struttura dati

Una struttura dati è un modo di organizzare e archiviare i dati affinché possano essere accessibili e gestiti in modo efficiente. La struttura dati definisce la relazione tra i dati e le operazioni che possono essere eseguite su di essi. Strutture dati comuni incontrate nella data science sono dataframe, liste, array e altro.

Data visualization

La data visualization è un campo interdisciplinare che si occupa di condensare e rappresentare le informazioni in formato visivo. I dati possono essere visualizzati tramite una varietà di grafici come mappe, istogrammi, barplot e line chart e possono essere combinati in infografiche, dashboard e altro. La data visualization è spesso utilizzata per aiutare il pubblico a comprendere meglio i dati sottostanti e i risultati ottenuti.

Data warehouse

Un data warehouse è un repository centrale per l'archiviazione di dati strutturati, puliti e trasformati, raccolti da più fonti mediante il processo ETL (estrazione, trasformazione, caricamento). I professionisti dei dati possono accedere facilmente alle informazioni necessarie dal data warehouse tramite strumenti di business intelligence, query SQL, ecc., e usarle per ulteriori analisi e modellazioni per rispondere a domande di business.

Data wrangling

Il data wrangling è chiamato anche data munging. Le attività di data wrangling riguardano la pulizia, ristrutturazione, unione, aggregazione e trasformazione dei dati in un formato appropriato per uno scopo specifico. In sintesi, è un processo di preparazione dei dati per un facile accesso e analisi successive.

Albero decisionale

Un albero decisionale è un algoritmo di machine learning supervisionato usato principalmente per problemi di classificazione, ma anche di regressione. Gli alberi decisionali eseguono una sequenza di domande if-else su singole feature con l'obiettivo di inferire le etichette di classe. Un albero decisionale beneficia di una possibile rappresentazione grafica ad albero, dell'imitazione della capacità decisionale umana e di una logica intuitivamente comprensibile, ma questo tipo di modello tende al sovradattamento.

Deep Learning (DL)

Il deep learning è un sottoinsieme di algoritmi di machine learning basati su reti neurali artificiali (ANN) multistrato ampiamente ispirate alla struttura del cervello. Le ANN sono molto flessibili e possono apprendere da enormi quantità di dati, fornendo output molto accurati. Sono spesso alla base di casi d'uso di data science e machine learning come il riconoscimento di immagini o suoni, la traduzione di lingue e altri problemi avanzati.

Riduzione della dimensionalità

La riduzione della dimensionalità è il processo di ridurre il numero di feature del training set, lasciando solo quelle più rilevanti che catturano la maggior parte della variazione, per migliorare le prestazioni del modello. È particolarmente utile per grandi dataset con molte variabili. Aiuta a ottimizzare lo spazio di archiviazione e il tempo computazionale e risolve anche problemi di multicollinearità. La tecnica più popolare di riduzione della dimensionalità è la PCA (analisi delle componenti principali).

E

EDA

EDA è l'acronimo di exploratory data analysis e si riferisce alla prima fase dell'analisi dei dati, focalizzata sull'esplorazione di base dei dati disponibili; sul riassunto delle caratteristiche principali e sull'individuazione di pattern e trend iniziali, problemi da risolvere e domande da approfondire. In questa fase, un data analyst o un data scientist si fa un'idea generale dei dati come base per le analisi successive più dettagliate.

ELT

ELT (extract, load, transform) è un sistema di data pipeline progettato dai data engineer, un'alternativa all'approccio più popolare ETL (extract, transform, load). Prima di applicare qualsiasi trasformazione, i dati grezzi vengono caricati nel data lake e poi trasformati in loco. Il vantaggio di ELT rispetto a ETL è che richiede meno tempo, si adatta all'elaborazione di grandi dataset ed è più conveniente.

ETL

ETL (extract, transform, load) è un sistema di data pipeline progettato dai data engineer. I dati vengono estratti da più fonti, trasformati dalla loro forma grezza in un formato appropriato per essere coerenti con i dati di altre fonti e caricati nel data warehouse di destinazione. Da qui, possono essere usati per ulteriori analisi e modellazioni per risolvere vari problemi di business.

Metriche di valutazione

Le metriche di valutazione sono un insieme di metriche usate per stimare le prestazioni di un modello statistico o di machine learning. Alcuni esempi di metriche di valutazione sono il punteggio di accuratezza, l'F-score, il recall e l'RMSE.

F

Falso negativo (FN, errore di tipo II)

Un falso negativo è un esito in cui un modello di classificazione predice erroneamente la classe negativa per una variabile target binaria (ad esempio, se prevediamo il churn dei clienti, un falso negativo genera una previsione "non farà churn" mentre l'etichetta reale è "farà churn").

Falso positivo (FP, errore di tipo I)

Un falso positivo è un esito in cui un modello di classificazione predice erroneamente la classe positiva per una variabile target binaria. Per esempio, se prevediamo il churn dei clienti, un falso positivo genera una previsione "farà churn" mentre l'etichetta reale è "non farà churn".

Feature

Una feature è una variabile indipendente usata come input in un modello di machine learning. Per esempio, se stiamo prevedendo la probabilità di diabete usando altezza, peso e consumo di zuccheri, altezza, peso e consumo di zuccheri sono feature.

Feature engineering

La feature engineering è il processo di utilizzo della conoscenza del dominio e dell'esperienza sul soggetto per trasformare feature grezze in feature che riflettano meglio il problema sottostante e siano più adatte agli algoritmi di machine learning. Include l'estrazione di nuove feature dai dati disponibili o la manipolazione di quelle esistenti. Per esempio, se stiamo cercando di prevedere un esito di salute come la probabilità di avere il diabete, calcolare una feature BMI usando altezza e peso è feature engineering.

Selezione delle feature

La selezione delle feature è il processo di selezione di un sottoinsieme di feature dal dataset che sono le più rilevanti per prevedere la variabile target. Un processo intelligente di selezione delle feature è particolarmente importante per dataset di grandi dimensioni poiché riduce la complessità del modello, l'overfitting e il tempo computazionale, e aumenta l'accuratezza del modello.

F-Score

La F-Score è una metrica di valutazione per stimare le prestazioni del modello che combina sia la precisione sia il recall. Di solito si usa l'F1-score, che è la media armonica di precisione e recall. Il caso più generico è Fβ, dove si applica un peso aggiuntivo alla precisione o al recall.

G

Discesa del gradiente

La discesa del gradiente è un processo di ottimizzazione iterativo usato nel machine learning per minimizzare la funzione di costo trovando i valori ottimali dei parametri della funzione.

H

Hadoop

Hadoop è un framework software open source basato su Java che abilita l'elaborazione parallela e l'archiviazione distribuita di big data su cluster di molti computer. Hadoop permette di risparmiare tempo e gestire quantità di dati molto più grandi di quanto sarebbe possibile usando un solo computer.

Iperparametro

Gli iperparametri sono attributi relativi a un modello di machine learning il cui valore è impostato manualmente prima di avviare il processo di training. A differenza degli altri parametri, gli iperparametri non possono essere stimati o appresi direttamente dai dati. Regolando gli iperparametri e stimando le prestazioni del modello risultante, possiamo determinarne i valori ottimali per ottenere il modello più preciso. Intuitivamente, regolare un iperparametro è come regolare una manopola della radio quando si cerca di ottenere un segnale perfetto. Un esempio di iperparametro è il numero di alberi nell'algoritmo random forest.

Ipotesi

Un'ipotesi è un'assunzione su un problema o un evento che deve essere testata e, a seconda dell'esito dell'esperimento, confermata o respinta.

I

Imputazione

L'imputazione è il processo di riempimento dei valori mancanti in un dataset. Le tecniche di imputazione possono essere sia statistiche (imputazione con media/moda) sia basate su machine learning (imputazione con KNN).

K

K-Means

K-Means è l'algoritmo di clustering più popolare che identifica K centroidi (centri di cluster) con coordinate iniziali nel dato e assegna iterativamente ogni osservazione a uno dei centroidi in base alle sue feature finché i centroidi non convergono. I punti dati sono simili all'interno di un cluster e diversi dai punti dati negli altri cluster.

K-Nearest Neighbors (KNN)

I k-nearest neighbors sono algoritmi di apprendimento supervisionato che classificano le osservazioni in base alla loro somiglianza con i vicini più prossimi. I parametri più importanti del KNN che possono essere regolati sono il numero di vicini più prossimi e la metrica di distanza (Minkowski, Euclidea, Manhattan, ecc.).

L

Algebra lineare

L'algebra lineare è un ramo della matematica che si occupa di sistemi lineari: rette, piani, spazi vettoriali, matrici e operazioni su di essi, come addizione o moltiplicazione. L'algebra lineare è molto utile nella data science e nel machine learning, poiché i dataset e molti modelli di machine learning possono essere rappresentati in forma matriciale.

Regressione lineare

La regressione lineare è un algoritmo di regressione che si occupa di modellare una relazione lineare tra una variabile target continua e una o più feature continue. Un tipico esempio di data science che usa la regressione lineare è la previsione dei prezzi sulla base di vari attributi in input.

Regressione logistica

La regressione logistica è un algoritmo di regressione che utilizza una funzione logistica sulle feature in input per prevedere la probabilità di classe o direttamente l'etichetta di classe per la variabile target. Nel secondo caso, l'output rappresenta un insieme di categorie invece di valori continui, il che significa che qui la regressione logistica agisce come una tecnica di classificazione. Un tipico caso d'uso di data science per la regressione logistica è la previsione della probabilità di churn dei clienti.

M

Machine Learning (ML)

Il machine learning è un ramo dell'intelligenza artificiale (AI) che fornisce un insieme di algoritmi progettati per apprendere pattern e trend dai dati storici. Lo scopo del ML è prevedere esiti futuri e generalizzare oltre i punti dati del training set senza essere esplicitamente programmato. Esistono due principali tipi di algoritmi di machine learning: supervisionati e non supervisionati, ciascuno rappresentato da numerose tecniche applicabili a diversi casi d'uso.

Media

La media è il valore medio aritmetico per un insieme di numeri, cioè la somma di tutti i valori divisa per il numero dei valori. È solitamente usata insieme ad altre statistiche per avere una comprensione complessiva dell'intero dataset.

Errore assoluto medio (MAE)

L'errore assoluto medio (MAE) è la media aritmetica di tutti gli errori assoluti dei valori previsti rispetto ai valori reali.

Errore quadratico medio (MSE)

L'errore quadratico medio (MSE) è la media aritmetica dei quadrati di tutti gli errori dei valori previsti rispetto ai valori reali.

Mediana

La mediana è il valore centrale in un insieme di numeri ordinati in senso crescente o decrescente. Se l'insieme ha un numero pari di valori, la mediana è la media aritmetica dei due valori centrali. La mediana è solitamente usata insieme ad altre statistiche per avere una visione complessiva dell'intero dataset ed è particolarmente utile per rilevare possibili outlier.

Moda

La moda è il valore (o i valori) più frequente in un insieme di dati.

Ottimizzazione del modello

L'ottimizzazione del modello è il processo di regolazione degli iperparametri per massimizzare l'accuratezza del modello senza sovradattarlo.

Modellazione multivariata

La modellazione multivariata è il processo di modellazione della relazione tra più variabili (predittori) definite nella fase di selezione delle feature e la variabile target.

N

Naive Bayes

Naive Bayes è un gruppo di algoritmi di classificazione basati sul teorema di Bayes e su un'assunzione di indipendenza tra le feature usate nel classificatore. Sebbene, in realtà, le feature non siano sempre indipendenti, gli algoritmi Naive Bayes possono essere applicati con successo a vari casi d'uso di data science, come il filtraggio dello spam o l'analisi del sentiment.

Natural Language Processing (NLP)

Il Natural Language Processing (NLP) è un ramo dell'informatica che si occupa di far comprendere e analizzare alle applicazioni informatiche il linguaggio umano scritto o parlato. Le tecniche di NLP prendono in input dati testuali, di solito non strutturati, li convertono in una forma strutturata, cercano pattern linguistici e contestuali, li categorizzano ed estraggono insight di valore da questi dati. L'NLP include anche l'uso di machine learning e deep learning per generare linguaggio, categorizzarlo e svolgere altri compiti cognitivi basati sul linguaggio. Alcuni esempi di applicazioni NLP sono chatbot, convertitori speech-to-text, analisi del sentiment e traduzione automatica.

Normalizzazione

La normalizzazione è il processo di riscalare i dati in modo che tutti gli attributi abbiano la stessa scala. La normalizzazione è necessaria per effettuare confronti significativi tra attributi ed è anche richiesta da alcuni algoritmi di machine learning.

NoSQL

NoSQL sta per "not only SQL". È un sistema di gestione di database usato per l'archiviazione e il recupero di database non relazionali (cioè non tabellari). Alcuni esempi di modelli di dati non relazionali sono i database a grafo, a documenti e key-value. I sistemi NoSQL offrono alta flessibilità e velocità operativa e la possibilità di scalare su molti server".

Ipotesi nulla

L'ipotesi nulla è un tipo di ipotesi che afferma l'opposto dell'ipotesi alternativa da verificare, cioè che non esiste alcuna relazione statistica significativa tra le due variabili e che le osservazioni sono tutte dovute al caso. Un'ipotesi nulla può essere respinta o confermata durante un esperimento statistico.

O

Open source

Open source si riferisce a software e risorse con licenza libera disponibili per ulteriori modifiche e condivisione. Gli strumenti open source facilitano la collaborazione tra gli utenti e sono di solito più stabili, poiché i ricercatori possono aggiungere nuove funzionalità utili o correggere problemi tecnici e bug segnalati dalla community.

Variabile ordinale

Una variabile ordinale è una variabile che può assumere uno tra un numero limitato di valori possibili con un ordinamento intrinseco. Un esempio è una colonna di risposte a un sondaggio in cui le risposte sono ordinate per intensità (ad esempio "Fortemente in disaccordo", "In disaccordo", "Neutrale", "D'accordo" o "Fortemente d'accordo").

Outlier

Un outlier è un valore anomalo in un dataset che si discosta considerevolmente dal resto delle osservazioni. Gli outlier possono essere prova di un errore di misurazione o di un evento straordinario.

Overfitting

L'overfitting si verifica quando un modello apprende troppe informazioni dal training set, inclusi potenziali rumori e outlier. Di conseguenza, diventa troppo complesso, troppo vincolato al particolare training set e non riesce a performare adeguatamente su dati non visti. L'overfitting porta ad alta varianza nel compromesso bias-varianza.

P

Parametro

Un parametro è una variabile nominata passata a una funzione nella programmazione e nella data science. Nel machine learning, i parametri sono una componente interna di un algoritmo da apprendere dai dati. Alcuni algoritmi di machine learning sono parametrici con un set fisso di parametri (ad esempio, regressione lineare e logistica), mentre altri sono non parametrici (ad esempio, k-nearest neighbors).

Precisione

La precisione è una metrica di valutazione usata per stimare le prestazioni di un modello di machine learning, che mostra il rapporto tra il numero di casi positivi correttamente previsti e il numero totale di casi previsti come positivi.

Analisi predittiva

L'analisi predittiva è il processo di analisi dei dati storici utilizzando vari strumenti di analisi statistica, data mining, data visualization e machine learning, per fare previsioni su eventi futuri in un particolare business.

Analisi delle componenti principali (PCA)

La principal component analysis (PCA) è una tecnica statistica di analisi fattoriale e riduzione della dimensionalità che trasforma un insieme di feature iniziali possibilmente correlate in un insieme più piccolo di feature linearmente non correlate chiamate componenti principali. In questo modo, la PCA preserva quanta più varianza possibile nel dataset, minimizzando al contempo il numero di feature.

Python

Python è un linguaggio di programmazione open source, orientato agli oggetti e di alto livello. Python è molto popolare nel campo della data science, ma è anche ampiamente usato per la programmazione generalista in informatica. È intuitivo e facile da imparare e usare, pur rimanendo una risorsa molto potente per risolvere problemi complessi. Python fornisce un'ampia libreria standard e molti moduli aggiuntivi utili ed è costantemente sviluppato, migliorato ed esteso.

R

R è un linguaggio di programmazione popolare e un software libero ampiamente utilizzato per risolvere problemi di data science e machine learning, famoso in particolare per la sua potenza nel calcolo statistico e per le ottime soluzioni di data visualization. Include numerosi strumenti e pacchetti per la data science, può essere usato in molti sistemi operativi e ha una forte community online.

Random Forest

Random Forest è un algoritmo di apprendimento supervisionato usato per problemi di regressione o classificazione; combina gli output di molti alberi decisionali in un unico modello. Le previsioni di una random forest rappresentano essenzialmente l'esito medio di tutti gli alberi decisionali, perciò questo algoritmo fornisce risultati più accurati rispetto a un singolo albero decisionale.

Recall

Il recall è una metrica di valutazione usata per stimare le prestazioni di un modello di machine learning, che mostra il rapporto tra il numero di casi positivi correttamente previsti e il numero totale di casi positivi reali.

Regressione

La regressione è un problema di apprendimento supervisionato in cui è necessario prevedere esiti continui sulla base delle feature in input. Un modello di regressione apprende la relazione tra una o più feature indipendenti e la variabile target e poi usa la funzione stabilita per prevedere dati non visti. Esempi di algoritmi di regressione sono la regressione lineare e la regressione ridge. Un tipico problema di regressione è la previsione dei prezzi.

Reinforcement Learning (RL)

Il reinforcement learning (RL) è un ramo autonomo del machine learning (né supervisionato né non supervisionato) in cui un algoritmo apprende gradualmente interagendo con un ambiente. L'RL prende decisioni in base alla propria esperienza passata su quali azioni possano avvicinarlo a un obiettivo dichiarato. Ricevendo ricompense per azioni corrette e penalità per quelle sbagliate, l'algoritmo trova la strategia ottimale per massimizzare le proprie prestazioni. Esempi di algoritmi RL includono sistemi di gioco come motori di scacchi e agenti per videogiochi.

Database relazionale

Un database relazionale è un tipo di database che archivia i dati in diverse tabelle correlate tra loro tramite ID univoci (chiavi), dalle quali i dati possono essere accessi, estratti, riassunti o riassemblati in modi diversi.

Radice dell'errore quadratico medio (RMSE)

La radice dell'errore quadratico medio (RMSE) è la radice quadrata dell'errore quadratico medio. Questa metrica di valutazione è più intuitiva del MSE perché il risultato può essere compreso più facilmente, usando le stesse unità di misura dei dati originali.

S

Errore di campionamento

L'errore di campionamento è la differenza statistica tra l'intera popolazione dei dati e un suo sottoinsieme (un campione), dovuta al fatto che il campione non include tutti gli elementi dell'intera popolazione.

SQL

SQL (structured query language) è un linguaggio di programmazione progettato per interagire con sistemi di gestione di database relazionali (RDBMS). SQL ha diverse varianti, tra cui SQLite, PostgreSQL e MySQL. Alcune di queste sono gratuite e open source. Tutte le varianti hanno una sintassi piuttosto simile, con piccole differenze nelle funzionalità aggiuntive.

Deviazione standard

La deviazione standard è la radice quadrata della varianza di una popolazione. Mostra l'ampiezza della dispersione dei valori ed è più intuitiva della varianza perché ha le stesse unità di misura dei dati.

Apprendimento supervisionato

L'apprendimento supervisionato è un ramo del machine learning che si occupa di addestrare un modello su un training set etichettato di dati storici. L'apprendimento supervisionato apprende la relazione tra input e output e poi misura quanto accuratamente predice gli output per un test set con output reali noti. In questo modo può essere usato in seguito per fare previsioni su dati completamente nuovi. Gli algoritmi di apprendimento supervisionato includono regressione lineare e logistica, alberi decisionali e SVM. Esempi di compiti comuni includono la previsione dei prezzi delle case e la classificazione dei messaggi come spam o non spam.

SVM

SVM (Support Vector Machine) è un algoritmo di apprendimento supervisionato usato principalmente per problemi di classificazione, ma anche di regressione. In un problema di classificazione, SVM fornisce un iperpiano ottimale che separa le osservazioni delle due classi (nel caso di classificazione multiclasse, l'algoritmo scompone il problema in un insieme di problemi binari). In un problema di regressione, SVM fornisce l'iperpiano di best fit entro una soglia definita.

Dati sintetici

I dati sintetici sono dati creati artificialmente. Di solito riflettono le proprietà statistiche del dataset iniziale, per cui possono essere usati in ambiti ad alta riservatezza come il banking e l'healthcare, o per aumentare un dataset esistente con ulteriori osservazioni statisticamente rappresentative.

T

Variabile target

Una variabile target (chiamata anche variabile dipendente) è la variabile da prevedere in un algoritmo di machine learning utilizzando le feature; per esempio, se stiamo prevedendo la probabilità di diabete usando altezza, peso e consumo di zuccheri, lo stato di diabete è la variabile target che vogliamo prevedere.

Test set

Un test set è un sottoinsieme dei dati disponibili isolato prima di costruire un modello, di solito tra il 20 e il 30% dell'intero dataset. I test set sono usati per valutare l'accuratezza dei modelli addestrati su un training set.

Serie temporali

Una serie temporale è una sequenza di osservazioni di una variabile rilevate in momenti diversi e ordinate temporalmente. Di solito le misurazioni delle serie temporali sono prese a intervalli successivi e regolarmente distanziati nel tempo. Alcuni esempi di serie temporali sono i prezzi di borsa o la temperatura in un certo periodo.

Training set

Un training set è un sottoinsieme dei dati disponibili isolato prima di costruire un modello, di solito dal 70 all'80% dell'intero dataset. Un training set è usato per addestrare il modello che sarà poi testato sul test set.

Vero negativo (TN)

Il vero negativo (TN) è un esito in cui il modello predice correttamente la classe negativa per una variabile target binaria (cioè predice "Falso" per un'etichetta reale Falso).

Vero positivo (TP)

Il vero positivo (TP) è un esito in cui il modello predice correttamente la classe positiva per una variabile target binaria (cioè predice "Vero" per un'etichetta reale Vero).

U

Underfitting

L'underfitting si verifica quando un modello non è in grado di rilevare gli schemi dal training set perché è stato costruito su informazioni insufficienti. Di conseguenza, il modello è troppo semplice e non riesce a performare bene né su dati non visti né sullo stesso training set. I modelli sottoadattati hanno bias elevato.

Modellazione univariata

La modellazione univariata è il processo di modellazione della relazione tra una singola variabile (un predittore) e la variabile target. La modellazione univariata è solitamente usata con le serie temporali.

Dati non strutturati

I dati non strutturati sono tutti i dati che non rientrano in una struttura predefinita, come la tipica struttura righe-colonne di un database. Esempi di tali dati sono immagini, email, documenti di testo, video e audio.

Apprendimento non supervisionato

L'apprendimento non supervisionato è una classe di algoritmi di machine learning che apprendono la struttura sottostante di un dataset senza che venga fornita una variabile target. È usato per scoprire pattern comuni nei dati, raggruppare i valori in base ai loro attributi e poi effettuare previsioni su dati non visti. L'algoritmo non supervisionato più comune è k-means. Esempi di compiti comuni sono il rilevamento di anomalie e la segmentazione dei clienti in base a caratteristiche comuni.

V

Varianza

La varianza è la media delle differenze quadrate tra i valori individuali e la media dell'intero insieme di valori in matematica e statistica. In altre parole, la varianza mostra quanto sono dispersi i valori. Nel machine learning, la varianza è un errore causato dalla sensibilità di un modello a piccole variazioni nel training set. Un'alta varianza riflette la tendenza del modello a imparare il rumore casuale dalle feature in input, portando al sovradattamento del modello.

W

Web scraping

Il web scraping è il processo di estrazione di dati specifici dai siti web per un uso successivo. Il web scraping può essere effettuato automaticamente scrivendo un programma che cattura le informazioni necessarie da un sito.

Z

Z-Score

Lo Z-Score (chiamato anche punteggio standardizzato, punteggio standard o punteggio normale) è il numero di unità di deviazione standard di cui il valore di un'osservazione dei dati è al di sopra o al di sotto della media dell'intero insieme di valori. Uno z-score pari a 0 significa che l'osservazione è vicina alla media.

Argomenti

Data Science Data Literacy