Equazione caratteristica: tutto quello che devi sapere per la Data Science

Con la crescita esponenziale della disponibilità di dati e delle tecniche di machine learning, l’algebra lineare ha trovato un posto fondamentale nella matematica del machine learning e della data science. Per questo, chi aspira a lavorare nel machine learning e nella data science trarrà grande beneficio dall’apprendere i concetti di base dell’algebra lineare, tra cui vettori e matrici, le loro proprietà e le operazioni più comuni.

Ti invito a seguire il nostro corso Algebra lineare per la Data Science in R per sviluppare una solida base matematica per data science e machine learning. Seguendo il corso, apprezzerai l’algebra lineare come una materia affascinante e interessante che coinvolge la sintesi di algebra e geometria (attraverso rette, piani e volumi). In particolare, vedrai come i dati ad alta dimensionalità si prestano bene a essere rappresentati sotto forma di oggetti vettoriali (ad esempio testo, immagini, audio e feature) e come questi oggetti matematici, in quanto vettori, abbiano ampissime applicazioni in scienza e ingegneria, come fisica, statistica e informatica.

In questo articolo, esamineremo da vicino uno degli oggetti fondamentali dell’algebra lineare, chiamato matrice. Come altri oggetti matematici, le matrici hanno alcuni attributi che le caratterizzano. In particolare, ripasserò e presenterò un attributo caratterizzante di una matrice quadrata: il polinomio caratteristico o equazione caratteristica. Vediamolo.

Definizione dell’equazione caratteristica

Un polinomio è una funzione con incognite elevate a potenza n. L’incognita è di solito indicata con la lettera x, ma in casi d’uso specifici si usa una notazione diversa, come la lettera greca 𝝀 (lambda), che useremo nella nostra notazione. Il polinomio caratteristico di una matrice quadrata A ∈R^n×n e dell’incognita 𝝀 è definito come:

Dove det(.) è il determinante di una matrice quadrata e I è la matrice identità. 

Quando poniamo questo polinomio caratteristico uguale a zero (per risolvere 𝝀), lo chiamiamo equazione caratteristica. Le radici di questa equazione polinomiale sono chiamate autovalori, concetti importanti nella trasformazione di matrici e nel machine learning (ad es. riduzione dimensionale). Se non ti sono chiari autovettori e autovalori, abbiamo un tutorial sull’argomento: Autovettori e autovalori: idee chiave per la Data Science.

Derivazione e calcolo dell’equazione caratteristica

Mostriamo come si formula un polinomio caratteristico per una matrice quadrata 2x2 A, dove:

Dalla definizione di polinomio caratteristico, abbiamo:

Pertanto, il polinomio caratteristico per la matrice A sopra è p_A(𝝀)=𝝀²-7𝝀+10. Possiamo trovare le radici di questo polinomio ponendolo uguale a zero.

Uso dell’equazione caratteristica per trovare autovalori e autovettori

Il polinomio caratteristico di una matrice quadrata contiene caratteristiche importanti della sua matrice associata, inclusi autovalori e determinante. Pertanto, è possibile estrarre gli autovalori da un polinomio caratteristico risolvendo rispetto all’incognita. Illustriamo il processo di ricerca degli autovalori a partire dal polinomio caratteristico per la matrice quadrata 2x2 A sopra. Come abbiamo mostrato, il polinomio caratteristico per questa matrice è:

Ora, per trovare gli autovalori, poniamo questo polinomio uguale a zero e troviamo le radici usando metodi algebrici (o computazionali):

Quindi, gli autovalori sono 𝝀₁=5 e 𝝀₂=2 (gli autovalori sono convenzionalmente elencati in ordine decrescente, poiché implicano la quantità di informazione in certe matrici di dati). L’insieme di tutti gli autovalori di una matrice è chiamato eigenspectrum o spettro di quella matrice. Dagli autovalori possiamo derivare gli autovettori di una matrice nello spazio nullo usando (A-λI)x=0 per ciascun autovalore:

Perλ₁=5 sostituiamo 5 e risolviamo il sistema omogeneo di equazioni:

Che dà uno spazio proprio unidimensionale (cioè un solo vettore di base). Ripetiamo lo stesso procedimento per λ₂=2 e otteniamo:

In questo esempio, abbiamo due autovalori distinti. Una matrice può anche avere diversi autovalori identici ripetuti, dando luogo a uno spazio proprio multidimensionale (cioè con più vettori di base). In questo caso, la dimensionalità dello spazio proprio generato da autovettori distinti è chiamata molteplicità geometrica dell’autovalore i. 

D’altra parte, il numero di volte in cui un autovalore di una matrice si ripete è chiamato molteplicità algebrica. Probabilmente, una delle applicazioni più interessanti di autovalori e autovettori è l’algoritmo PageRank che Google usa per il ranking di importanza dei risultati di ricerca. Il nostro corso Analitica predittiva con dati in rete in R ha un capitolo interessante sull’algoritmo PageRank se ti interessa. 

Tecniche computazionali

Un polinomio caratteristico è, di fatto, un polinomio matematico con proprietà speciali (ad es., include traccia, determinante e autovalori di una matrice quadrata). Di conseguenza, trovare le radici dell’equazione caratteristica diventa oneroso per gradi n elevati. 

Inoltre, derivare il polinomio caratteristico richiede di calcolare il determinante della matrice quadrata. Sebbene per ragioni didattiche abbiamo fornito un esempio e un metodo per derivare e risolvere il polinomio caratteristico su carta e a mano, nelle applicazioni reali di data science si usano metodi numerici (computazionali) per calcolare o approssimare le radici di un polinomio caratteristico. Espansione di Laplace, eliminazione di Gauss e decomposizioni QR sono alcuni metodi che possono trovare numericamente i determinanti. 

Per trovare le radici del polinomio caratteristico, algoritmi comuni includono il metodo di Newton-Raphson, la bisezione, il metodo delle secanti e il metodo di Muller.

Applicazioni dell’equazione caratteristica

Autovalori e autovettori sono caratteristiche matematiche fondamentali delle matrici che possono essere derivate dall’equazione caratteristica di una matrice quadrata. In statistica e machine learning, le equazioni caratteristiche sono usate in diversi algoritmi basati sugli autovalori e impiegati per la riduzione dei dati e l’estrazione di informazione, come:

• Principal Component Analysis (PCA) e riduzione dimensionale, dove un dataset viene ridotto a un numero minore di vettori in base ai valori degli autovalori estratti.
• Clustering spettrale, una tecnica basata sullo spettro proprio della matrice di similarità di un dataset per ridurre la dimensionalità dei dati come passo preliminare all’esecuzione di algoritmi di clustering, come il k-means.
• Teoria dei grafi e analisi di rete, dove autovalori e autovettori sono usati per partizionare un grafo in comunità (componenti principali), incorporare il grafo in uno spazio a dimensionalità inferiore per la visualizzazione e la sparsificazione spettrale per approssimare un grafo con spettro proprio simile.
• Serie temporali, dove l’analisi spettrale singolare è usata per scoprire pattern sottostanti nella serie, come trend, cicli e anomalie.

Proprietà del polinomio caratteristico

In quanto oggetto matematico, un polinomio caratteristico ha alcune proprietà interessanti, tra cui:

• Monico: Il coefficiente principale di un polinomio caratteristico è sempre uno (monico).
• Grado: Il grado n di un polinomio caratteristico è sempre uguale alla dimensione della matrice associata n xn.
• Invarianza rispetto a matrici simili: Se trasformiamo una matrice e il risultato è una matrice simile, entrambe hanno un polinomio caratteristico identico (cioè la matrice simile trasformata conserva il polinomio caratteristico originale).
• Coefficienti: Il primo termine principale del polinomio caratteristico è il determinante della matrice associata e il penultimo coefficiente è la traccia con segno della matrice associata c₀=det(A) e c_n-1=-1^n-1tr(A)
• Nel polinomio caratteristico, se sostituiamo ogni incognita con la matrice quadrata originale, il risultato sarà una matrice nulla (Teorema di Cayley-Hamilton). In altre parole, il polinomio caratteristico è un polinomio annullatore per la matrice quadrata. In questa forma, gli autovalori possono essere ricavati direttamente dalla matrice quadrata. Di conseguenza, si può affermare che ogni matrice quadrata soddisfa la propria equazione caratteristica.

Argomenti avanzati

Infine, voglio offrirti qualche dettaglio più avanzato relativo ai polinomi caratteristici e alle proprietà delle matrici per approfondire un po’ la matematica, ma senza entrare in eccessivi dettagli.

• Polinomio minimale: Un polinomio monico strettamente correlato al polinomio caratteristico è il polinomio minimale, che è un polinomio di grado minimo positivo che annulla la matrice quadrata A. Poiché un polinomio caratteristico può anch’esso annullare la propria matrice quadrata, il polinomio minimale può essere derivato da tale polinomio caratteristico.
• Similarità e diagonalizzazione: Due matrici sono simili se sono collegate tra loro tramite una stessa trasformazione lineare. Se due matrici sono simili, allora hanno anche lo stesso rango, traccia, determinante, autovalori, polinomio caratteristico e polinomi minimali. 
• Equazione caratteristica di potenze e funzioni di matrici: In una potenza di matrice, gli autovalori sono elevati alla k-esima potenza della matrice A^k e il corrispondente polinomio caratteristico si ricava come det(A^k-λI). Per una funzione di matrice f(x), il polinomio caratteristico può essere derivato valutando f() sugli autovalori di A.

Conclusione

In questo articolo, abbiamo conosciuto il polinomio caratteristico e i modi in cui contiene proprietà importanti di una matrice quadrata, come autovalori, traccia e determinante. Dato il ruolo importante degli autovalori in data science e machine learning, comprendere l’equazione caratteristica ci aiuta molto a capire come gli algoritmi di machine learning e statistici estraggano le componenti principali da una matrice di dati per trovare pattern e migliorare l’efficienza di calcolo.

Se ti interessa approfondire altre equazioni importanti e note nella data science e nel machine learning, dai un’occhiata al nostro Tutorial sull’equazione normale per la regressione lineare. DataCamp offre anche ottimi corsi per un percorso di apprendimento completo e strutturato, come il corso Algebra lineare per la Data Science in R, che ho menzionato prima e che consiglio vivamente.