Che cos'è il Similarity Learning? Definizione, casi d'uso e metodi

Il similarity learning è un ramo del machine learning che si concentra sull'addestrare modelli a riconoscere la somiglianza o la dissimilarità tra punti dati. È importante perché consente alle macchine di comprendere pattern, relazioni e strutture all'interno dei dati, aspetto cruciale per compiti come i sistemi di raccomandazione, il riconoscimento di immagini e il rilevamento di anomalie.

Similarity Learning: spiegazione

Alla base, il similarity learning riguarda il determinare quanto siano simili o diversi due punti dati. Immagina di avere due foto e di voler sapere se ritraggono la stessa persona. Invece di guardare ogni pixel, gli algoritmi di Similarity Learning identificheranno caratteristiche chiave (come la forma degli occhi o la curvatura della bocca) e le confronteranno.

Perché si usa? Nel vasto mare dei dati, trovare pattern o relazioni è come cercare un ago in un pagliaio. Il similarity learning agisce come una calamita, estraendo gli aghi rilevanti in base alla loro somiglianza con un campione dato.

Tecnicamente, questi algoritmi operano spesso in spazi delle caratteristiche, ovvero spazi matematici in cui i punti dati sono rappresentati come vettori. La "distanza" tra questi vettori indica quanto i punti dati siano simili. Minore è la distanza, maggiore è la somiglianza.

Mentre l'apprendimento supervisionato tradizionale si concentra sul prevedere etichette a partire dai dati in input e l'apprendimento non supervisionato mira a trovare strutture nascoste nei dati, il similarity learning sta in qualche modo nel mezzo. Non richiede sempre etichette, ma ha bisogno di un riferimento o di una coppia per determinare somiglianza o dissimilarità. In sostanza, si tratta di modellare relazioni piuttosto che fare pura previsione o clustering.

Casi d'uso del Similarity Learning

Le applicazioni pratiche del similarity learning coprono un'ampia gamma di settori, dimostrando la sua versatilità nel riconoscere pattern e relazioni in dataset eterogenei. Ecco alcuni degli impieghi più rilevanti:

Sistemi di raccomandazione

Piattaforme come Netflix o Spotify sfruttano la potenza del similarity learning per personalizzare l'esperienza utente. Confrontando le abitudini di visione o ascolto di un utente con quelle di altri, possono suggerire contenuti in linea con le preferenze individuali. Questa personalizzazione porta a una maggiore fidelizzazione e soddisfazione, perché gli utenti tendono a restare su una piattaforma che propone costantemente contenuti di loro gradimento.

Riconoscimento facciale

Piattaforme social come Facebook, così come i sistemi di sicurezza, utilizzano il similarity learning per il riconoscimento facciale. Confrontando i tratti del volto in un'immagine con un database di volti noti, questi sistemi possono identificare individui con notevole accuratezza. Oltre al tagging sui social, questa tecnologia trova impiego in sicurezza, forze dell'ordine e vari processi di autenticazione.

Matching di prodotti nell'e-commerce

I giganti dell'e-commerce come Amazon ed eBay impiegano il similarity learning per raggruppare prodotti simili o suggerire alternative. Quando un utente visualizza un articolo, il sistema può consigliare prodotti con attributi simili o di categorie correlate, facilitando la scoperta e potenzialmente incrementando le vendite.

Rilevamento di anomalie

Settori come la finanza e la cybersecurity traggono grande beneficio dal similarity learning per individuare anomalie o outlier. Stabilendo una baseline di ciò che è "normale", ogni deviazione o dato insolito può essere segnalato. Questo meccanismo di rilevamento precoce è fondamentale per prevenire frodi, evitare violazioni di sicurezza o identificare guasti di sistema.

Imaging medico

Il settore sanitario sfrutta il similarity learning nell'ambito delle immagini mediche. Confrontando immagini come radiografie o risonanze, i professionisti possono rilevare anomalie o monitorare la progressione di una condizione. Questo non solo migliora l'accuratezza diagnostica, ma può anche portare alla diagnosi precoce di malattie, migliorando sensibilmente gli esiti clinici.

Metodi di Similarity Learning

Il similarity learning si fonda sui metodi usati per misurare quanto i punti dati siano simili o diversi. Questi metodi, spesso di natura matematica, costituiscono la base di varie applicazioni. Vediamo più da vicino alcuni dei più comuni:

Similarità coseno

La similarità coseno misura il coseno dell'angolo tra due vettori non nulli. Se i vettori sono identici, il coseno è 1, indicando massima somiglianza. Se sono ortogonali (cioè non condividono nulla), il coseno è 0. È particolarmente adatta per spazi ad alta dimensionalità, come l'analisi del testo. Ad esempio, nel clustering di documenti o quando si confrontano due insiemi di parole per determinarne la similarità. Un limite della similarità coseno è che considera solo la direzione dei vettori, non la loro magnitudine. Ciò significa che potrebbe non catturare appieno la somiglianza in casi in cui la magnitudine conta.

Distanza euclidea

Misura la distanza "in linea retta" tra due punti in uno spazio. Quanto più i punti sono vicini, tanto più sono considerati simili. È ampiamente usata nel riconoscimento di immagini e quando i dati possono essere rappresentati naturalmente in spazi 2D o 3D. Sebbene sia intuitiva e facile da comprendere, un limite della distanza euclidea è che negli spazi ad alta dimensionalità il concetto di "distanza" può diventare meno intuitivo. Inoltre, a tutte le caratteristiche viene attribuita la stessa importanza, cosa non sempre desiderabile.

Reti siamesi

Le reti siamesi sono un approccio a reti neurali in cui si definiscono due sottoreti identiche. Queste sottoreti ricevono due input e li trasformano in due vettori di caratteristiche. Il livello finale calcola la similarità tra questi vettori. Questo metodo è ideale per compiti in cui è difficile trovare esempi etichettati di coppie dissimili, come la verifica di firme o dei volti. Un limite è che richiedono molti dati e potenza computazionale; inoltre possono essere eccessive per compiti più semplici in cui metodi tradizionali sarebbero sufficienti.

Triplet loss

Usata nel deep learning, la triplet loss coinvolge tre punti dati: un anchor, un esempio positivo (simile all'anchor) e un esempio negativo (diverso dall'anchor). L'obiettivo è garantire che l'anchor sia più vicino all'esempio positivo che a quello negativo di un certo margine. Questo metodo è efficace quando c'è bisogno di distinguere tra punti dati molto simili tra loro, come differenziare due immagini molto simili di persone diverse. Tuttavia, richiede una selezione accurata delle triplette, in particolare degli esempi negativi, per assicurare un addestramento efficace. Inoltre, come le reti siamesi, richiede notevoli risorse di dati e computazionali.

Comprendere le sfumature di questi metodi è fondamentale. La scelta giusta può migliorare significativamente l'accuratezza e l'efficienza di un compito di Similarity Learning, mentre quella sbagliata può portare a risultati modesti.

Sfide del Similarity Learning

Sebbene il similarity learning offra una miriade di vantaggi e abbia rivoluzionato molti settori, non è privo di sfide.

• Scalabilità. Man mano che il volume dei dati cresce in modo esponenziale, confrontare ogni punto dati con tutti gli altri diventa costoso computazionalmente e dispendioso in termini di tempo. Questa sfida è particolarmente evidente nelle applicazioni in tempo reale, dove servono decisioni rapide.
• Selezione delle caratteristiche. Il successo di un algoritmo di similarity learning dipende spesso dalle caratteristiche scelte per il confronto. Non tutte hanno la stessa importanza e identificare le più rilevanti è cruciale. Caratteristiche errate o ridondanti possono portare a misure di similarità fuorvianti.
• Rumore nei dati. I dati raramente sono perfetti. Spesso contengono rumore o informazioni irrilevanti, che possono distorcere le misure di similarità. Pulire e pre-processare i dati per rimuovere tale rumore è una sfida significativa, soprattutto in dataset di grandi dimensioni.
• Overfitting. È una sfida comune in molti compiti di machine learning. Se un modello di similarity learning è troppo complesso, può funzionare molto bene sui dati di addestramento memorizzandoli, ma fallire nel generalizzare a dati nuovi e mai visti. Trovare un equilibrio tra complessità del modello e capacità di generalizzazione è cruciale per prevenire l'overfitting.
• Dimensionalità. Dati ad alta dimensionalità possono rendere le misure di similarità meno intuitive e più impegnative computazionalmente. Spesso sono necessarie tecniche di riduzione della dimensionalità, che però comportano il rischio di perdere informazioni importanti.

Similarity Learning nelle applicazioni di AI

I vector store e il similarity learning sono diventati sempre più popolari con l'ascesa dei large language model (LLM) come ChatGPT. Gli sviluppatori possono convertire il testo in rappresentazioni vettoriali numeriche dense chiamate embedding. Questi embedding catturano il significato semantico e possono essere archiviati in modo efficiente in database vettoriali. I vector store consentono una rapida ricerca di similarità sugli embedding, abilitando applicazioni come chatbot personalizzati.

Ho costruito diversi chatbot di AI basati sulla conoscenza usando LlamaIndex e LangChain. Invece di addestrare il modello su un dataset privato, ora possiamo fornire ulteriore contesto al modello linguistico per ottenere risultati altamente personalizzati e accurati. Questo fa risparmiare tempo, risorse e denaro.

Puoi imparare ad aggiungere dati personali agli LLM usando LlamaIndex e capire meglio i vector store leggendo Mastering Vector Databases with Pinecone Tutorial: A Comprehensive Guide.

Nei sistemi di domande e risposte su documenti, i prompt degli utenti vengono codificati in vettori e confrontati con i vettori dei documenti nel database usando similarità coseno, distanza euclidea e altri algoritmi per trovare il testo più rilevante. Questo testo viene passato all'LLM per fornire contesto aggiuntivo e generare risposte accurate.

Oltre alla ricerca di similarità nel testo, le tecniche di similarity learning sono impiegate anche nei motori di raccomandazione per offrire consigli su prodotti simili trovando somiglianze nelle immagini. Questi motori convertono le immagini in embedding, rappresentandole come vettori di valori numerici. Vengono poi applicati algoritmi per calcolare le distanze tra questi embedding e determinare quanto due immagini siano simili.

Quando un utente fa clic su o visualizza un determinato prodotto, il motore seleziona altri prodotti con embedding di immagine simili da raccomandare. Ciò consente di suggerire prodotti visivamente identici, anche se differiscono per attributi come prezzo o marca.

In generale, il similarity learning è ovunque nelle moderne applicazioni di AI e, se vuoi approfondire gli algoritmi di similarità, questo corso Feature Engineering for NLP in Python è altamente consigliato. Ti aiuterà con tecniche per estrarre informazioni utili dal testo e trasformarle in un formato adatto al machine learning.

Vuoi saperne di più su AI e machine learning? Dai un'occhiata alle seguenti risorse:

• Corso Introduction to deep learning in Python
• Tutorial Introduction to deep neural networks
• Corso Learn ChatGPT
• Cos'è il machine learning?