Introduzione alle reti neurali profonde

Le reti neurali profonde hanno cambiato il panorama dell'intelligenza artificiale nell'era moderna. Negli ultimi tempi ci sono stati numerosi progressi di ricerca sia nel deep learning sia nelle reti neurali, che hanno aumentato in modo significativo la qualità dei progetti legati all'intelligenza artificiale.

Queste reti neurali profonde aiutano gli sviluppatori a ottenere risultati più sostenibili e di alta qualità. Per questo stanno persino sostituendo diverse tecniche convenzionali di machine learning.

Ma che cosa sono esattamente le reti neurali profonde e perché sono la scelta più ottimale per un'ampia gamma di compiti? E quali sono le diverse librerie e gli strumenti per iniziare a lavorare con le reti neurali profonde?

In questo articolo spiegheremo cosa sono le reti neurali profonde, di quali librerie hanno bisogno e come costruire da zero un'architettura di base di deep neural network.

Cosa sono le reti neurali profonde?

Una rete neurale artificiale (ANN) o una semplice rete neurale tradizionale punta a risolvere compiti banali con una struttura di rete lineare. Una rete neurale artificiale è vagamente ispirata alle reti neurali biologiche. È un insieme di livelli che eseguono un compito specifico. Ogni livello è composto da un insieme di nodi che operano insieme.

Queste reti di solito includono un livello di input, uno o due livelli nascosti e un livello di output. Sebbene sia possibile risolvere semplici problemi matematici e informatici, incluse strutture di gate di base con le rispettive tabelle di verità, per queste reti è difficile affrontare compiti complessi di elaborazione delle immagini, computer vision e elaborazione del linguaggio naturale.

Per questi problemi utilizziamo le reti neurali profonde, che spesso hanno una struttura complessa dei livelli nascosti con un'ampia varietà di livelli diversi, come livelli convoluzionali, di max pooling, densi e altri livelli specifici. Questi livelli aggiuntivi aiutano il modello a comprendere meglio i problemi e a fornire soluzioni ottimali a progetti complessi. Una rete neurale profonda ha più livelli (maggiore profondità) rispetto a una ANN e ogni livello aggiunge complessità al modello, consentendogli di elaborare gli input in modo più efficace per produrre la soluzione ideale.

ANN vs DNN - Fonte immagine

Le reti neurali profonde hanno ottenuto un'attenzione altissima grazie alla loro efficienza nel portare a termine numerose tipologie di progetti di deep learning. Esplora le differenze tra machine learning e deep learning in un articolo a parte. 

Perché usare una DNN?

Dopo l'addestramento, una rete neurale profonda ben costruita può raggiungere i risultati desiderati con punteggi di accuratezza elevati. Sono popolari in tutti gli ambiti del deep learning, inclusi computer vision, elaborazione del linguaggio naturale e transfer learning.

Gli esempi più evidenti della rilevanza delle reti neurali profonde sono il loro impiego nel rilevamento degli oggetti con modelli come YOLO (You Only Look Once), nei compiti di traduzione automatica con modelli BERT (Bidirectional Encoder Representations from Transformers), nei modelli di transfer learning come VGG-19, RESNET-50, EfficientNet e altre reti simili per progetti di elaborazione delle immagini.

Per comprendere in modo più intuitivo questi concetti di deep learning dell'intelligenza artificiale, ti consiglio il corso di DataCamp Deep Learning in Python.

Strumenti e librerie per il deep learning

Costruire reti neurali da zero aiuta i programmatori a comprendere i concetti e a risolvere compiti semplici manipolando queste reti. Tuttavia, crearle da zero richiede tempo e un grande sforzo. Per semplificare il deep learning, abbiamo a disposizione diversi strumenti e librerie che permettono di ottenere un modello di rete neurale profonda efficace, capace di risolvere problemi complessi con poche righe di codice.

Le librerie e gli strumenti di deep learning più popolari per costruire reti neurali profonde sono TensorFlow, Keras e PyTorch. Le librerie Keras e TensorFlow sono state associate in modo sinonimo fin dall'inizio di TensorFlow 2.0. Questa integrazione consente di sviluppare reti neurali complesse con strutture di codice di alto livello usando Keras all'interno dell'ecosistema TensorFlow.

PyTorch

La libreria PyTorch è un altro framework di machine learning estremamente popolare che consente di sviluppare progetti di ricerca avanzati.

Pur essendo leggermente carente sul fronte della visualizzazione, PyTorch compensa con prestazioni compatte e rapide, con installazioni GPU relativamente più semplici e veloci per costruire modelli di reti neurali profonde.

Il corso di DataCamp Introduction to Deep Learning with PyTorch è il punto di partenza migliore per imparare di più su PyTorch.

TensorFlow e Keras

Il framework TensorFlow offre ai suoi sviluppatori un'ampia gamma di ottime opzioni per strumenti di visualizzazione nei compiti di deep learning. La dashboard grafica tensorboard è una scelta eccellente per visualizzare, analizzare e interpretare i dati e i risultati di un progetto.

L'integrazione della libreria Keras consente di costruire più velocemente i progetti con strutture di codice semplici, rendendola una scelta popolare per progetti di sviluppo a lungo termine. Introduction to TensorFlow in Python è un ottimo punto di partenza per chi inizia con TensorFlow.

Come costruire una rete neurale profonda di base

In questa sezione vedremo alcuni concetti fondamentali delle reti neurali profonde e come costruire una rete di questo tipo da zero.

Importare le librerie necessarie

Il primo passo è scegliere la libreria preferita per l'applicazione richiesta. Useremo i framework di deep learning TensorFlow e Keras per costruire la rete neurale profonda.

# Importing the necessary functionality
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Input, Dense, Conv2D
from tensorflow.keras.layers import Flatten, MaxPooling2DOfferto da

Creare un modello di tipo Sequential

Una volta importate le librerie desiderate per questo compito, useremo la modellazione di tipo Sequential per costruire il modello di deep learning. Il modello sequenziale è una semplice pila di livelli con un valore di input e uno di output. Le altre opzioni disponibili sono la classe Functional API o una costruzione di modello personalizzato. Tuttavia, la classe Sequential offre un approccio diretto alla costruzione dell'architettura della rete neurale.

# Creating the model
DNN_Model = Sequential()
Offerto da

Costruire l'architettura della rete neurale profonda

Aggiungeremo una forma di input, di solito equivalente alla dimensione del tipo di immagine che stai utilizzando nel tuo progetto. La dimensione include larghezza, altezza e codifica del colore dell'immagine. Nel codice di esempio qui sotto, l'altezza e la larghezza dell'immagine sono 256 con uno schema di colori RGB, rappresentato da 3 (1 è usato per le immagini in scala di grigi). Costruiremo quindi i livelli nascosti necessari con livelli convoluzionali e di max pooling con dimensioni dei filtri variabili. Infine, useremo un livello Flatten per appiattire gli output e un livello dense come livello di output finale.

I livelli nascosti aumentano la complessità della rete neurale. Un livello convoluzionale esegue un'operazione di convoluzione su immagini per filtrare le informazioni. Ogni dimensione di filtro in un livello convoluzionale aiuta a estrarre caratteristiche specifiche dall'input. Un livello di max pooling aiuta a sottocampionare (ridurre) il numero di caratteristiche considerando i valori massimi tra le feature estratte.

Un livello Flatten riduce le dimensioni spaziali a una singola dimensione per una computazione più rapida. Un livello dense è il livello più semplice che riceve un output dai livelli precedenti ed è tipicamente usato come livello di output. La convoluzione 2D esegue una moltiplicazione elemento per elemento su un input 2D. La funzione di attivazione ReLU (rectified linear unit) fornisce non linearità al modello per prestazioni di calcolo migliori. Useremo il padding "same" per mantenere le forme di input e output dei livelli convoluzionali.

# Inputting the shape to the model
DNN_Model.add(Input(shape = (256, 256, 3)))

# Creating the deep neural network
DNN_Model.add(Conv2D(256, (3, 3), activation='relu', padding = "same"))
DNN_Model.add(MaxPooling2D(2, 2))
DNN_Model.add(Conv2D(128, (3, 3), activation='relu', padding = "same"))
DNN_Model.add(MaxPooling2D(2, 2))
DNN_Model.add(Conv2D(64, (3, 3), activation='relu', padding = "same"))
DNN_Model.add(MaxPooling2D(2, 2))

# Creating the output layers
DNN_Model.add(Flatten())
DNN_Model.add(Dense(64, activation='relu'))
DNN_Model.add(Dense(10))Offerto da

Architettura del modello

La struttura del modello e il diagramma della rete neurale profonda costruita sono riportati di seguito.

Model: "sequential_2"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 conv2d_5 (Conv2D)           (None, 256, 256, 256)     7168      
                                                                 
 max_pooling2d_5 (MaxPooling  (None, 128, 128, 256)    0         
 2D)                                                             
                                                                 
 conv2d_6 (Conv2D)           (None, 128, 128, 128)     295040    
                                                                 
 max_pooling2d_6 (MaxPooling  (None, 64, 64, 128)      0         
 2D)                                                             
                                                                 
 conv2d_7 (Conv2D)           (None, 64, 64, 64)        73792     
                                                                 
 max_pooling2d_7 (MaxPooling  (None, 32, 32, 64)       0         
 2D)                                                             
                                                                 
 flatten_2 (Flatten)         (None, 65536)             0         
                                                                 
 dense_4 (Dense)             (None, 64)                4194368   
                                                                 
 dense_5 (Dense)             (None, 10)                650       
                                                                 
=================================================================
Total params: 4,571,018
Trainable params: 4,571,018
Non-trainable params: 0
_________________________________________________________________Offerto da

Il grafico è il seguente:

tf.keras.utils.plot_model(DNN_Model, to_file='model_big.png', show_shapes=True)Offerto da

Informazioni aggiuntive

Machine Learning Workflow - Fonte immagine

Una volta costruito, il modello deve essere compilato per configurarlo. Durante la compilazione, le operazioni fondamentali nei modelli di deep learning includono forward propagation e backpropagation. Nella forward propagation, tutte le informazioni essenziali passano attraverso i vari nodi fino al livello di output. Nel livello di output, per i compiti di classificazione, i valori predetti e quelli reali vengono calcolati di conseguenza.

Nella fase di training o fitting avviene il processo di backpropagation. I pesi vengono ritarati in ogni livello regolando i valori finché quelli predetti e quelli reali non risultano molto vicini, così da ottenere i risultati desiderati. Per una spiegazione approfondita dell'argomento, ti consiglio la seguente guida sulla backpropagation tratta dal corso Introduction to Deep Learning in Python.

Ci sono molte sfumature da esplorare nel deep learning. Ti consiglio vivamente il corso Deep Learning with Keras per capire meglio come costruire reti neurali profonde.

Capire i modelli di deep learning

La risoluzione di un qualunque compito di machine learning richiede una specifica rete neurale profonda per eseguire le azioni necessarie. Due modelli di deep learning principalmente utilizzati sono le reti neurali convoluzionali (CNN) e le reti neurali ricorrenti (RNN). Le reti neurali convoluzionali sono estremamente utili nei progetti di elaborazione delle immagini e computer vision.

In queste reti neurali profonde, invece di eseguire una tipica operazione di matrici nei livelli nascosti, eseguiamo un'operazione di convoluzione. Questo consente alla rete un approccio più scalabile, producendo maggiore efficienza e risultati accurati. Nei compiti di classificazione delle immagini e rilevamento degli oggetti, il modello deve elaborare grandi quantità di dati e immagini. Le reti neurali convoluzionali aiutano a gestire con successo queste sfide.

Per i progetti di elaborazione del linguaggio naturale e semantici, le reti neurali ricorrenti sono spesso usate per ottimizzare i risultati. Una variante popolare di queste RNN, le long short-term memory (LSTM), è tipicamente utilizzata per vari compiti di traduzione automatica, classificazione del testo, riconoscimento vocale e altri compiti simili.

Queste reti trasportano le informazioni essenziali da ciascuna delle celle precedenti e le trasmettono alla successiva, memorizzando quelle cruciali per prestazioni ottimali del modello. Image Modeling with Keras è una guida fantastica per approfondire le CNN e Deep Learning in Python per una comprensione completa del deep learning.

Sfide e considerazioni nelle reti neurali profonde

Abbiamo una breve comprensione delle reti neurali profonde e della loro costruzione con il framework di deep learning TensorFlow. Tuttavia, ci sono alcune sfide che ogni sviluppatore deve considerare prima di sviluppare una rete neurale per un progetto specifico. Vediamone alcune.

Requisiti di dati

Uno dei requisiti principali per il deep learning sono i dati. I dati sono la componente più critica per costruire un modello altamente accurato. In molti casi, le reti neurali profonde richiedono in genere grandi quantità di dati per evitare overfitting e ottenere buone prestazioni. I requisiti di dati per i compiti di rilevamento degli oggetti possono richiedere più dati affinché un modello rilevi oggetti diversi con elevata accuratezza.

Sebbene le tecniche di data augmentation siano utili come soluzione rapida ad alcuni di questi problemi, i requisiti di dati restano fondamentali da considerare per ogni progetto di deep learning.

Risorse computazionali

Oltre alla grande quantità di dati, bisogna considerare anche l'elevato costo computazionale dell'elaborazione di una rete neurale profonda. I modelli come il Generative Pre-trained Transformer 3 (GPT-3) hanno, per esempio, 175 miliardi di parametri.

La compilazione e l'addestramento di modelli per compiti complessi richiederanno una GPU adeguata. Spesso i modelli possono essere addestrati in modo più efficiente su GPU o TPU piuttosto che su CPU. Per compiti estremamente complessi, i requisiti di sistema aumentano, richiedendo più risorse per un determinato compito.

Problemi di training

Durante l'addestramento, il modello può incorrere in problemi come underfitting o overfitting. L'underfitting di solito si verifica per mancanza di dati, mentre l'overfitting è un problema più comune che si verifica quando le prestazioni sui dati di training migliorano costantemente mentre quelle sui dati di test restano invariate. Di conseguenza, l'accuratezza in training è alta, ma l'accuratezza in validazione è bassa, portando a un modello molto instabile che non offre i risultati migliori.

Considerazioni finali

In questo articolo abbiamo esplorato le reti neurali profonde e compreso i loro concetti chiave. Abbiamo capito la differenza tra queste reti e una rete tradizionale e abbiamo fatto il punto sui diversi framework di deep learning per realizzare progetti di deep learning. Abbiamo poi utilizzato le librerie TensorFlow e Keras per mostrare la costruzione di una rete neurale profonda. Infine, abbiamo considerato alcune delle sfide critiche del deep learning e alcuni metodi per affrontarle.

Le reti neurali profonde sono una risorsa fantastica per portare a termine la maggior parte delle applicazioni e dei progetti comuni di intelligenza artificiale. Ci permettono di risolvere compiti di elaborazione delle immagini e di linguaggio naturale con elevata accuratezza.

È importante per tutti gli sviluppatori esperti rimanere aggiornati sulle tendenze emergenti, perché un modello popolare oggi potrebbe non esserlo più o non essere la scelta migliore in futuro.

Perciò è essenziale continuare a imparare e ad acquisire conoscenze, perché il mondo dell'intelligenza artificiale è un'avventura piena di entusiasmo e di nuove evoluzioni tecnologiche. Uno dei modi migliori per restare aggiornati è consultare lo Skill Track di DataCamp Deep Learning in Python per coprire argomenti come TensorFlow e Keras e Deep Learning with PyTorch per saperne di più su PyTorch. Puoi anche dare un'occhiata ai corsi AI Fundamentals per un'introduzione più graduale. Il primo aiuta a sprigionare l'enorme potenziale dei progetti di deep learning, mentre il secondo aiuta a consolidare le basi.