Domande di colloquio NLP (da principiante ad avanzato)

Se stai sostenendo un colloquio per un ruolo in AI, ML o data science, è quasi certo che usciranno domande sulla NLP. Che tu stia spiegando la differenza tra stemming e lemmatization o illustrando come funziona l’attention in un transformer, i recruiter vogliono vedere che sai ragionare sui dati linguistici, non solo ripetere definizioni a memoria. Il nostro corso Introduction to NLP in Python è un ottimo punto di partenza per costruire queste basi.

Ciò che rende insidiosi i colloqui NLP è che le aspettative cambiano molto a seconda del ruolo. Un colloquio per neolaureati non assomiglia affatto a quello per un machine learning engineer. Questa guida raccoglie 45 domande di colloquio NLP organizzate per difficoltà e tipo di lavoro, così puoi concentrarti su ciò che affronterai davvero.

Domande di colloquio NLP per principianti

Queste domande verificano la tua comprensione dei concetti e della terminologia di base della NLP. Aspettati di trovarle in ruoli entry-level di data science o analyst.

Che cos’è il Natural Language Processing? 

La NLP è un ramo dell’AI che mira a permettere ai computer di comprendere, interpretare e generare il linguaggio umano. Collega la linguistica al machine learning per gestire attività come traduzione, analisi del sentiment e classificazione del testo.

Quali sono alcuni compiti comuni della NLP? 

Tra i compiti più comuni ci sono classificazione del testo, named entity recognition (NER), sentiment analysis, traduzione automatica, riassunto e question answering. Ogni compito ha i propri approcci di modellazione e criteri di valutazione.

Che cos’è la tokenizzazione? 

La tokenizzazione suddivide il testo grezzo in unità più piccole, di solito parole o sotto-parole, che un modello può elaborare. Per esempio, "I love NLP" diventa ["I", "love", "NLP"] a livello di parola.

Qual è la differenza tra stemming e lemmatization? 

Lo stemming tronca le desinenze usando regole, producendo radici che potrebbero non essere parole reali ("running" → "run", "studies" → "studi"). La lemmatization usa vocabolario e analisi morfologica per restituire la forma base effettiva ("studies" → "study"), risultando più accurata ma più lenta.

Cosa sono le stop words e perché le rimuoviamo? 

Le stop words sono parole ad alta frequenza come "the", "is" e "and" che, per molti compiti NLP, portano poco significato semantico. Rimuoverle riduce il rumore e velocizza l’elaborazione, anche se in alcuni compiti, come la sentiment analysis, possono essere mantenute.

Che cos’è il modello Bag of Words (BoW)? 

BoW rappresenta il testo come una collezione non ordinata di conteggi di parole, ignorando grammatica e sequenza. È semplice e veloce, ma perde il significato contestuale. "Not good" e "good" apparirebbero quasi identici in una rappresentazione BoW.

Che cos’è il TF-IDF e come migliora rispetto a BoW? 

TF-IDF (Term Frequency-Inverse Document Frequency) pesa ogni parola in base alla frequenza con cui appare in un documento rispetto a quanto è comune in tutti i documenti. Le parole frequenti in un documento ma rare nell’insieme ottengono punteggi più alti, aiutando a far emergere termini più informativi rispetto ai semplici conteggi.

Come valuti un modello di classificazione del testo? 

L’accuratezza funziona quando le classi sono bilanciate, ma precision, recall e F1-score offrono un quadro più completo per dataset sbilanciati. L’F1 è la media armonica di precision e recall, ed è utile quando i costi di falsi positivi e falsi negativi sono diversi.

Una volta a tuo agio con i fondamentali, i colloqui iniziano a sondare quanto bene comprendi i compromessi tra approcci. È qui che entrano le domande intermedie.

Domande di colloquio NLP intermedie

Queste domande danno per scontato che tu abbia costruito modelli NLP e capisca i compromessi tra approcci. Aspettale in ruoli mid-level di ML o data science.

Qual è la differenza tra Word2Vec, GloVe e FastText? 

Word2Vec apprende embedding da co-occorrenze locali usando una rete neurale poco profonda. GloVe usa statistiche di co-occorrenza globali sull’intero corpus. FastText estende Word2Vec rappresentando le parole come insiemi di n-grammi di caratteri, aiutando con parole rare e con errori di ortografia.

Cosa sono gli embedding contestuali e perché sono importanti? 

A differenza degli embedding statici (Word2Vec, GloVe), gli embedding contestuali come quelli di BERT variano in base alle parole circostanti. "Bank" ottiene un vettore diverso in "river bank" rispetto a "bank account", migliorando sensibilmente le prestazioni in compiti che richiedono comprensione più profonda.

Che cos’è un modello di linguaggio N-gram? 

Un modello N-gram predice la parola successiva in base alle precedenti N-1 parole. I bigrammi guardano una parola indietro, i trigrammi due. Sono interpretabili e veloci, ma faticano con dipendenze a lungo raggio e soffrono di scarsità di dati per sequenze rare.

Perché gli RNN faticano con sequenze lunghe e come le LSTM affrontano il problema? 

Gli RNN “vanilla” soffrono del problema del gradiente che svanisce, rendendo difficile apprendere dipendenze su molti passi temporali. Le LSTM introducono meccanismi di gating (input, forget e output gate) che controllano il flusso di informazioni, permettendo al modello di mantenere il contesto rilevante su sequenze più lunghe.

Che cos’è il meccanismo di attention? 

L’attention consente a un modello di pesare la rilevanza di ciascun token in input quando produce un output. Invece di comprimere un’intera sequenza in un singolo vettore, calcola una somma pesata su tutte le posizioni in input, permettendo al modello di concentrarsi sulle parti più pertinenti.

Come si fa il fine-tuning di un modello pre-addestrato come BERT? 

Aggiungi una testa specifica per il task (ad esempio, un livello di classificazione) sopra il modello pre-addestrato e alleni sui tuoi dati etichettati con un learning rate basso. Il fine-tuning richiede in genere molti meno dati rispetto all’addestramento da zero perché il modello ha già appreso rappresentazioni linguistiche generali.

Come gestisci lo sbilanciamento di classe nei compiti di classificazione NLP? 

Strategie comuni includono oversampling delle classi minoritarie, undersampling della classe maggioritaria o la regolazione dei pesi di classe nella funzione di loss. Per sbilanciamenti gravi, anche tecniche di data augmentation come parafrasi o sostituzione di sinonimi possono aiutare.

Le domande intermedie riguardano la conoscenza degli strumenti. Quelle avanzate riguardano sapere quando falliscono e cosa farci.

Domande di colloquio NLP avanzate

Queste domande valutano una profonda conoscenza architetturale e la comprensione dei compromessi in produzione. Aspettale in colloqui per posizioni senior di ML o NLP engineer.

Spiega a grandi linee l’architettura dei transformer. 

Il transformer consiste in un encoder e un decoder (o solo uno, a seconda del modello), entrambi composti da livelli impilati di self-attention e reti feed-forward. Elabora tutti i token in parallelo anziché in sequenza, il che lo rende molto più efficiente da addestrare sull’hardware moderno.

Che cos’è la self-attention e come la multi-head attention la estende? 

La self-attention calcola le relazioni tra ogni coppia di token in una sequenza tramite i vettori di query, key e value. La multi-head attention esegue questo processo più volte in parallelo con proiezioni apprese diverse, catturando simultaneamente differenti tipi di relazioni.

Che cos’è il positional encoding e perché serve nei transformer? 

Poiché i transformer elaborano i token in parallelo, non hanno una nozione intrinseca dell’ordine. I positional encoding (funzioni sinusoidali fisse o embedding appresi) vengono aggiunti agli embedding dei token affinché il modello possa inferire la posizione nella sequenza.

Che cos’è il masked language modeling (MLM)? 

MLM è un obiettivo di pretraining usato da BERT in cui una percentuale di token in input viene mascherata casualmente e il modello impara a predirli dal contesto. Questo addestramento bidirezionale consente di costruire rappresentazioni contestuali ricche, rispetto al language modeling da sinistra a destra.

Quali sono le strategie di tokenizzazione BPE e WordPiece? 

Il Byte-Pair Encoding (BPE) unisce iterativamente le coppie di caratteri più frequenti per costruire un vocabolario di sotto-parole. WordPiece, usato da BERT, è simile ma seleziona le unioni in base alla verosimiglianza sui dati di training piuttosto che alla frequenza grezza. Entrambi gestiscono bene parole rare e fuori vocabolario.

Cosa sono BLEU, ROUGE e perplexity, e quando usare ciascuno? 

BLEU misura la sovrapposizione di n-grammi tra testo generato e di riferimento, ed è comune nella traduzione. ROUGE fa lo stesso ma si concentra sul recall, rendendolo popolare per il riassunto. La perplexity misura quanto bene un language model predice un corpus di test; più bassa è meglio, anche se non sempre correla con i giudizi umani.

Quali sono le principali sfide nell’addestramento di large language model? 

I costi di calcolo e memoria crescono rapidamente con la dimensione del modello, rendendo necessario l’addestramento distribuito su molte GPU. Altre sfide includono qualità e contaminazione dei dati, instabilità durante l’addestramento e difficoltà di valutazione. I benchmark standard possono saturarsi in fretta.

La sola conoscenza dell’architettura non basta. Per i ruoli di data scientist, i recruiter vogliono vedere come applichi tutto questo a problemi di business reali con dati disordinati.

Domande di colloquio per Data Scientist NLP

Queste domande si concentrano su come applichi la NLP per risolvere problemi di business. Aspettale in ruoli di data science applicata in cui gestisci l’intero workflow di modellazione.

Come costruisci una pipeline NLP end-to-end? 

Una pipeline tipica copre ingestion dei dati, pulizia, pre-processing (tokenizzazione, normalizzazione), estrazione di feature o embedding, training del modello, valutazione e deployment. Le parti più difficili sono di solito la qualità dei dati e mantenere la pipeline riproducibile tra ambienti.

Come affronti la selezione delle feature per i modelli di testo? 

Per i modelli classici, puoi usare mutual information o test chi-quadro per identificare i termini informativi. Per gli approcci deep learning, la selezione delle feature è spesso implicita nell’architettura. In ogni caso, la conoscenza del dominio conta: sapere quali termini sono segnale e quali rumore accelera molto l’iterazione.

Come gestisci dati testuali rumorosi o non strutturati? 

Inizia con un’esplorazione per capire i pattern di rumore: refusi, lingue miste, problemi di encoding, artefatti HTML. Poi applica passaggi di pulizia mirati e documentali. Normalizzare in modo aggressivo (mettere tutto in minuscolo, rimuovere la punteggiatura) può aiutare tanto quanto danneggiare a seconda del compito.

Come interpreti le predizioni di un modello di classificazione del testo? 

Tecniche come LIME e SHAP possono evidenziare quali token hanno influenzato di più una predizione. A volte si usano i pesi di attention, ma possono essere fuorvianti, perché non riflettono sempre la vera importanza delle feature. L’analisi degli errori sugli esempi classificati male è spesso il punto di partenza più rivelatore.

Come colleghi le prestazioni di un modello NLP ai risultati di business? 

Traduci presto le metriche del modello in impatto a livello business. Un miglioramento del 2% dell’F1 in un classificatore di intenti dei clienti può significare migliaia di ticket di supporto instradati male in meno a settimana. Presentare i risultati così mantiene coinvolti gli stakeholder e aiuta a dare priorità a cosa migliorare dopo.

Qual è il tuo approccio all’analisi degli errori in NLP? 

Campiona ed esamina manualmente gli esempi classificati male, cercando pattern sistematici: certi domini, lunghezze di testo, vocabolario o ambiguità delle etichette. Questi pattern guidano se servono più dati, un pre-processing migliore, un modello diverso o etichette più pulite.

Le domande da data scientist riguardano in gran parte le decisioni di modellazione. Quelle da machine learning engineer vanno oltre, nei sistemi di produzione dove affidabilità, latenza e scalabilità sono i veri vincoli.

Domande di colloquio per Machine Learning Engineer NLP

Queste domande riguardano i sistemi in produzione: affidabilità, latenza e scalabilità. Aspettale in ruoli MLE o MLOps.

Come metti in produzione un modello NLP? 

Incapsula il modello in una REST API (FastAPI o Flask), containerizzalo con Docker e servilo dietro un load balancer. Per scenari ad alto traffico, valuta inference asincrona o un model server come TorchServe o Triton Inference Server.

Quali sono strategie comuni per ridurre la latenza del modello? 

La quantizzazione converte i pesi da float a 32 bit a 8 o 4 bit, scambiando una piccola perdita di accuratezza per notevoli guadagni di velocità. La knowledge distillation allena un modello studente più piccolo a imitare un insegnante più grande, spesso raggiungendo oltre il 90% delle prestazioni originali con una frazione del calcolo.

Come gestisci il serving del modello per batch vs. inference in tempo reale? 

L’inference in tempo reale dà priorità alla bassa latenza, quindi aiutano modelli più piccoli o caching. La batch inference può elaborare grandi volumi offline a costo inferiore usando modelli più grandi e accurati. La scelta giusta dipende dal fatto che il caso d’uso tolleri o meno il ritardo.

Come appare il monitoraggio di un sistema NLP in produzione? 

Traccerai metriche standard come latenza e tassi di errore, ma anche segnali specifici del modello: distribuzioni degli score di confidenza, istogrammi della lunghezza in input e drift delle predizioni nel tempo. Un cambio improvviso di vocabolario o argomento in input può degradare le prestazioni prima che le metriche di valutazione lo rilevino.

Come scali modelli transformer per applicazioni ad alto throughput? 

Lo scaling orizzontale con più repliche del modello gestisce le richieste concorrenti. Puoi anche usare il model parallelism per suddividere modelli molto grandi tra GPU o esplorare architetture efficienti come DistilBERT che sacrificano un po’ di accuratezza per requisiti di risorsa significativamente inferiori.

Come progetti una data pipeline per ingestion continua di testo? 

Usa una coda di messaggi (Kafka o Pub/Sub) per bufferizzare i flussi di testo in ingresso, quindi applica il pre-processing in worker paralleli. Conservare versioni grezze e processate separatamente rende molto più semplice il rielaborare quando la logica della pipeline cambia.

Per ruoli di ricerca, le domande cambiano ancora: meno su come mettere in produzione sistemi e più su dove sta andando il campo e cosa resta irrisolto.

Domande di colloquio per Ricercatore NLP

Queste domande sondano la tua comprensione delle direzioni di ricerca attuali e dei problemi aperti. Aspettale in ruoli da research scientist o percorsi di dottorato.

Che cos’è il self-supervised learning e perché è stato importante per la NLP? 

Il self-supervised learning ricava il segnale di training dai dati stessi tramite obiettivi come masked language modeling o next-sentence prediction, senza richiedere etichette umane. Questo ha reso possibile il pretraining su enormi corpora di testo e il fine-tuning con piccoli dataset etichettati, cambiando radicalmente l’approccio ai benchmark NLP.

Qual è la differenza tra few-shot e zero-shot learning? 

Lo zero-shot learning chiede a un modello di gestire un compito che non ha mai visto, facendo leva sul follow-the-instruction. Il few-shot learning fornisce una manciata di esempi nel prompt per guidare il comportamento del modello. Entrambi sfruttano la capacità degli LLM di generalizzare dal pretraining, ma il few-shot è in genere più affidabile.

Quali sono i compromessi tra prompt tuning e fine-tuning? 

Il fine-tuning aggiorna i pesi del modello su dati specifici del task, offrendo prestazioni elevate ma richiedendo compute e una copia separata del modello per task. Il prompt tuning apprende token di prompt “soft” mantenendo il modello congelato, risultando molto più efficiente in termini di parametri, anche se tende a rendere meno del full fine-tuning su modelli più piccoli.

Quali sono i principali limiti delle pratiche di valutazione attuali per i modelli generativi? 

Metriche automatiche come BLEU e ROUGE correlano debolmente con il giudizio umano per la generazione aperta. I benchmark si saturano rapidamente e i modelli possono overfittare alle distribuzioni dei test set durante il pretraining. Non esiste un quadro ampiamente condiviso per valutare fattualità, utilità o qualità del ragionamento.

Come entra il bias nei modelli linguistici e come lo rilevi? 

Il bias entra tramite dati di pretraining che riflettono disuguaglianze storiche o squilibri demografici. Puoi rilevarlo con task di probing, data augmentation controfattuale e strumenti come WinoBias o StereoSet. La mitigazione è più difficile. Il debiasing durante il fine-tuning può ridurre alcuni bias superficiali senza affrontare problemi rappresentazionali più profondi.

Com’è la ricerca sull’interpretabilità per i transformer? 

L’interpretabilità meccanicistica prova a retroingegnerizzare cosa calcolano specifiche attention head e layer MLP. I classifier di probing testano se le rappresentazioni intermedie codificano particolari proprietà linguistiche. Entrambi gli approcci hanno prodotto risultati interessanti, ma il campo non è ancora convergente su un quadro unificato di cosa significhi davvero “capire” un transformer.

Domande concettuali e di ricerca hanno risposte chiare. Le domande basate su scenari sono quelle in cui i recruiter distinguono chi ha davvero messo in produzione sistemi NLP da chi li ha solo studiati.

Domande di colloquio NLP basate su scenari

Queste domande verificano come gestiresti problemi reali con vincoli reali.

Il tuo modello di sentiment va male su dati social ricchi di slang. Cosa fai? 

Parti dall’analisi degli errori. Identifica quali termini gergali causano i fallimenti e verifica se sono assenti dal tuo vocabolario di training. Poi raccogli ed etichetta esempi specifici del dominio per il fine-tuning e valuta di aggiungere un passaggio di normalizzazione dello slang o usare un tokenizer che gestisca le sotto-parole (come BPE) per ridurre i problemi OOV.

Come ridurresti le allucinazioni in un sistema NLP generativo?

La generazione aumentata dal recupero (RAG) ancora le risposte a documenti recuperati, riducendo l’affidamento del modello a fatti memorizzati. Puoi anche aggiungere un passaggio di verifica post-generazione, usare temperature di campionamento più basse o fare fine-tuning su dati in cui l’accuratezza fattuale è esplicitamente premiata.

Come gestisci un dataset multilingue? 

Un modello pre-addestrato multilingue come mBERT o XLM-R è di solito il punto di partenza giusto, perché gestisce molte lingue con un solo modello. Se la performance in una lingua specifica è critica, valuta il fine-tuning specifico per quella lingua. Presta molta attenzione alla tokenizzazione, perché alcuni tokenizer addestrati principalmente su inglese sovrasegmentano altre lingue.

Come rileveresti e mitigheresti il bias in un sistema NLP in produzione? 

Per prima cosa, definisci cosa significa fairness per il tuo caso d’uso: pari tassi di errore tra gruppi, pari tassi di positivi o altro. Esegui audit delle uscite del modello su segmenti demografici usando set di valutazione separati. Le opzioni di mitigazione includono il campionamento dei dati di training, la post-elaborazione delle soglie per gruppo o l’adversarial debiasing durante il fine-tuning.

Come decidi tra un approccio di ML classico e un modello transformer per un compito testuale? 

Parti dai vincoli su dati e latenza. Se hai pochi dati etichettati, poco compute o requisiti stringenti di real-time, un modello di logistic regression o gradient boosting su feature TF-IDF può superare in pratica un transformer fine-tunato. I transformer brillano quando hai abbastanza dati e compute o quando il compito richiede davvero una comprensione contestuale profonda.

Errori comuni nei colloqui NLP

L’inciampo più comune è conoscere la teoria senza l’implementazione. Candidati che sanno recitare l’architettura dei transformer spesso non sanno spiegare come gestirebbero un dataset testuale sbilanciato reale o come tarerebbero un modello in overfitting. I recruiter lo notano subito.

Altri due pattern che penalizzano costantemente i candidati: ignorare il pre-processing nelle risposte (la pulizia del testo ha un impatto enorme sulla qualità del modello) e confondere termini simili come stemming vs. lemmatization o precision vs. recall. Conoscere chiaramente la distinzione e quando conta segnala che hai lavorato con dati reali, non solo con i manuali.

Come prepararti ai colloqui NLP

La preparazione più efficace è costruire piccoli progetti end-to-end: un classificatore di sentiment, un tagger NER, un semplice riassuntore. Ti costringono a prendere decisioni reali su pre-processing, scelta del modello e valutazione: esattamente ciò che i recruiter indagano. Il nostro corso Feature Engineering for NLP in Python copre le competenze pratiche che ricorrono spesso nei colloqui.

Oltre ai progetti, dedica tempo a capire il meccanismo di attention a livello matematico, non solo concettuale, e a fare fine-tuning di almeno un modello pre-addestrato su un nuovo compito. Restare aggiornato sugli sviluppi degli LLM tramite paper e blog aiuta; per ruoli orientati alla ricerca ci si aspetta che tu abbia opinioni sul lavoro recente. Per approfondire l’architettura dei transformer, dai un’occhiata al nostro tutorial sui modelli Transformer per la NLP.

Conclusione

I colloqui NLP testano sia la tua fluidità concettuale sia la capacità di ragionare su problemi reali sotto pressione. Ciò che un recruiter si aspetta da un neolaureato è molto diverso da ciò che vuole da un senior ML engineer, e questa guida ha coperto entrambe le estremità dello spettro.

I candidati che si distinguono non sono necessariamente quelli con più conoscenze teoriche. Sono quelli che sanno collegare i concetti a decisioni pratiche, discutere i compromessi e dimostrare di aver lavorato davvero con dati testuali disordinati.