NLP-Interviewfragen (Einsteiger bis Fortgeschritten)

Wenn du dich auf eine Rolle in KI, ML oder Data Science bewirbst, kommen NLP-Fragen fast immer vor. Ob du den Unterschied zwischen Stemming und Lemmatisierung erklärst oder darlegst, wie Attention in einem Transformer funktioniert: Interviewer wollen sehen, dass du über Sprachdaten klar nachdenken kannst – nicht nur Definitionen aufsagen. Unser Kurs Introduction to NLP in Python ist ein guter Start, um diese Basis aufzubauen.

Knifflig an NLP-Interviews ist, dass die Erwartungen je nach Rolle stark variieren. Ein Gespräch für Berufseinsteiger sieht ganz anders aus als eines für Machine-Learning-Ingenieure. Dieser Leitfaden deckt 45 NLP-Interviewfragen ab, nach Schwierigkeitsgrad und Jobtyp geordnet – so kannst du dich gezielt vorbereiten.

NLP-Interviewfragen für Einsteiger

Diese Fragen prüfen dein Verständnis zentraler NLP-Konzepte und -Begriffe. Typisch für Einstiegsrollen in Data Science oder Analytics.

Was ist Natural Language Processing? 

NLP ist ein Teilbereich der KI, der Computer befähigt, menschliche Sprache zu verstehen, zu interpretieren und zu erzeugen. Es schlägt die Brücke zwischen Linguistik und Machine Learning und löst Aufgaben wie Übersetzung, Sentimentanalyse und Textklassifikation.

Was sind gängige NLP-Aufgaben? 

Typische Aufgaben sind Textklassifikation, Named Entity Recognition (NER), Sentimentanalyse, maschinelle Übersetzung, Zusammenfassung und Question Answering. Jede Aufgabe hat eigene Modellierungsansätze und Evaluationskriterien.

Was ist Tokenisierung? 

Tokenisierung zerlegt Rohtext in kleinere Einheiten – meist Wörter oder Subwords –, die ein Modell verarbeiten kann. Zum Beispiel wird "I love NLP" auf Wortebene zu ["I", "love", "NLP"].

Was ist der Unterschied zwischen Stemming und Lemmatisierung? 

Stemming kappt Wortendungen anhand von Regeln und erzeugt dabei Stämme, die nicht zwingend echte Wörter sind ("running" → "run", "studies" → "studi"). Lemmatisierung nutzt Vokabular und morphologische Analyse, um die tatsächliche Grundform zurückzugeben ("studies" → "study"). Sie ist genauer, aber langsamer.

Was sind Stoppwörter und warum entfernen wir sie? 

Stoppwörter sind sehr häufige Wörter wie "the", "is" und "and", die für viele NLP-Aufgaben wenig semantische Bedeutung tragen. Ihr Entfernen reduziert Rauschen und beschleunigt die Verarbeitung – bei Aufgaben wie Sentimentanalyse behält man sie jedoch teils bei.

Was ist das Bag-of-Words-(BoW)-Modell? 

BoW stellt Text als ungeordnete Sammlung von Worthäufigkeiten dar und ignoriert Grammatik und Reihenfolge. Es ist einfach und schnell, verliert aber Kontext. "Not good" und "good" sehen in BoW nahezu gleich aus.

Was ist TF-IDF und wie verbessert es BoW? 

TF-IDF (Term Frequency–Inverse Document Frequency) gewichtet Wörter danach, wie oft sie in einem Dokument vorkommen relativ zu ihrer Häufigkeit über alle Dokumente. Wörter, die in einem Dokument häufig, insgesamt aber selten sind, erhalten höhere Scores – so treten informativere Terme stärker hervor als bei reinen Zählungen.

Wie bewertest du ein Textklassifikationsmodell? 

Accuracy passt bei ausgeglichenen Klassen. Bei Ungleichgewichten liefern Precision, Recall und F1-Score ein vollständigeres Bild. F1 ist das harmonische Mittel aus Precision und Recall und nützlich, wenn False Positives und False Negatives unterschiedliche Kosten verursachen.

Sobald die Grundlagen sitzen, prüfen Interviews, wie gut du Abwägungen zwischen Ansätzen verstehst. Hier kommen die Fragen auf mittlerem Niveau ins Spiel.

NLP-Interviewfragen für Fortgeschrittene (Mittelstufe)

Diese Fragen setzen voraus, dass du NLP-Modelle gebaut und die Trade-offs der Ansätze verstanden hast. Typisch für mittlere ML- oder Data-Science-Rollen.

Was unterscheidet Word2Vec, GloVe und FastText? 

Word2Vec lernt Embeddings aus lokalen Wort-Kookkurrenzen mit einem flachen neuronalen Netz. GloVe nutzt globale Kookkurrenzstatistiken über das gesamte Korpus. FastText erweitert Word2Vec, indem Wörter als Beutel von Zeichen-n-Grammen repräsentiert werden – hilfreich bei seltenen oder falsch geschriebenen Wörtern.

Was sind kontextuelle Embeddings und warum sind sie wichtig? 

Anders als statische Embeddings (Word2Vec, GloVe) variieren kontextuelle Embeddings wie bei BERT je nach umgebenden Wörtern. "Bank" erhält in "river bank" einen anderen Vektor als in "bank account" – das verbessert Aufgaben, die tiefes Verständnis erfordern, erheblich.

Was ist ein N-Gramm-Sprachmodell? 

Ein N-Gramm-Modell sagt das nächste Wort basierend auf den vorherigen N-1 Wörtern voraus. Bigramme blicken ein Wort zurück, Trigramme zwei. Sie sind interpretierbar und schnell, kämpfen aber mit Langzeitabhängigkeiten und Datenknappheit bei seltenen Sequenzen.

Warum tun sich RNNs mit langen Sequenzen schwer und wie helfen LSTMs? 

Einfache RNNs leiden unter verschwindenden Gradienten, wodurch Abhängigkeiten über viele Zeitschritte schwer zu lernen sind. LSTMs führen Gates (Input-, Forget- und Output-Gate) ein, die steuern, welche Informationen durchfließen – so bleibt relevanter Kontext über längere Sequenzen erhalten.

Was ist der Attention-Mechanismus? 

Attention ermöglicht es einem Modell, die Relevanz jedes Eingabetokens bei der Ausgabe zu gewichten. Anstatt eine ganze Sequenz in einen einzigen Vektor zu pressen, berechnet Attention eine gewichtete Summe über alle Positionen und lenkt den Fokus auf die wichtigsten Teile.

Wie fine-tunest du ein vortrainiertes Modell wie BERT? 

Du ergänzt einen aufgabenspezifischen Kopf (z. B. eine Klassifikationsschicht) über dem vortrainierten Modell und trainierst mit geringer Lernrate auf deinen gelabelten Daten. Fine-Tuning benötigt deutlich weniger Daten als Training von Grund auf, da das Modell bereits allgemeine Sprachrepräsentationen gelernt hat.

Wie gehst du mit Klassenungleichgewicht bei NLP-Klassifikationsaufgaben um? 

Übliche Strategien sind Oversampling der Minderheitsklassen, Undersampling der Mehrheitsklasse oder das Anpassen der Klassen-Gewichte in der Loss-Funktion. Bei starkem Ungleichgewicht helfen Datenaugmentationen wie Paraphrasierung oder Synonymaustausch.

Fragen auf mittlerem Niveau drehen sich um Tools. Fortgeschrittene Fragen darum, wann diese an Grenzen stoßen – und was du dann tust.

NLP-Interviewfragen für Experten

Diese Fragen prüfen tiefes Architekturwissen und Verständnis für Trade-offs im produktiven Einsatz. Typisch für Senior-ML- oder NLP-Engineer-Interviews.

Erkläre die Transformer-Architektur auf hoher Ebene. 

Der Transformer besteht aus einem Encoder und Decoder (oder nur einem davon, je nach Modell), die aus gestapelten Schichten von Self-Attention und Feed-forward-Netzen aufgebaut sind. Er verarbeitet alle Tokens parallel statt sequenziell, was das Training auf moderner Hardware deutlich effizienter macht.

Was ist Self-Attention und wie erweitert Multi-Head-Attention das Konzept? 

Self-Attention berechnet Beziehungen zwischen jedem Token-Paar einer Sequenz über Query-, Key- und Value-Vektoren. Multi-Head-Attention führt diesen Prozess parallel mehrfach mit unterschiedlichen gelernten Projektionen aus und erfasst so verschiedene Beziehungstypen gleichzeitig.

Was ist Positional Encoding und warum brauchen Transformer es? 

Da Transformer Tokens parallel verarbeiten, haben sie keine inhärente Vorstellung von Reihenfolge. Positionscodierungen (fixe sinusförmige Funktionen oder gelernte Embeddings) werden zu Token-Embeddings addiert, damit das Modell Positionen in der Sequenz ableiten kann.

Was ist Masked Language Modeling (MLM)? 

MLM ist ein Pretraining-Ziel von BERT, bei dem ein Prozentsatz der Eingabetokens zufällig maskiert wird und das Modell lernt, sie aus dem Kontext zu rekonstruieren. Dieses bidirektionale Training erzeugt reichhaltige kontextuelle Repräsentationen – im Gegensatz zum rein links-nach-rechts gerichteten Sprachmodellieren.

Was sind BPE- und WordPiece-Tokenisierungsstrategien? 

Byte-Pair Encoding (BPE) fusioniert iterativ die häufigsten Zeichenpaare, um ein Subword-Vokabular aufzubauen. WordPiece, von BERT genutzt, ist ähnlich, wählt Fusionen jedoch basierend auf der Likelihood der Trainingsdaten statt reiner Häufigkeit. Beide gehen mit seltenen und Out-of-Vocabulary-Wörtern gut um.

Was sind BLEU, ROUGE und Perplexity – und wann nutzt man was? 

BLEU misst n-Gramm-Überlappung zwischen generiertem und Referenztext und ist gängig in der Übersetzung. ROUGE tut Ähnliches, fokussiert aber auf Recall und ist beliebt für Zusammenfassungen. Perplexity misst, wie gut ein Sprachmodell ein zurückgehaltenes Korpus vorhersagt; niedriger ist besser, korreliert aber nicht immer mit menschlichen Urteilen.

Was sind die Hauptherausforderungen beim Training großer Sprachmodelle? 

Rechen- und Speicherkosten steigen mit der Modellgröße steil an, was verteiltes Training über viele GPUs nötig macht. Weitere Herausforderungen sind Datenqualität und -kontamination, Instabilität im Training und schwierige Evaluation. Standardbenchmarks sind oft schnell ausgeschöpft.

Architekturwissen reicht nur bis zu einem Punkt. Für Data-Science-Rollen wollen Interviewer sehen, wie du all das auf echte Geschäftsprobleme mit unordentlichen Realwelt-Daten anwendest.

Interviewfragen für NLP-Data Scientists

Diese Fragen zielen darauf ab, wie du mit NLP Geschäftsprobleme löst. Typisch für angewandte Data-Science-Rollen mit Verantwortung für den gesamten Modellierungs-Workflow.

Wie baust du eine End-to-End-NLP-Pipeline? 

Eine typische Pipeline umfasst Datenaufnahme, Bereinigung, Vorverarbeitung (Tokenisierung, Normalisierung), Feature-Extraktion oder Embeddings, Modelltraining, Evaluation und Deployment. Die größten Hürden sind meist Datenqualität und Reproduzierbarkeit über Umgebungen hinweg.

Wie gehst du Feature Selection für Textmodelle an? 

Für klassische Modelle nutzt du etwa Mutual Information oder Chi-Quadrat-Tests, um informative Terme zu identifizieren. Bei Deep Learning ist die Merkmalsauswahl oft implizit in der Architektur. In jedem Fall ist Domänenwissen entscheidend: Zu wissen, was Signal und was Rauschen ist, beschleunigt die Iteration deutlich.

Wie gehst du mit verrauschten oder unstrukturierten Textdaten um? 

Starte mit einer explorativen Analyse, um Muster im Rauschen zu verstehen: Tippfehler, Sprachmischung, Encoding-Probleme, HTML-Artefakte. Wende dann gezielte Bereinigungsschritte an und dokumentiere sie. Aggressive Normalisierung (alles kleinschreiben, Interpunktion entfernen) kann je nach Aufgabe genauso schaden wie nützen.

Wie interpretierst du die Vorhersagen eines Textklassifikationsmodells? 

Techniken wie LIME und SHAP zeigen, welche Tokens eine Vorhersage am stärksten beeinflusst haben. Attention-Gewichte werden teils genutzt, können aber irreführend sein, da sie nicht immer die wahre Merkmalsbedeutung widerspiegeln. Fehleranalyse an fehlklassifizierten Beispielen ist oft der erkenntnisreichste Einstieg.

Wie verknüpfst du NLP-Modelleistung mit Geschäftsergebnissen? 

Übersetze Modellmetriken früh in Business-Impact. Eine 2% bessere F1 bei einem Intent-Classifier kann Tausende falsch zugeordneter Support-Tickets pro Woche vermeiden. So gerahmt bleiben Stakeholder an Bord und du priorisierst, was als Nächstes verbessert wird.

Wie gehst du bei der Fehleranalyse in NLP vor? 

Stichprobe ziehen und fehlklassifizierte Beispiele manuell prüfen. Suche nach Mustern: bestimmte Domänen, Textlängen, Vokabular oder Label-Mehrdeutigkeit. Daraus leitest du ab, ob du mehr Daten, bessere Vorverarbeitung, ein anderes Modell oder sauberere Labels brauchst.

Data-Scientist-Fragen drehen sich stark um Modellierungsentscheidungen. Fragen für Machine-Learning-Ingenieure gehen weiter – hin zu produktiven Systemen, in denen Zuverlässigkeit, Latenz und Skalierung die eigentlichen Grenzen setzen.

Interviewfragen für NLP-Machine-Learning-Ingenieure

Diese Fragen betreffen produktive Systeme: Zuverlässigkeit, Latenz und Skalierung. Typisch für MLE- oder MLOps-Rollen.

Wie bringst du ein NLP-Modell in Produktion? 

Packe das Modell in eine REST-API (FastAPI oder Flask), containerisiere es mit Docker und betreibe es hinter einem Load Balancer. Für hohes Aufkommen bieten sich asynchrone Inferenz oder ein Model Server wie TorchServe oder Triton Inference Server an.

Was sind gängige Strategien zur Reduktion der Modell-Latenz? 

Quantisierung wandelt Gewichte von 32-Bit auf 8-Bit oder 4-Bit um und tauscht minimale Genauigkeit gegen deutliche Geschwindigkeitsgewinne. Knowledge Distillation trainiert ein kleineres Schülermodell, das ein großes Lehrermodell nachahmt – oft mit 90%+ der ursprünglichen Performance bei einem Bruchteil der Rechenkosten.

Wie unterscheidet sich Model Serving für Batch- vs. Echtzeitinferenz? 

Echtzeitinferenz priorisiert geringe Latenz – kleinere Modelle oder Caching helfen. Batch-Inferenz kann große Volumina offline kostengünstig mit größeren, genaueren Modellen verarbeiten. Die Wahl hängt davon ab, ob der Use Case Verzögerung toleriert.

Wie sieht das Monitoring eines NLP-Systems in Produktion aus? 

Neben Standardmetriken wie Latenz und Fehlerraten verfolgst du modellspezifische Signale: Verteilungen der Konfidenzscores, Histogramme der Eingabelängen und Prediction Drift über die Zeit. Ein plötzlicher Wechsel im Vokabular oder Thema der Eingaben kann die Leistung verschlechtern, bevor klassische Metriken es zeigen.

Wie skalierst du Transformer-Modelle für Anwendungen mit hohem Durchsatz? 

Horizontales Skalieren mit mehreren Modellreplikaten bedient gleichzeitige Anfragen. Sehr große Modelle kannst du per Model Parallelism über GPUs verteilen oder effiziente Architekturen wie DistilBERT nutzen, die etwas Genauigkeit gegen deutlich geringere Ressourcen tauschen.

Wie entwirfst du eine Datenpipeline für kontinuierliche Textaufnahme? 

Nutze eine Message Queue (Kafka oder Pub/Sub), um eingehende Textströme zu puffern, und führe die Vorverarbeitung in parallelen Workern aus. Roh- und verarbeitete Daten getrennt zu speichern erleichtert Reprocessing, wenn sich die Pipeline-Logik ändert.

Für Research-Rollen verschiebt sich der Fokus: weniger Delivery, mehr Verständnis, wohin sich das Feld entwickelt und was ungelöst ist.

Interviewfragen für NLP-Forschende

Diese Fragen prüfen dein Verständnis aktueller Forschungsrichtungen und offener Probleme. Typisch für Research-Scientist- oder PhD-Track-Rollen.

Was ist Self-Supervised Learning und warum ist es für NLP wichtig? 

Self-Supervised Learning gewinnt Trainingssignale direkt aus den Daten – über Ziele wie Masked Language Modeling oder Next-Sentence Prediction – und benötigt keine menschlichen Labels. So wurde Pretraining auf riesigen Textkorpora mit anschließendem Fine-Tuning auf kleinen gelabelten Datensätzen möglich und die Herangehensweise an NLP-Benchmarks grundlegend verändert.

Was ist der Unterschied zwischen Few-Shot- und Zero-Shot-Lernen? 

Zero-Shot-Lernen verlangt von einem Modell, eine Aufgabe ohne Beispiel gelöst zu bekommen – gestützt auf Anweisungsbefolgung. Few-Shot-Lernen liefert wenige Beispiele im Prompt, um das Modell zu steuern. Beide nutzen die Generalisierungsfähigkeit von LLMs aus dem Pretraining; Few-Shot ist meist verlässlicher.

Welche Trade-offs gibt es zwischen Prompt Tuning und Fine-Tuning? 

Beim Fine-Tuning werden Modellgewichte auf aufgabenspezifischen Daten aktualisiert – hohe Performance, aber rechenintensiv und pro Aufgabe eine eigene Modellkopie. Prompt Tuning lernt weiche Prompt-Tokens bei eingefrorenem Modell – deutlich parameter-effizienter, performt aber bei kleineren Modellskalen oft schlechter als vollständiges Fine-Tuning.

Was sind die Hauptgrenzen aktueller Evaluationspraktiken für generative Modelle? 

Automatisierte Metriken wie BLEU und ROUGE korrelieren bei offenen Generierungsaufgaben schwach mit menschlichen Urteilen. Benchmarks sind schnell gesättigt, und Modelle können während des Pretrainings auf Testverteilungen überanpassen. Für Faktentreue, Nützlichkeit oder Reasoning-Qualität gibt es kein allgemein anerkanntes Bewertungsframework.

Wie gelangen Biases in Sprachmodelle und wie erkennst du sie? 

Bias entsteht durch Pretraining-Daten, die historische Ungleichheiten oder demografische Schieflagen widerspiegeln. Erkennen lässt er sich über Probing-Tasks, kontrafaktische Datenaugmentation und Tools wie WinoBias oder StereoSet. Minderung ist schwieriger: Debiasing im Fine-Tuning kann oberflächliche Verzerrungen reduzieren, ohne tiefere Repräsentationsprobleme zu lösen.

Wie sieht Interpretierbarkeitsforschung für Transformer aus? 

Mechanistische Interpretierbarkeit versucht rückzuschließen, was bestimmte Attention-Heads und MLP-Schichten berechnen. Probing-Klassifikatoren testen, ob Zwischenrepräsentationen spezifische linguistische Eigenschaften kodieren. Beide Ansätze liefern spannende Befunde, doch ein einheitliches Verständnis dessen, was „Verstehen“ beim Transformer bedeutet, gibt es noch nicht.

Konzeptionelle und Forschungsfragen haben klare richtige Antworten. In Szenariofragen zeigt sich, wer wirklich NLP-Systeme gebaut hat – und wer nur darüber gelesen hat.

Szenariobasierte NLP-Interviewfragen

Diese Fragen prüfen, wie du mit realen Problemen und echten Constraints umgehst.

Dein Sentimentmodell performt schlecht bei slanglastigen Social-Media-Daten. Was tust du? 

Starte mit Fehleranalyse. Identifiziere Slang-Begriffe, die Probleme verursachen, und prüfe, ob sie in deinem Trainingsvokabular fehlen. Sammle und label anschließend domänenspezifische Beispiele zum Fine-Tuning. Erwäge außerdem Slang-Normalisierung oder eine Subword-Tokenisierung (wie BPE), um OOV-Probleme zu reduzieren.

Wie würdest du Halluzinationen in einem generativen NLP-System reduzieren?

Retrieval-Augmented Generation (RAG) verankert Antworten in abgerufenen Dokumenten und reduziert die Abhängigkeit von memorisiertem Wissen. Ergänzend helfen nachgelagerte Verifikationsschritte, niedrigere Sampling-Temperaturen oder Fine-Tuning auf Daten, die Faktentreue explizit belohnen.

Wie gehst du mit einem mehrsprachigen Datensatz um? 

Ein mehrsprachiges vortrainiertes Modell wie mBERT oder XLM-R ist meist der beste Einstieg, da es viele Sprachen mit einem Modell abdeckt. Ist die Performance in einer bestimmten Sprache kritisch, ziehe sprachspezifisches Fine-Tuning in Betracht. Achte besonders auf die Tokenisierung, da manche Sprachen von primär englisch trainierten Tokenizern übersegmentiert werden.

Wie würdest du Bias in einem ausgerollten NLP-System erkennen und mindern? 

Definiere zunächst Fairness für deinen Use Case: gleiche Fehlerraten über Gruppen, gleiche Positive Rates oder anderes. Auditiere Modellausgaben über demografische Segmente mit separaten Evaluationssets. Minderung kann über Resampling, gruppenspezifische Schwellen in der Nachverarbeitung oder adversariales Debiasing im Fine-Tuning erfolgen.

Wie triffst du die Wahl zwischen klassischem ML-Ansatz und Transformer für eine Textaufgabe? 

Starte bei Daten- und Latenz-Constraints. Bei wenig gelabelten Daten, begrenzter Rechenleistung oder strengen Echtzeitanforderungen können Logistic Regression oder Gradient Boosting auf TF-IDF-Features in der Praxis besser abschneiden als ein fine-getunter Transformer. Transformer glänzen, wenn genügend Daten und Compute vorhanden sind oder die Aufgabe wirklich tiefes Kontextverständnis erfordert.

Häufige Fehler in NLP-Interviews

Der häufigste Stolperstein: Theorie ohne Umsetzung. Viele können die Transformer-Architektur aufsagen, erklären aber nicht, wie sie mit einem real unausgeglichenen Textdatensatz umgehen oder ein überfittendes Modell tunen würden. Interviewer merken das schnell.

Zwei weitere Muster, die regelmäßig schaden: Vorverarbeitung in Antworten zu ignorieren (Textbereinigung hat enormen Einfluss auf die Modellqualität) und ähnliche Begriffe zu verwechseln – etwa Stemming vs. Lemmatisierung oder Precision vs. Recall. Die Unterschiede klar zu kennen – und wann was zählt – zeigt, dass du mit echten Daten gearbeitet hast, nicht nur mit Lehrbüchern.

So bereitest du dich auf NLP-Interviews vor

Am effektivsten sind kleine End-to-End-Projekte: ein Sentiment-Classifier, ein NER-Tagger, ein einfacher Summarizer. Sie zwingen zu echten Entscheidungen in Vorverarbeitung, Modellauswahl und Evaluation – genau das wird im Interview abgefragt. Unser Kurs Feature Engineering for NLP in Python vermittelt die Praxis-Skills, die immer wieder drankommen.

Darüber hinaus: Verstehe den Attention-Mechanismus auch mathematisch, nicht nur konzeptionell, und fine-tune mindestens ein vortrainiertes Modell auf eine neue Aufgabe. Bleib über LLM-Entwicklungen via Papers und Blogposts auf dem Laufenden; für Research-Rollen wird erwartet, dass du zu aktueller Arbeit Positionen hast. Für einen tieferen Blick in Transformer-Architekturen sieh dir unser Transformer Models for NLP Tutorial an.

Fazit

NLP-Interviews testen sowohl dein konzeptionelles Verständnis als auch deine Fähigkeit, unter Druck reale Probleme durchzudenken. Was ein Interviewer von einem Absolventen erwartet, unterscheidet sich deutlich von den Erwartungen an einen Senior-ML-Engineer – dieser Leitfaden deckte beide Enden des Spektrums ab.

Heraus stechen nicht unbedingt die Kandidat:innen mit dem meisten Theoriewissen, sondern jene, die Konzepte in praktische Entscheidungen übersetzen, Trade-offs durchsprechen und zeigen können, dass sie mit unordentlichen Textdaten gearbeitet haben.