Die 30 wichtigsten Fragen und Antworten zum Thema künstliche Intelligenz für 2026

Grundlegende Fragen zum Thema Agenten-KI

Wir fangen mit ein paar grundlegenden Fragen an, die Definitionen liefern und den Ton für den Artikel angeben. Einige davon haben auch Tipps, was man im Voraus vorbereiten sollte.

An welchen KI-Anwendungen hast du gearbeitet?

Die Interviewer wollen deine Erfahrungen auf persönliche und detaillierte Weise erfahren. Die suchen nicht nur nach einer Liste von Projekten – die haben die wahrscheinlich schon aus deinem Lebenslauf –, sondern schauen, wie klar du jedes Projekt und deine Rolle darin erklären kannst.

Bereite deine Antwort im Voraus vor und mach dir ein klares Bild von deiner bisherigen Arbeit. Mit einem Kumpel zu üben oder es aufzuschreiben kann dir helfen, deine Gedanken zu ordnen.

Mit welchen Bibliotheken, Frameworks und Tools hast du schon gearbeitet? Welche anderen Bibliotheken kennst du noch?

Ähnlich wie bei der vorherigen Frage wollen die Interviewer mehr hören als das, was in deinem Lebenslauf steht. Sei bereit, jedes Projekt, an dem du gearbeitet hast, genau zu beschreiben und alle verwendeten Technologien zu erklären.

Denk dran, dass dir an dieser Stelle viele Folgefragen gestellt werden können. Für einen Arbeitgeber ist es wichtig, deine genauen Fähigkeiten zu verstehen. Schau dir Bibliotheken wie LlamaIndex oder LangChain, weil das die gängigsten Bibliotheken für die Entwicklung auf hoher Ebene sind. Mach dich außerdem mit Modellanbietern wie Huggingface oder Ollama.

Was ist agentenbasierte KI und wie unterscheidet sie sich von der herkömmlichen KI?

Agentische KI sind künstliche Intelligenzsysteme, die selbstständig handeln, sich eigene Ziele setzen und sich an veränderte Umgebungen anpassen können. Im Gegensatz dazu arbeitet traditionelle KI normalerweise mit festgelegten Regeln, nimmt Eingaben entgegen und gibt Ergebnisse raus.

Du kannst zum Beispiel über deine eigenen Projekte reden oder andere agentenbasierte KI-Anwendungen erwähnen, die du benutzt hast oder von denen du gehört hast. Für eine ausführlichere Erklärung der einzelnen Begriffe empfehle ich dir, den folgenden Artikel über agentenbasierte KI.

Was findest du spannend an der Arbeit mit agentenbasierter KI?

Das ist 'ne typische Frage, um deine Beweggründe und Interessen zu verstehen. Die Frage ist normalerweise ziemlich offen, sodass du in jede Richtung gehen und echt mit dem Interviewer quatschen kannst.

Halt eine coole Geschichte oder Erklärung parat, sei dabei begeistert, konkret und versuch, über was zu reden, das mit der Stelle zu tun hat. Wenn dir nichts Bestimmtes einfällt, erzähl doch einfach von einem Produkt, das du benutzt, und warum es spannend oder interessant ist.

Kannst du mal ein Beispiel für eine agentenbasierte KI-Anwendung nennen und was zu ihren Bestandteilen sagen?

Nehmen wir zum Beispiel ein selbstfahrendes Auto. Schau dir erst mal an, was das Auto alles können muss: Es soll selbstständig fahren und sich auf den Straßen zurechtfinden, die besten Routen finden, Hindernissen ausweichen und vor allem die Passagiere sicher bringen.

Sobald die Ziele festgelegt sind, können wir uns anschauen, wie die Anwendung aufgebaut sein könnte. Ein Hauptmodell könnte dafür zuständig sein, das Auto zu steuern, indem es ständig oder bei Bedarf Infos von kleineren Modellen bekommt, die Aufgaben wie Routenoptimierung oder das Abrufen von Umweltinfos übernehmen.

Während des Interviews kannst du auf jede dieser Komponenten näher eingehen. Du kannst dir auch gerne eigene Beispiele ausdenken.

Mit welchen LLMs hast du bisher gearbeitet?

Sei bereit, bestimmte Modelle, mit denen du gearbeitet hast, im Detail zu besprechen. Die Arbeitgeber werden wissen wollen, wie gut du das Modell intern verstehst. Sei zum Beispiel bereit, über Open-Source-Modelle wie Llama oder proprietäre GPT-Modelle zu reden.

Das ist auch eine gute Chance, neue Modelle zu erwähnen und dem Interviewer zu zeigen, dass du auf dem Laufenden bist. Du kannst zum Beispiel über Deepseek R1 und anderen Schlussfolgerungsmodellen reden.

Wie sind deine Erfahrungen mit der Nutzung von LLMs über die API?

Hier geht's darum, LLMs über die API statt über ein Chat-Fenster zu nutzen. Sei bereit, über deine Projekte zu reden, wenn sie APIs nutzen. Stell sicher, dass du APIs überprüfst, geheime Schlüssel erstellst und speicherst, die Kosten im Auge behältst und verschiedene Modellanbieter vergleichst. Das könnte auch ein guter Moment sein, um über deine Erfahrungen im Ingenieurwesen zu reden.

Wenn du noch nicht so viel Erfahrung mit der Nutzung von LLMs über die API hast, schau dir mal diese Ressourcen an:

• GPT-4.5 API-Tutorial: Erste Schritte mit der API von OpenAI
• DeepSeek API: Ein Leitfaden mit Beispielen und Kostenberechnungen
• Mistral OCR: Ein Leitfaden mit praktischen Beispielen

Hast du schon mal Argumentationsmodelle benutzt?

Mit neuen Argumentationsmodellen wie OpenAI o3 und DeepSeek-R1 werden Arbeitgeber wissen wollen, wie viel Erfahrung du damit hast und ob du dich damit auskennst. Das geht über die einfache Auswahl eines anderen Modells in einer Anwendung oder einem API-Aufruf hinaus, da diese Modelle Denk-Token erzeugen und oft ein anderes Nutzungsmuster erfordern.

Du könntest einen guten Eindruck machen, wenn du weißt, wie man ein Open-Source-Modell feinabstimmt und lokal ausführt, da dies etwas ist, was das Unternehmen, bei dem du dich bewirbst, möglicherweise braucht. Probier mal, DeepSeek-R1 ein bisschen anzupassen und lokal zu starten:

• Feinabstimmung von DeepSeek R1 (Schlussfolgerungsmodell)
• Wie man DeepSeek-R1 lokal mit Ollama einrichtet und ausführt

Benutzt du LLMs in deinem täglichen Arbeitsablauf? Wenn ja, wozu?

Wenn du LLMs in deinem Arbeitsablauf einsetzt, ist das vielleicht deine Chance, dein Fachwissen zu zeigen. Du kannst über Tools reden, die du benutzt hast, was dir daran gefallen oder nicht gefallen hat, und sogar über Sachen, auf die du dich freust. Erwäge, beliebte Tools wie Cursor, NotebookLM, Lovable, Replit, Claude-Artefakte, Manus AIusw.

Wo informierst du dich über die neuesten Entwicklungen im Bereich der agentenbasierten KI?

Einige Arbeitgeber werden wissen wollen, wie gut du dich mit KI auskennst oder auskennen kannst. Quellen, die du in deiner Antwort erwähnen könntest, sind KI-Konferenzen, Foren, Newsletter und so weiter.

Wie gut kannst du mit dem Lesen und Verstehen von Papieren und Dokumentationen umgehen?

Das Lesen von Literatur, Artikeln und Dokumentationen gehört zu fast jedem Job im Bereich KI dazu. Du könntest auch gefragt werden, wie du generell an das Lernen oder das Abrufen von Infos herangehst. Es ist besser, in deiner Antwort nicht so rüberzukommen, als würdest du dich zu sehr auf Chatbots verlassen.

Sei bereit, über einen Artikel zu reden, den du kürzlich gelesen hast – zum Beispiel kannst du über Titans Architecture von Googlesprechen.

Fragen für Vorstellungsgespräche zum Thema künstliche Intelligenz für Fortgeschrittene

Jetzt, wo wir die grundlegenden Fragen geklärt haben, können wir ein bisschen tiefer gehen und ein paar weiterführende Fragen anschauen, die vielleicht auftauchen oder als gute Referenz dienen können.

Was denkst du über die Ethik dieser Rolle und über agentenbasierte KI im Allgemeinen?

Ich denke, das ist eine ziemlich seltene Frage, aber trotzdem eine gute Sache, über die man nachdenken sollte, vielleicht sogar allgemein und nicht nur speziell für ein Vorstellungsgespräch. Du kannst über Ideen nachdenken, die mit der Stelle, auf die du dich bewirbst, zu tun haben, oder über allgemeinere Ideen wie KI-Anwendungen, die Entscheidungen treffen, die das Leben von Menschen beeinflussen. Die Frage hat definitiv keine richtige Antwort und dient im Allgemeinen nur dazu, zu checken, wie sehr dir das Fachgebiet am Herzen liegt oder wie viel du darüber nachgedacht hast.

Welche Sicherheitsrisiken sollte man beim Einsatz von autonomen KI-Agenten beachten?

Beim Einsatz autonomer KI-Agenten gibt's ein paar Sicherheitsaspekte zu beachten. Ein Risiko besteht darin, dass das Modell Zugriff auf sensible interne Tools oder Datenbanken haben könnte. Wenn das Modell nicht richtig isoliert oder mit Berechtigungen versehen ist, könnte ein böswilliger Nutzer Prompt-Injection oder adversarial Inputs nutzen, um private Daten zu klauen oder ungewollte Aktionen auszulösen.

Ein weiteres Risiko besteht darin, dass das Verhalten des Modells durch sorgfältig gestaltete Eingabeaufforderungen oder externe Eingaben manipuliert werden kann. Ein Angreifer könnte das Modell dazu bringen, Sicherheitsbeschränkungen zu ignorieren, Berechtigungen zu erweitern oder sich anders zu verhalten, als es eigentlich soll.

Es gibt auch die Möglichkeit von Denial-of-Service-Angriffen, bei denen das Modell mit Anfragen überflutet oder dazu gebracht wird, seinen eigenen Betrieb einzustellen. Wenn jemand die Kontrolle über wichtige Infrastruktur oder automatisierte Abläufe hat, könnte das zu größeren Störungen führen.

Um diese Risiken zu verringern, ist es wichtig, die Prinzipien der traditionellen Softwaresicherheit anzuwenden: geringstmögliche Berechtigungen, strenge Eingabevalidierung, Überwachung, Ratenbegrenzung und kontinuierliches Red-Teaming des Verhaltens des Agenten.

Welche Jobs von Menschen werden deiner Meinung nach bald durch KI-Anwendungen ersetzt werden und warum?

Interviewer könnten diese Frage stellen, um zu sehen, wie gut du die aktuellen Möglichkeiten der agentenbasierten KI verstehst. Die suchen nicht nur nach einer Liste, sondern nach einer gut durchdachten Erklärung deiner Überlegungen.

Ich persönlich glaube zum Beispiel nicht, dass Ärzte so schnell ersetzt werden – vor allem nicht die, deren Entscheidungen direkt das Leben von Menschen beeinflussen – und das hat auch mit Ethik zu tun. Hier gibt's echt viel zu entdecken, und du kannst sogar darüber quatschen, ob du es gut oder schlecht findest, dass manche Jobs durch KI ersetzt werden.

Kannst du uns ein paar Herausforderungen schildern, denen du bei der Arbeit an einer KI-Anwendung begegnet bist?

Auch wenn das eine Frage an dich ist, hab ich sie in den Abschnitt für Fortgeschrittene gepackt, weil sie echt häufig vorkommt und Interviewer ihr oft viel Bedeutung beimessen. Du solltest auf jeden Fall ein gutes Beispiel parat haben – versuch nicht, dir spontan was auszudenken.

Wenn du noch keine großen Herausforderungen erlebt hast, versuch wenigstens, über eine theoretische Situation zu reden und wie du damit umgehen würdest.

Fragen zum Vorstellungsgespräch für fortgeschrittene Agentic-KI

Zum Schluss wollen wir noch ein paar fortgeschrittenere und technischere Fragen besprechen. Ich werde versuchen, so allgemein wie möglich zu sein, auch wenn die Fragen im echten Vorstellungsgespräch meistens etwas genauer sind. Anstatt zum Beispiel nach der Indizierung im Allgemeinen zu fragen, könntest du nach den verschiedenen Indizierungsmethoden gefragt werden, die Langchain oder Llama-Index unterstützen.

Was ist der Unterschied zwischen dem System und der Benutzeraufforderung?

System- und Benutzeraufforderungen sind beides Eingaben für ein Sprachmodell, aber sie haben unterschiedliche Aufgaben und beeinflussen das System meistens unterschiedlich stark.

Die Systemanweisung „ “ ist eine versteckte Anweisung, die das allgemeine Verhalten oder die Persönlichkeit des Modells festlegt. Während eines Gesprächs ist es für den Nutzer nicht direkt sichtbar, spielt aber eine wichtige Rolle. Die Systemaufforderung könnte dem Modell zum Beispiel sagen, dass es sich wie ein hilfreicher Assistent, ein Mathematiker oder ein Reiseplaner verhalten soll. Es legt den Ton, den Stil und die Regeln für die Interaktion fest.

Die Benutzeraufforderung „ “ ist dagegen das, was der Benutzer direkt eingibt – wie eine Frage oder eine Anfrage. Das ist es, worauf das Modell in Echtzeit reagiert.

In vielen Setups ist die Systemaufforderung wichtiger, weil sie dabei hilft, das Verhalten über verschiedene Sitzungen hinweg gleich zu halten, während die Benutzeraufforderung den genauen Inhalt jeder Antwort bestimmt.

Wie programmiert man ein agentenbasiertes KI-System, damit es bestimmte konkurrierende Ziele oder Aufgaben priorisiert?

Agentische KI-Systeme werden normalerweise so programmiert, dass man klare Ziele festlegt, passende Tools zuweist und die Logik strukturiert, die bestimmt, wie der Agent Aufgaben priorisiert, wenn Ziele miteinander konkurrieren. Dazu braucht man oft eine Mischung aus Eingabeaufforderungen, Funktionsaufrufen und Orchestrierungslogik – manchmal über mehrere Modelle oder Subsysteme hinweg.

Ein Ansatz besteht darin, eine Zielhierarchie zu definieren und Gewichte oder Regeln festzulegen, die dem Agenten bei der Auswahl der zu verfolgenden Aufgabe helfen, wenn Konflikte auftreten. Manche Systeme nutzen auch Planungskomponenten oder Zwischenschritte (wie Reflexionsschleifen oder Notizblöcke), um Vor- und Nachteile abzuwägen, bevor sie was machen.

Wenn du neu in diesem Bereich bist, empfehle ich dir, mit Anthropic's Artikel über Entwurfsmuster für Agenten. Es gibt konkrete Beispiele und gängige Architekturen, die in echten Systemen verwendet werden. Viele der Konzepte werden dir bekannt vorkommen, wenn du einen Hintergrund in der Softwareentwicklung hast, vor allem in den Bereichen modulares Design, Zustandsverwaltung und asynchrone Aufgabenausführung.

Wie gut kennst du dich mit Prompting und Prompt Engineering aus? Welche Ansätze kennst du oder hast du schon mal ausprobiert?

Prompt Engineering ist ein wichtiger Teil von agentenbasierten KI-Systemen, aber auch ein Thema, das oft zu Vorurteilen führt. Deshalb ist es wichtig, vage Aussagen über seine Bedeutung zu vermeiden und sich stattdessen auf die technischen Details seiner Anwendung zu konzentrieren.

Hier ist, was ich für eine gute Antwort halten würde:

Ich bin ziemlich gut darin, Prompts zu erstellen und zu optimieren, und habe schon verschiedene Techniken sowohl in Projekten als auch bei alltäglichen Aufgaben angewendet. Ich benutze zum Beispiel regelmäßig Few-Shot-Prompting, um Modelle anhand von Beispielen zu einem bestimmten Format oder Tonfall zu führen. Ich benutze auch Gedankenkette-Prompting, wenn ich will, dass das Modell Schritt für Schritt argumentiert – das ist besonders nützlich für Aufgaben wie Programmieren, Logikrätsel oder Planung.

Bei strukturierteren Anwendungen habe ich mit Prompt-Tuning und Prompt-Kompressionherumprobiert, vor allem bei APIs, die nach Token-Anzahl abrechnen oder eine strenge Kontrolle über die Ausgaben brauchen. Bei diesen Techniken geht's darum, Anweisungen auf ihre wichtigsten Teile zu reduzieren, ohne dabei die Absicht und die Leistung zu verändern.

Da sich das Gebiet schnell weiterentwickelt, lese ich regelmäßig aktuelle Artikel, GitHub-Repositorys und Dokumentationsupdates, um bei Techniken wie Funktionsaufruf, abrufgestütztem Prompting und modularem Prompt-Verkettung.

Was ist ein Kontextfenster? Warum ist die Größe begrenzt?

Ein Kontextfenster ist die maximale Menge an Infos – gemessen in Tokens –, die ein Sprachmodell auf einmal verarbeiten kann. Das umfasst die aktuelle Eingabeaufforderung, den gesamten bisherigen Gesprächsverlauf und Anweisungen auf Systemebene. Sobald die Begrenzung des Kontextfensters erreicht ist, können ältere Token abgeschnitten oder ignoriert werden.

Der Grund, warum das Kontextfenster eingeschränkt ist, liegt an Rechen- und Architekturbeschränkungen. In Transformer-basierten Modellenmüssen Aufmerksamkeitsmechanismen die Beziehungen zwischen allen Token im Kontext berechnen, was quadratisch mit der Anzahl der Token. Das macht die Verarbeitung von sehr langen Kontexten teuer und langsam, vor allem auf der aktuellen Hardware. Frühere Modelle wie RNNs hatten keine so strenge Kontextbeschränkung, aber sie hatten Probleme, langfristige Abhängigkeiten effektiv zu behalten.

Was ist Retrieval-Augmented Generation (RAG)?

Die Retrieval-Augmented Generation (RAG) ist eine Technik, die Sprachmodelle verbessert, indem sie ihnen erlaubt, vor der Generierung einer Antwort relevante Infos aus externen Quellen abzurufen. Anstatt sich nur auf das zu verlassen, was das Modell während des Trainings gelernt hat, können RAG-Systeme bei der Inferenz auf aktuelle oder domänenspezifische Daten zugreifen.

Ein typisches RAG-Setup hat zwei Hauptkomponenten: einen Retriever, der eine Datenbank oder Dokumentensammlung nach relevanten Inhalten anhand der eingegebenen Suchanfrage durchsucht, und einen Generator, der die gefundenen Infos nutzt, um eine genauere und fundiertere Antwort zu erstellen. Dieser Ansatz ist besonders nützlich für Aufgaben, die sachliche Genauigkeit, ein gutes Langzeitgedächtnis oder spezifisches Fachwissen erfordern.

Welche anderen LLM-Architekturen kennst du außer dem Transformer?

Auch wenn der Transformer heute die wichtigste Architektur in der KI ist, gibt es noch ein paar andere Modelltypen, die man kennen sollte. Zum Beispiel xLSTM auf der LSTM-Architektur auf und hat Verbesserungen, die die Leistung bei langen Sequenzen steigern, ohne die Effizienz zu beeinträchtigen.

Mamba ist eine weitere vielversprechende Architektur – sie nutzt selektive Zustandsraummodelle, um die Verarbeitung langer Kontexte effizienter als Transformer zu handhaben, vor allem bei Aufgaben, die nicht die volle Aufmerksamkeit für jedes einzelne Token erfordern.

Die Titans-Architektur von Google ist auch einen Blick wert. Es wurde entwickelt, um einige der wichtigsten Einschränkungen von Transformatoren zu lösen, wie zum Beispiel das Fehlen eines persistenten Speichers und hohe Rechenkosten.

Diese alternativen Architekturen sollen Modelle effizienter und skalierbarer machen und sie in die Lage versetzen, längere oder komplexere Eingaben zu verarbeiten, ohne dass dafür riesige Hardware-Ressourcen nötig sind.

Was sind Werkzeuggebrauch und Funktionsaufruf in LLMs?

Mit Tool- und Funktionsaufrufen können große Sprachmodelle mit externen Systemen wie APIs, Datenbanken oder benutzerdefinierten Funktionen interagieren. Anstatt sich nur auf bereits vorhandenes Wissen zu verlassen, kann das Modell erkennen, wann eine Aufgabe aktuelle oder spezielle Infos braucht, und dann das passende Tool nutzen.

Wenn du zum Beispiel ein Modell mit Zugriff auf eine Wetter-API fragst: „Wie ist das Wetter in London?“, kann es im Hintergrund diese API aufrufen und die Echtzeitdaten zurückgeben, anstatt eine allgemeine oder veraltete Antwort zu generieren. Dieser Ansatz macht Modelle nützlicher und zuverlässiger, vor allem bei Aufgaben, die Live-Daten, Berechnungen oder Aktionen außerhalb der internen Fähigkeiten des Modells beinhalten.

Was ist die Gedankenkette (CoT) und warum ist sie in agentenbasierten KI-Anwendungen wichtig?

Chain-of-Thought (CoT) ist eine Technik, die Sprachmodellen hilft, komplizierte Probleme in einzelne Schritte zu zerlegen, bevor sie eine Antwort geben. Damit kann das Modell Zwischenschritte beim Denken machen, was die Genauigkeit und Transparenz verbessert, vor allem bei Aufgaben, die mit Logik, Mathe oder mehrstufigen Entscheidungen zu tun haben.

CoT wird oft in agentenbasierten KI-Systemen benutzt. Wenn zum Beispiel ein Modell bei einer Bewertung als Richter fungiert, kannst du es auffordern, seine Antwort Schritt für Schritt zu erklären, um seinen Entscheidungsprozess besser zu verstehen. CoT ist auch eine wichtige Technik in Modellen, die sich auf das Schlussfolgern konzentrieren, wie zum Beispiel OpenAI o1, wo das Modell erst Schlussfolgerungs-Token erzeugt und diese dann für die endgültige Ausgabe nutzt. Dieser strukturierte Denkprozess macht das Verhalten von Agenten besser nachvollziehbar und zuverlässiger.

Was ist Tracing? Was sind Spannweiten?

Tracing ist der Prozess, bei dem die Abfolge von Ereignissen aufgezeichnet und dargestellt wird, die während eines einzelnen Durchlaufs oder Aufrufs einer Anwendung passieren. Bei LLM-Anwendungen zeigt ein Trace den kompletten Ablauf der Interaktionen – wie mehrere Modellaufrufe, Tool-Nutzung oder Entscheidungspunkte – innerhalb eines Ausführungsablaufs.

Eine Spanne ist ein einzelnes Ereignis oder eine einzelne Operation innerhalb dieser Ablaufverfolgung. Zum Beispiel würde ein Modellaufruf, ein Funktionsaufruf oder ein Abrufschritt jeweils als einzelner Span aufgezeichnet werden. Zusammen helfen dir Spans, die Struktur und das Verhalten deiner Anwendung zu verstehen.

Tracing und Spans sind super wichtig für das Debuggen und Optimieren von agentenbasierten Systemen. Sie machen es einfacher, Fehler, Latenzengpässe oder ungewolltes Verhalten zu erkennen. Tools wie Arize Phoenix und andere bieten visuelle Schnittstellen, um Traces und Spans im Detail zu checken.

Was sind Bewertungen? Wie beurteilst du die Leistung und Robustheit eines agentenbasierten KI-Systems?

Evaluierungen sind im Grunde genommen die Unit-Tests der agentenbasierten KI-Entwicklung. Sie helfen Entwicklern dabei, zu checken, wie gut das System in verschiedenen Szenarien und Randfällen funktioniert. Es gibt ein paar Arten von Bewertungen, die heutzutage oft benutzt werden. Ein Ansatz ist, einen handgefertigten Ground-Truth-Datensatz zu nutzen, um die Ergebnisse des Modells mit den bekannten richtigen Antworten zu vergleichen.

Ein anderer Ansatz ist, ein LLM als Richter einzusetzen, um die Qualität, Genauigkeit oder Argumentation hinter den Antworten des Modells zu checken. Einige Bewertungen checken, ob die Aufgabe insgesamt gut geklappt hat, während andere sich auf einzelne Teile wie den Einsatz von Werkzeugen, die Planung oder die Beständigkeit konzentrieren. Wenn man diese regelmäßig durchführt, kann man Rückschritte erkennen, Verbesserungen messen und sicherstellen, dass das System auch während seiner Weiterentwicklung zuverlässig bleibt. Für mehr Infos schau dir mal diesen LLM-Bewertungsleitfaden.

Kannst du uns was über die Transformer-Architektur und ihre Bedeutung für die agentenbasierte KI erzählen?

Die Transformer-Architektur wurde in dem einflussreichen Artikel von 2017 vorgestellt „Attention Is All You Need” vorgestellt. Wenn du es noch nicht gelesen hast, lohnt es sich, es durchzugehen – es hat die Grundlage für fast alle modernen großen Sprachmodelle geschaffen.

Seit der Veröffentlichung wurden viele Varianten und Verbesserungen entwickelt, aber die meisten Modelle, die in agentenbasierten KI-Systemen verwendet werden, basieren immer noch auf einer Form des Transformers.

Ein wichtiger Vorteil des Transformators ist sein Aufmerksamkeitsmechanismus, der es dem Modell ermöglicht, die Relevanz jedes Tokens in der Eingabesequenz für jedes andere Token zu berechnen, solange alles in das Kontextfenster passt. Das sorgt für eine starke Leistung bei Aufgaben, die das Verstehen von weitreichenden Abhängigkeiten oder das Schlussfolgern über mehrere Eingaben hinweg erfordern.

Speziell für agentenbasierte KI ist der Transformer dank seiner Flexibilität und Parallelität super geeignet für komplexe Aufgaben wie Werkzeuggebrauch, Planung und mehrrundige Dialoge – also Kernfunktionen der meisten heutigen agentenbasierten Systeme.

Was ist LLM-Beobachtbarkeit und warum ist sie wichtig?

LLM-Beobachtbarkeit ist die Fähigkeit, das Verhalten von großen Sprachmodellsystemen in Echtzeit zu überwachen, zu analysieren und zu verstehen. Es ist ein Sammelbegriff für Tools wie Traces, Spans und Evals, die Entwicklern helfen, einen Einblick in die interne Funktionsweise des Systems zu bekommen.

Da LLMs oft wie „Black Boxes“ sind, ist es wichtig, dass man sie beobachten kann, um Fehler zu finden, die Leistung zu verbessern und die Zuverlässigkeit sicherzustellen. Damit kannst du verfolgen, wie Modelle miteinander und mit externen Tools interagieren, Fehlerstellen erkennen und unerwartete Verhaltensweisen frühzeitig abfangen. Bei agentenbasierten KI-Systemen, wo mehrere Schritte und Entscheidungen miteinander verknüpft sind, ist Beobachtbarkeit besonders wichtig, um Vertrauen und Kontrolle zu behalten.

Kannst du mir das Feintuning und die Destillation von Modellen erklären?

Modellfeinabstimmung ist der Prozess, bei dem ein vortrainiertes Modell mit einem neuen Datensatz weiter trainiert wird, meistens um es für einen bestimmten Bereich oder eine bestimmte Aufgabe zu spezialisieren. Dadurch kann das Modell sein Verhalten und seine Reaktionen auf der Grundlage gezielterer oder aktualisierter Kenntnisse anpassen.

Modelldestillation ist eine ähnliche Technik, bei der ein kleineres oder weniger leistungsfähiges Modell anhand der Ergebnisse eines größeren, leistungsstärkeren Modells trainiert wird. Das Ziel ist, Wissen und Verhalten vom größeren Modell auf das kleinere zu übertragen, was oft zu schnelleren und effizienteren Modellen mit vergleichbarer Leistung führt. Seit Deepseek R1 rausgekommen ist, wurden zum Beispiel viele kleinere Modelle aus seinen Antworten entwickelt, die für ihre Größe echt beeindruckend gut sind.

Was ist die nächste Aufgabe zur Token-Vorhersage und warum ist sie wichtig? Was sind Assistenzmodelle?

Die nächste Token-Vorhersage, auch bekannt als autoregressives Sprachmodell, ist die wichtigste Trainingsaufgabe bei den meisten großen Sprachmodellen. Das Modell ist so trainiert, dass es das nächste Wort in einer Sequenz vorhersagt, wenn man alle vorherigen Wörter hat. Dieses einfache Ziel lässt das Modell Grammatik, Fakten, Denkweisen und sogar ein paar Planungsfähigkeiten lernen. Das Ergebnis dieser ersten Trainingsphase nennen wir einBasis- -Modell.

Die Hilfsmodelle sind Basisversionen, die noch besser gemacht wurden, damit sie hilfreicher, sicherer und gesprächiger sind. Diese Feinabstimmung nutzt normalerweise Techniken wie überwachte Anweisungsanpassung und verstärktes Lernen mit menschlichem Feedback (RLHF), die das Modell so steuern, dass es eher wie ein Assistent reagiert, anstatt nur Text zu vervollständigen.

Was ist der Human-in-the-Loop-Ansatz (HITL)?

Der Human-in-the-Loop-Ansatz (HITL) bedeutet, dass Menschen beim Training, bei der Bewertung oder beim Echtzeit-Einsatz eines LLM- oder agentenbasierten KI-Systems mitmachen. Menschen können in verschiedenen Phasen eingreifen – beim Modelltraining (z. B. beim Beschriften von Daten oder beim Bewerten von Antworten), beim Feinabstimmen (wie bei RLHF) oder sogar während der Ausführung, wo jemand die Aktionen eines Agenten anleiten oder genehmigen kann.

Wenn dich zum Beispiel ein Chatbot bittet, die bessere von zwei Antworten auszuwählen, bist du aktiv an einem HITL-Prozess beteiligt. Dieser Ansatz hilft dabei, die Qualität, Sicherheit und Ausrichtung von Modellen zu verbessern, indem menschliches Urteilsvermögen einbezogen wird, wo die Automatisierung allein nicht ausreicht.

Fazit

In diesem Artikel haben wir uns mit verschiedenen Interviewfragen beschäftigt, die bei einem Vorstellungsgespräch zum Thema agentenbasierte KI auftauchen könnten, und Strategien vorgestellt, wie man diese Fragen durchdenken, recherchieren und effektiv beantworten kann. Für weiterführende Studien empfehle ich, die im Artikel genannten Referenzen zu checken und einen Blick auf die KI-Kurse von DataCamp zu diesem Thema für ein strukturierteres Lernen.