Pytania na rozmowie kwalifikacyjnej na stanowisko AI Engineer: czego się spodziewać i jak się przygotować

AI engineer tworzy i wdraża systemy AI w środowiskach produkcyjnych. Przekuwa modele, takie jak LLM-y, w niezawodne aplikacje, które dostarczają wartość biznesową. 

Ta rola z natury różni się od data scientist, który skupia się głównie na analizie danych i modelowaniu eksploracyjnym, oraz oczywiście od badacza uczenia maszynowego, który koncentruje się na postępie teoretycznym i nowych algorytmach.

Dlatego rozmowy kwalifikacyjne na AI engineer kładą nacisk na praktyczne myślenie o systemach, a nie czystą teorię czy modelowanie statystyczne. W tym artykule omówię pytania dotyczące LLM-ów, kluczowych pojęć AI, projektowania systemów, wdrażania i MLOps, kodowania i implementacji oraz scenariuszy z realnego świata.

Pytania dla początkujących AI Engineer

Te podstawowe pytania sprawdzają, czy rozumiesz słownictwo i rozróżnienia, które kształtują sposób budowania i omawiania systemów AI.

Jaka jest różnica między modelem AI a modelem uczenia maszynowego?

Model AI to każdy system wykonujący zadania, które w dużej mierze wymagają ludzkiej inteligencji, w tym podejścia oparte na regułach czy symboliczne. Model uczenia maszynowego to z kolei podzbiór, który uczy się wzorców bezpośrednio z dostarczonych danych.

W praktyce produkcyjnej AI engineer najczęściej pracuje z modelami ML, zwłaszcza LLM-ami, ale musi też integrować komponenty nie-ML, takie jak silniki reguł czy grafy wiedzy, gdy są potrzebne do uzyskania bardzo niezawodnych wyników.

Czym jest LLM?

Duży model językowy to, jak sama nazwa wskazuje, duża, oparta na transformatorze sieć neuronowa trenowana na ogromnych korpusach tekstu do generowania spójnych wypowiedzi. W systemach produkcyjnych LLM-y pełnią rolę silnika rozumowania stojącego za chatbotami, narzędziami do streszczania i agentami.

Czym jest tokenizacja?

Tokenizacja przekształca surowy tekst w numeryczne tokeny, które model może przetwarzać. Bezpośrednio wpływa na koszt, długość kontekstu i to, jak model postrzega tekst w ogóle. Innymi słowy, segmentom tekstu przypisywane są identyfikatory liczbowe, zwane tokenami, aby tekst był gotowy do podania modelowi. Systemy produkcyjne używają tokenizatorów podwyrazowych, takich jak BPE, i monitorują liczbę tokenów, by kontrolować koszty API i opóźnienia.

Czym jest prompt?

Prompt to tekst wejściowy podawany LLM-owi, aby uzyskać wynik. Zwykle jest to zaprojektowany artefakt zawierający instrukcje, czasem przykłady, oraz pełny kontekst, by zmaksymalizować dostosowalność LLM-a.

Jaka jest różnica między inferencją a treningiem?

Trening aktualizuje wagi modelu, natomiast inferencja generuje wyniki z wytrenowanego modelu. AI engineer skupia się głównie na optymalizacji i skalowaniu inferencji.

Czym jest system AI oparty na API?

Korzysta z wytrenowanych wcześniej modeli poprzez chmurowe endpointy, takie jak OpenAI czy Anthropic, aby zmniejszyć narzut infrastrukturalny, jednocześnie wymagając zarządzania promptami i kosztami.

Jaka jest różnica między fine-tuningiem a promptowaniem?

Promptowanie zmienia zachowanie w czasie inferencji. Fine-tuning natomiast aktualizuje wagi modelu, co jest wolniejsze, ale zazwyczaj prowadzi do bardziej spersonalizowanych dużych modeli językowych. Dlatego promptowanie jest szybsze i tańsze w większości zastosowań produkcyjnych.

Czym jest retrieval-augmented generation (RAG)?

RAG pobiera istotne dokumenty z przypisanej przez ciebie bazy wiedzy i dodaje je do promptu. Dzięki temu LLM wykorzystuje te dodatkowe, zweryfikowane dane, aby przewidywać bardziej wiarygodne informacje i ograniczać halucynacje.

Pytania o kluczowe pojęcia dla AI Engineer

Poza definicjami, rekruterzy chcą zobaczyć, że rozumiesz mechanikę stojącą za osadzeniami (embeddings), ewaluacją i uporczywym problemem halucynacji.

Czym są embeddings i do czego się ich używa?

Embeddings to gęste wektoryczne reprezentacje oddające znaczenie semantyczne. Pomagają w wyszukiwaniu semantycznym i retriwalu w bazach wektorowych. Możesz myśleć o embeddingu jak o odwzorowaniu, które bierze wejście numeryczne i przypisuje mu wektor o wysokim wymiarze w innym, bardziej reprezentatywnym przestrzeni.

Jak ocenić system z dużym modelem językowym?

Połącz metryki automatyczne, takie jak wierność i trafność, z oceną ludzką i KPI biznesowymi. W produkcji potrzebujemy zasadniczo ciągłego potoku ewaluacyjnego.

Co powoduje halucynacje w LLM-ach?

Luki w danych treningowych i nadmierna pewność wynikająca z przewidywania kolejnego tokena mogą zmuszać model do przewidywania tokenów bez wystarczającego ugruntowania, co określa się jako halucynacje.

Jak ograniczyć halucynacje?

RAG to jedna z najbardziej niezawodnych i wydajnych metod, ponieważ zapewnia ugruntowanie w zaufanych źródłach, które dostarczasz. Połączenie tego ze strukturalnymi formatami wyjścia, kontrolą spójności i fact-checkingiem dodatkowo redukuje halucynacje.

Pytania o LLM i generatywną AI

Ta sekcja zagłębia się w architekturę i zachowanie samych modeli — od mechanizmu uwagi po projektowanie promptów.

Jak w dużym skrócie działają transformatory?

Przetwarzają równolegle, używając mechanizmu self-attention zamiast rekurencji. Współczesne duże modele językowe to modele wyłącznie dekoderowe, które przewidują tokeny autoregresywnie.

Czym jest attention?

Attention oblicza ważoną istotność między tokenami, umożliwiając zależności dalekiego zasięgu niezależnie od ich położenia. 

Czym jest okno kontekstu?

Maksymalna liczba tokenów, które model może przetworzyć w jednym wywołaniu inferencji. Ogranicza projektowanie promptów i zarządzanie historią rozmów.

Czym jest temperatura w generowaniu?

Kontroluje losowość próbkowania: niższe wartości dają bardziej deterministyczne wyniki, a wyższe zwiększają kreatywność. W systemach produkcyjnych dostraja się ją pod konkretny przypadek użycia, by zrównoważyć niezawodność i różnorodność.

Czym jest inżynieria promptów?

Systematyczne projektowanie, testowanie, weryfikacja, strojenie i iteracja promptów, aby uzyskać możliwie najbardziej niezawodne zachowanie. W produkcji prompty wersjonuje się razem z kodem i mocno zależą one od konkretnego modelu, a nie od generycznego szablonu.

Czym się różnią prompty systemowe od użytkowych?

Prompty systemowe definiują rolę, ograniczenia i format wyjścia rozmowy, a prompty użytkowe zawierają konkretne zapytanie.

Czym jest użycie narzędzi lub wywoływanie funkcji?

Pozwala dużemu modelowi językowemu wywoływać zewnętrzne narzędzia, które udostępnisz, takie jak API i bazy danych, oraz poprawnie formatować wywołania. To główna idea stojąca za agentami wieloetapowymi.

Jak chain-of-thought prompting poprawia wyniki?

Instruuje model, by przed odpowiedzią końcową wygenerował pośrednie kroki rozumowania, co poprawia dokładność przy złożonych zadaniach.

Pytania o projektowanie systemów dla AI Engineer

Pytania o projektowanie systemów sprawdzają, czy potrafisz przełożyć wiedzę o LLM-ach na pełne architektury, które obsługują prawdziwych użytkowników i realne ograniczenia.

Zaprojektuj chatbota korzystającego z LLM. 

Frontend, pamięć rozmowy, orkiestracja promptów, wywołanie API LLM, walidacja wyjścia, logowanie, ograniczanie liczby żądań i śledzenie kosztów.

Zaprojektuj system wyszukiwania dokumentów z użyciem embeddings.

 Pobieranie i dzielenie dokumentów → osadzanie → zapis w bazie wektorowej z metadanymi → embedding zapytania → wyszukiwanie semantyczne (lub hybrydowe) → wyniki posortowane według rangi.

Zaprojektuj potok RAG. 

Pobieranie i dzielenie → osadzanie i przechowywanie → retriwanie w czasie zapytania z rerankingiem → uzupełnianie promptu → generowanie przez LLM → postprocessing i cytowania.

Jak obsłużyłbyś inferencję przy dużym ruchu? 

Użyj kolejkowania, batchowania, kwantyzacji, skalowania horyzontalnego, cache’owania promptów i równoważenia obciążenia, dotrzymując SLA opóźnień.

Jak zmniejszyłbyś opóźnienia w systemie AI? 

Zastosuj kompresję promptów, cache, mniejsze lub destylowane modele, dekodowanie spekulatywne i akcelerację sprzętową.

Jak oceniałbyś i monitorował wyniki? 

Loguj żądania/odpowiedzi, uruchamiaj automatyczne oceny jakości, próbkuj do przeglądu przez ludzi, śledź metryki biznesowe i ustawiaj alerty degradacji.

Pytania o wdrażanie i MLOps dla AI Engineer

Gdy system jest zaprojektowany, rekruterzy chcą wiedzieć, że potrafisz go faktycznie dostarczyć, monitorować i utrzymać w niezawodnym działaniu.

Jak wdrożyć aplikację opartą na LLM? 

Skonteneryzuj z FastAPI, integruj przez SDK lub samodzielnie hostowane serwery jak vLLM, orkiestruj z Kubernetes lub serverless i używaj CI/CD dla promptów i kodu.

Jak obsługujesz wersjonowanie modeli? 

Wersjonuj prompty, modele embeddingów i adaptery po fine-tuningu, używając LangChain Hub, MLflow lub Hugging Face.

Jak monitorujesz wydajność modelu w produkcji? 

Śledź opóźnienie, przepustowość, koszty, odsetek błędów i jakość wyjść za pomocą Prometheusa, Grafany i evaluatorów LLM.

Czym jest drift modelu w systemach AI?

Degradacja spowodowana zmianami w rozkładzie wejść, zachowaniu użytkowników lub źródłach danych. Objawia się spadkiem trafności lub wzrostem halucynacji.

Jak skalujesz inferencję? 

Stosuj ciągłe batchowanie, kwantyzację 4/8-bit, paralelizm modelu i silniki takie jak vLLM czy TGI.

Jakie narzędzia służą do wdrażania AI? 

Docker/Kubernetes, vLLM lub Text Generation Inference, bazy wektorowe jak Pinecone czy Weaviate, LangSmith oraz platformy chmurowe jak AWS Bedrock, Azure OpenAI czy GCP Vertex AI.

Pytania scenariuszowe dla AI Engineer

Te pytania symulują prawdziwe incydenty produkcyjne, by zobaczyć, jak rozumujesz podczas debugowania i łagodzenia problemów pod presją.

Twój chatbot oparty na LLM udziela błędnych odpowiedzi. Co robisz?

Sprawdziłbym prompty i historię, aby wzmocnić ugruntowanie RAG, dodał walidację wyjścia i wdrożył pętle informacji zwrotnej od użytkowników.

Opóźnienia nagle rosną. Jak to zdebugujesz?

Profilowałbym wolumen tokenów, limity żądań, sieć, kolejki i kondycję endpointów, używając śledzenia end-to-end.

Koszty w produkcji rosną skokowo. Jakie jest twoje podejście?

Przeanalizuj użycie tokenów, dodaj cache, skróć prompty, kieruj żądania do tańszych modeli i ustaw automatyczne alerty budżetowe.

Użytkownicy zgłaszają halucynacje. Jak to ograniczysz?

Dodaj cytowania źródeł, wymuś strukturalne wyjścia z walidacją i wprowadź kroki autokrytyki.

Twój system RAG zwraca nietrafne wyniki. Co jest nie tak?

Sprawdź dzielenie, jakość embeddingów, filtry metadanych, progi podobieństwa i reranking retriwalu.

Różnice w rozmowach: AI Engineer vs. Machine Learning Engineer

AI engineer koncentruje się na LLM-ach, inżynierii promptów, RAG, orkiestracji API i aplikacjach skierowanych do użytkowników, podczas gdy machine learning engineer skupia się na trenowaniu modeli, potokach danych i optymalizacji. 

Możesz myśleć o AI engineer jako o software engineerze specjalizującym się w budowaniu funkcjonalnych aplikacji opartych na AI, podczas gdy machine learning engineer bardziej skupia się na badaniu i tworzeniu modeli leżących u podstaw.

Rozmowy zwykle sprawdzają kandydatów z AI pod kątem integracji systemów i niezawodności w produkcji.

Typowe błędy na rozmowach AI Engineer

Nawet mocni kandydaci potrafią potknąć się o kilka powracających pułapek, które sygnalizują brak doświadczenia produkcyjnego.

• Zbytni nacisk na teorię zamiast na rzeczywiste procesy produkcyjne.
• Traktowanie LLM-ów jak czarnych skrzynek bez adresowania promptów lub trybów awarii.
• Ignorowanie kompromisów w projektowaniu systemów, takich jak opóźnienie vs dokładność vs koszt.
• Pomijanie praktyk monitorowania i iteracji.
• Brak konkretnych przykładów z wdrożonych projektów.

Jak przygotować się do rozmów na AI Engineer

Skoncentrowany plan przygotowań powinien budować praktyczne umiejętności równolegle z wiedzą koncepcyjną omówioną powyżej.

• Zbuduj i wdroż dwa end-to-end projekty z LLM, np. chatbota RAG i aplikację do analizy dokumentów.
• Przećwicz pełne omówienia projektowania systemu — od wejścia po monitorowane wyjście.
• Zdobądź praktykę z Dockerem, Kubernetesem, vLLM, LangChain/LlamaIndex i bazami wektorowymi.
• Opanuj integrację z API, parsowanie strukturalne i tracing.
• Prowadź aktywne projekty i staraj się śledzić aktualności z inżynierii AI nastawionej na produkcję.

Wnioski

Inżynieria AI polega na budowaniu niezawodnych systemów. Najczęstsze rozmowy sprawdzają rozwiązywanie problemów z realnego świata — od architektury, przez wdrożenie, po myślenie systemowe. 

Dobre, praktyczne doświadczenie produkcyjne to najsilniejszy wyróżnik. Skup się na dostarczaniu mierzalnej wartości, a wyróżnisz się jako mocny kandydat.