Hoe word je prompt engineer: een complete gids

Generatieve AI heeft de manier waarop we met kunstmatige intelligentie omgaan en erover denken, veranderd. Met conversatie-AI zoals ChatGPT en Claude van Anthropic hoef je alleen maar een paar prompts in te typen en het AI-model reageert meestal precies met de informatie waar je om vroeg. De vraag is nu: wie zijn de professionals die deze uitzonderlijke AI-modellen maken?

ML-engineers, AI-engineers, data scientists en natuurlijk prompt engineers doen voortdurend onderzoek en brengen ongelooflijke AI-mogelijkheden op tafel. Een carrière starten als prompt engineer zou dus weleens het volgende grote ding kunnen zijn, net zoals softwareontwikkelaar zijn dat was in de vroege jaren 2000.

Of je nu al een dataprofessional bent of AI je passie is, deze gids is voor jou. In dit artikel geven we stapsgewijze instructies over hoe je prompt engineer wordt. Laten we erin duiken!

Wat doet een prompt engineer?

Iedereen zonder technische achtergrond kan vandaag de dag naar ChatGPT gaan en ergens om vragen. Waarom hebben we dan prompt engineers nodig? Prompt engineers weten hoe ze het AI-model moeten aansturen om nauwkeurige uitkomsten te genereren. Ze formuleren de juiste vragen en creëren triggerende prompts zodat het model de beste resultaten oplevert.

Stel, je hebt Python-code nodig om een loginpagina te ontwikkelen. Je zou GPT dan kunnen vragen: “Schrijf Python-code om een loginpagina te maken”, maar iemand die kan prompten formuleert het zo: “Doe alsof je een Python-ontwikkelaar bent en laat een junior ontwikkelaar zien hoe je een loginpagina maakt met invoervelden voor gebruikersnaam en wachtwoord en een inlogknop.” Dat is de kern van het vak, en je leert er meer over in onze cursus Understanding Prompt Engineering.

Prompt engineers doen ook veel technisch werk rond large language models. Ze testen en fine-tunen AI-modellen met behulp van prompts. Het proces omvat het volgen van het gedrag van een AI-model door zijn reacties op verschillende prompts te analyseren. Vervolgens zoeken ze naar patronen en biases, voeren A/B-tests uit op de outputdata en verfijnen ze prompts om beperkingen te adresseren. Evenzo moeten ze de beperkingen en sterke punten van het model begrijpen en prompts iteratief verbeteren op basis van modelreacties.

Kortom, prompt engineers zijn de sleutelfiguren bij het optimaliseren van het hele promptgeneratieproces van AI voor maatwerktoepassingen.

Verantwoordelijkheden van een prompt engineer

Hier is een samenvatting van wat een prompt engineer dagelijks doet: 

• Effectieve prompts maken: Precieze en contextueel passende prompts ontwikkelen om de gewenste reacties van AI-modellen uit te lokken.
• AI-gedrag testen: Analyseren hoe modellen reageren op verschillende prompts en patronen, biases of inconsistenties in de gegenereerde outputs identificeren.
• Prompts verfijnen en optimaliseren: Prompts continu verbeteren via iteratief testen om de nauwkeurigheid en betrouwbaarheid van modelreacties te verhogen.
• A/B-tests uitvoeren: De effectiviteit van verschillende prompts vergelijken en ze verfijnen op basis van gebruikersfeedback en prestatiecijfers.
• Promptframeworks documenteren: Bibliotheken maken met herbruikbare, geoptimaliseerde prompts voor specifieke use-cases of sectoren.
• Samenwerken met stakeholders: Werken met developers, productteams en klanten om AI-outputs af te stemmen op bedrijfs- of projectdoelen.
• AI-modellen fine-tunen: Voorgetrainde AI-modellen aanpassen om hun gedrag te verbeteren voor specifieke toepassingen, met gerichte prompts tijdens het trainingsproces.
• Ethisch AI-gebruik borgen: Biases in prompts en outputs identificeren en beperken om eerlijkheid, inclusiviteit en naleving van ethische richtlijnen te waarborgen.
• Gebruikers trainen en voorlichten: Eindgebruikers en teams helpen best practices te begrijpen voor effectieve interactie met AI-modellen.

Table: Comparison of Key Roles in AI

Hoe word je prompt engineer

Prompt engineer worden is een slimme carrièrezet, zeker omdat Gen AI een van de snelst groeiende technologieën is, met aanzienlijke groei in de komende tien jaar en een verwachte marktwaarde van $356,10 mrd in 2030. Hier volgt een deep dive in hoe je AI-prompt engineer wordt.

Leer de basis

1. Beheers Python

Prompt engineers hebben een solide beheersing van programmeren in Python nodig. Kunnen coderen in Python stelt je in staat om NLP en deep-learningmodellen snel te leren.

Als prompt engineer bouw je misschien niet zelf een volledig language model. Maar voor sommige hoogbetaalde prompt engineering-functies wordt verwacht dat je de data analyseert die door language models wordt gegenereerd en daar inzichten uit haalt om het model te verbeteren. En als het om dataverwerking gaat, steekt Python erbovenuit.

Volg deze stappen om Python te leren voor prompt engineering:

• Leer de syntaxis
• Verken de libraries NumPy, Pandas, Matplotlib en Scikit-learn
• Ga hands-on met NLTK, spaCy, TextBlob en andere natural language-libraries
• Oefen met data-analyse
• Leer over machinelearningmodellen
• Oefen met Python coderen

2. Begrijp de basis van AI

Begin je professionele reis door je vertrouwd te maken met de technologie die je gaat gebruiken. In dit geval moet je eerst begrijpen wat AI is en vervolgens de deelgebieden verkennen. Het basisidee achter artificial intelligence (AI) is behoorlijk fascinerend: machines slim laten handelen, vergelijkbaar met mensen, om specifieke taken uit te voeren.

Machine learning, natural language processing, data science, deep learning en vele andere deelgebieden maken deel uit van dit grotere AI-domein. Begin met een overzicht van elk van deze technologieën en weet hoe ze van elkaar verschillen.

Bekijk de onderstaande resources om de basis van AI te leren:

• AI Fundamentals Skill Track: Hier leer je de basis van AI, LLM's zoals ChatGPT, Gen AI-concepten en een overzicht van machine learning.
• Understanding Artificial Intelligence Course: Dit behandelt AI in het dagelijks leven, AI op het werk, organisaties die AI integreren en generatieve AI-modellen.

Large language models hebben een sterke relatie met deep learning en NLP. Hoewel niet alle prompt engineers een AI-model vanaf nul bouwen, wordt verwacht dat ze sterke NLP- en deep-learningvaardigheden hebben om het language model dat ze prompten te begrijpen.

3. Leer over NLP

Natural language processing is op dit moment een van de hotste onderwerpen in AI. Het stelt computers in staat menselijke talen te lezen en te interpreteren. Bovendien maakt het het mogelijk dat machines mensachtige reacties in natuurlijke taal genereren.

Daarnaast helpt NLP je bij het ontwerpen van triggerende prompts die een AI-model sturen naar gerichte outputs. Als prompt engineer is NLP dus iets wat je moet beheersen. Verken NLP-libraries zoals NLTK, spaCy en Transformers om klaar te zijn voor het werken met taaldata.

Begin met het beheersen van basis-tekstverwerking en ga dieper in op technieken zoals tokenization, sentimentanalyse en tekstsamenvatting.

Hier zijn enkele van de beste NLP-gerelateerde artikelen en cursussen:

• What is Natural Language Processing?
• Introduction to Natural Language Processing in Python
• Natural Language Processing Skill Track

4. Beheers deep learning en Transformer-modellen

Als je werkt aan je ontwikkeling tot prompt engineer, kom je vaak large language models tegen zoals GPT, Gemini, LLaMA 3 en meer. Deze LLM's zijn niets anders dan opgeschaalde deep-learningmodellen die ontworpen zijn om natuurlijke taal te begrijpen en te genereren. Om er effectief mee om te gaan, heb je een solide begrip van deep-learningconcepten nodig.

ChatGPT is bijvoorbeeld getraind met meer dan 175 miljard neuronen. Om te begrijpen wat deze neuronen zijn en hoe ze worden gevoed, moet je eerst het idee van neurale netwerken kennen, de ruggengraat van veel deep-learningalgoritmen.

Verder weet je misschien dat de ‘T’ in GPT staat voor ‘Transformer’. De populaire large language models, waaronder ChatGPT, zijn gebouwd op de Transformer-architectuur.

Transformer-architecturen gebruiken wat bekendstaat als een “attention-mechanisme” – een techniek om de nauwkeurigheid van modellen te verbeteren door zich te richten op alleen de relevante delen van de invoerdata. Het bestuderen van deze architecturen helpt je effectieve prompts te maken.

Ontwikkel praktische vaardigheden om prompt engineer te worden

Hoewel je niet per se een diploma nodig hebt om in prompt engineering te komen, moet je wel praktische ervaring hebben met bepaalde technische skills. Laten we de talen en technieken verkennen waarin je moet uitblinken.

5. Hands-on met voorgetrainde modellen

Prompt engineers besteden een aanzienlijk deel van hun tijd aan voorgetrainde modellen. Voor het geval je het niet weet: voorgetrainde modellen zijn basis-AI-modellen die uitgebreid getraind zijn op enorme hoeveelheden data. Dit is de allereerste stap bij het bouwen van elk large language model.

Als je prompt engineering echt wilt beheersen, maak je dan vertrouwd met bestaande voorgetrainde modellen zoals GPT-4, Llama 3, Claude 3 en meer. Voer verschillende prompts in en bestudeer hoe ze reageren. Begrijp hun tekstgeneratiecapaciteiten en signaleer beperkingen.

Begrijp bovendien de parameters waarop deze modellen zijn getraind. Soms moet je hun hyperparameters afstellen om specifieke resultaten te behalen.

6. Fine-tunen voor maatwerktoepassingen

Slechts weinig bedrijven kunnen het zich veroorloven om large language models vanaf nul te trainen. Daarom huren anderen jou in als prompt engineer, met de taak om het huidige voorgetrainde model te fine-tunen voor hun specifieke toepassingen.

Een voorgetraind model kan bijvoorbeeld niet meteen een HTML-bestand genereren volgens jouw ontwerpeisen. Maar je kunt het fine-tunen op datasets die specifiek zijn voor UI en HTML om de gewenste outputs te krijgen.

Kortom, een prompt engineer moet elk voorgetraind model kunnen fine-tunen voor specifieke taken. Dit kan door voorgetrainde modellen te voeden met kleine en specifieke datasets.

Datapreprocessing, hyperparameterafstemming en transfer learning zijn onmisbare vaardigheden om zelfstandig een voorgetraind model te fine-tunen.

Onthoud dat de diepgang van deze technische vaardigheden varieert op basis van de eisen van de functie waarop je solliciteert.

Voor juniorrollen zijn meestal alleen NLP-concepten en slimme promptvaardigheden voldoende om binnen te komen. Voor een senior- of hoogbetaalde opdracht is vaak meer diepgaande, hands-on ervaring met NLP-libraries, deep-learningalgoritmen en geavanceerde promptingtechnieken vereist.

Hier zijn enkele uitgebreide gidsen om je te helpen fine-tuning te leren:

• An Introductory Guide to Fine-Tuning LLMs
• Fine-tuning GPT-3 Using the OpenAI API and Python
• Fine-tuning LLaMA 2: A Step-by-Step Guide to Customizing the Large Language Model
• How to Fine Tune GPT 3.5: Unlocking AI's Full Potential
• FLAN-T5 Tutorial: Guide and Fine-Tuning

Prompt engineering-technieken

Verken verschillende promptingtechnieken en leer creatief te schrijven. Zo word je beter in het maken van prompts.

7. Beheers het maken van prompts

Language models leveren resultaten op basis van de input die je geeft. Als je een AI-model precies kunt uitleggen wat je wilt en het kunt afstemmen om de gewenste outputs te produceren, dan is dat het; dan mag je jezelf prompt engineer noemen.

Heldere prompts schrijven en bestaande prompts verbeteren zijn twee van de belangrijkste taken van prompt engineers. Ze moeten vragen en zinnen formuleren die een AI-model naar relevante antwoorden sturen.

Hiervoor moet je goed kunnen schrijven. Een tip om betere prompts te schrijven, is om context en instructies toe te voegen. Maar om een meester in prompt engineering te worden, moet je enkele geavanceerde prompt engineering-technieken leren, zoals we in de volgende sectie behandelen.

8. Geavanceerde promptingtechnieken

We hebben je al aangeraden om te experimenteren met voorgetrainde modellen, en dat is het herhalen waard. Gebruik DALL-E, GPT-2, GPT-3 of BERT om verschillende promptingtechnieken te oefenen en te zien hoe ze zich gedragen.

Er zijn verschillende strategieën voor modelprompting, zoals zero-shot prompting, one-shot prompting, iteratief prompten en nog veel meer. Je kunt deze promptingtechnieken leren en oefenen om een uitzonderlijke prompt engineer te worden.

Om niets te missen, leer over LangChain. We hebben een complete gids over LangChain voor prompt engineers, maar in het kort: LangChain is een framework om de nauwkeurigheid en relevantie van modeloutputs te maximaliseren.

Loopbaanontwikkeling en toepassingen in de praktijk

Hoewel een diploma in een relevant vakgebied zoals computer science of engineering een plus is, is het niet de enige route. Je kunt prompt engineer worden zonder diploma door certificeringscursussen te volgen, aan real-world projecten te werken en continu te blijven leren. Laten we in elke stap duiken om je carrière in prompt engineering vorm te geven.

9. Real-world projecten en portfolio-opbouw

Met een duidelijk beeld van AI-technologie en de bovenstaande skills kun je je nieuwe expertise gaan toepassen op real-world projecten. Of je nu een werkende professional of een student bent, meld je aan voor projecten die prompt engineering nodig hebben.

Hier zijn enkele mooie AI-projecten waarmee je kunt beginnen:

• 7 AI Projects for All Levels
• 5 Projects You Can Build with Generative AI Models
• 7 NLP Projects for All Levels

Als je project een voorgetraind model gebruikt, zorg dan dat je technisch begrijpt hoe het is gebouwd en hoe het zich gedraagt. Probeer verschillende manieren uit om het model dingen te laten doen en bekijk hoe het reageert. Gebruik de geavanceerde promptingtechnieken die je hebt geleerd om het model te triggeren. Zo maak je van theorie echte vaardigheden.

Gaandeweg kun je meedoen aan conversatie-AI- en LLM-wedstrijden op platforms als Kaggle om te zien waar je staat ten opzichte van je peers. Onthoud: alles wat je in deze stap doet, kan in je portfolio, waardoor je profiel nog sterker wordt.

Een professioneel portfolio is cruciaal in elke fase van je carrière. Datacamp heeft een eenvoudig te bewerken portfoliobouwer met mooie, kant-en-klare templates. Maak dus gebruik van deze gratis portfoliobouwer om je skills, ervaring, projecten en interesses op een aantrekkelijke manier te tonen.

10. Blijf leren & ga in gesprek met de AI-community

Volg online cursussen; er zijn recent veel prompt-engineeringcursussen bijgekomen. Certificeringscursussen helpen je niet alleen vaardigheden op te doen, maar vormen ook bewijs in je profiel dat je de technologie daadwerkelijk hebt geleerd.

Het is nodig om bij te blijven met de laatste trends, zeker in booming tech zoals OpenAI's Sora. Er is geen betere manier om up-to-date te blijven dan door in contact te zijn met de juiste community. Volg hiervoor toonaangevende prompt-engineeringonderzoekers en -ontwikkelaars op sites als LinkedIn, Medium en Twitter.

Conclusie

Dit is het juiste moment om met Gen AI te beginnen. De techwereld is meer dan ooit op zoek naar prompt engineers om conversatie-AI in hun bedrijf te implementeren.

Het pad naar AI-prompt engineer is zowel lonend als spannend. Iedereen kan prompt engineer worden met de juiste combinatie van technische en niet-technische vaardigheden die in dit artikel zijn genoemd.

Als je serieus bent over je carrière in prompt engineering, bekijk dan de volgende cursussen van Datacamp:

• Understanding Prompt Engineering
• Introduction to ChatGPT
• Large Language Models Concepts
• ChatGPT Prompt Engineering for Developers