Hoe je GPT 3.5 fijn-afstemt: het volledige potentieel van AI ontsluiten

Het nieuwste taalmodel van OpenAI, GPT-3.5 Turbo, is een grote sprong voorwaarts in de mogelijkheden van grote taalmodellen. Gebouwd op de GPT-3-familie kan GPT-3.5 Turbo opmerkelijk mensachtige tekst genereren, terwijl het betaalbaarder en toegankelijker is dan eerdere versies. De echte kracht van GPT-3.5 Turbo zit echter in de mogelijkheid om het te personaliseren via een proces dat fijn-afstemmen heet.

Met fijn-afstemmen kunnen ontwikkelaars hun eigen data gebruiken om het model aan te passen aan specifieke use-cases en de prestaties op gespecialiseerde taken aanzienlijk te verbeteren. Met fijn-afstemmen heeft GPT-3.5 Turbo zelfs op bepaalde smalle toepassingen GPT-4 geëvenaard of overtroffen.

Dit nieuwe niveau van maatwerk ontsluit het potentieel voor bedrijven en ontwikkelaars om GPT-3.5 Turbo in te zetten voor op maat gemaakte, hoogpresterende AI-toepassingen. Nu fijn-afstemmen beschikbaar komt voor GPT-3.5 Turbo en later dit jaar voor het nog krachtigere GPT-4, staan we aan de vooravond van een nieuw tijdperk in toegepaste AI.

Waarom taalmodellen fijn-afstemmen?

Fijn-afstemmen is een cruciale techniek geworden om het maximale uit grote taalmodellen zoals GPT-3.5 Turbo te halen. We hebben bijvoorbeeld een aparte gids over het fijn-afstemmen van GPT-3.

Hoewel voorgetrainde modellen direct al verbazingwekkend mensachtige tekst kunnen genereren, worden hun echte mogelijkheden ontgrendeld door fijn-afstemmen. Het proces stelt ontwikkelaars in staat het model te personaliseren door het te trainen op domeinspecifieke data, zodat het zich kan aanpassen aan gespecialiseerde use-cases die verder gaan dan wat algemene training kan bereiken. Fijn-afstemmen verbetert de relevantie, nauwkeurigheid en prestaties van het model voor nichetoepassingen.

Maatwerk voor specifieke use-cases

Fijn-afstemmen stelt ontwikkelaars in staat het model te personaliseren om unieke en onderscheidende ervaringen te creëren, afgestemd op specifieke vereisten en domeinen. Door het model te trainen op domeinspecifieke data kan het relevantere en nauwkeurigere output voor die niche genereren. Dit niveau van maatwerk stelt bedrijven in staat om op maat gemaakte AI-toepassingen te bouwen.

Betere stuurbaarheid en betrouwbaarheid

Fijn-afstemmen verbetert het vermogen van het model om instructies op te volgen en betrouwbare, consistente outputformattering te produceren. Door te trainen op geformatteerde data leert het model de gewenste structuur en stijl, wat de stuurbaarheid vergroot. Dit resulteert in voorspelbaardere en beter te controleren outputs.

Verbeterde prestaties

Fijn-afstemmen kan de prestaties van het model aanzienlijk verbeteren, waardoor een fijn-afgestelde GPT-3.5 Turbo zelfs de capaciteiten van GPT-4 kan evenaren of overtreffen op bepaalde gespecialiseerde taken. Door het model te optimaliseren voor een smal domein bereikt het superieure resultaten in die niche ten opzichte van een generalistisch model. De prestatiewinst door fijn-afstemmen is substantieel.

Bekijk onze gids over 12 open-source alternatieven voor GPT-4, waarin enkele tools worden besproken die vergelijkbare prestaties kunnen bieden en minder rekenbronnen nodig hebben.

Impact van het fijn-afstemmen van GPT-3.5 Turbo

In de bètatests van OpenAI zagen ze dat klanten die het model fijn-afstemden, duidelijke verbeteringen ervoeren in de prestaties voor verschillende standaardtoepassingen. Enkele belangrijke punten:

1. Verbeterde aanstuurbaarheid

Met fijn-afstemmen kunnen bedrijven het model beter sturen om zich aan bepaalde richtlijnen te houden. Als een bedrijf bijvoorbeeld beknopte antwoorden wil of wil dat het model altijd in een specifieke taal reageert, kan fijn-afstemmen daarbij helpen. Een klassiek voorbeeld is dat ontwikkelaars het model kunnen afstellen om consequent in het Duits te antwoorden wanneer daarom wordt gevraagd.

2. Consistente antwoordstructuur

Een van de opvallendste voordelen van fijn-afstemmen is dat de outputs van het model uniformer worden. Dit is vooral waardevol voor taken die een bepaalde antwoordstructuur vereisen, zoals codesuggesties of het genereren van API-interacties. Met fijn-afstemmen kunnen ontwikkelaars er bijvoorbeeld op vertrouwen dat het model gebruikersvragen omzet in kwalitatieve JSON-formaten die compatibel zijn met hun systemen.

3. Gepersonaliseerde toon

Fijn-afstemmen kan worden gebruikt om de reacties van het model beter te laten aansluiten bij de unieke stem of stijl van een bedrijf. Bedrijven met een uitgesproken merkstem kunnen deze functie benutten om ervoor te zorgen dat de toon van het model past bij de essentie van hun merk.

Vereisten voor fijn-afstemmen

Fijn-afstemmen maakt het mogelijk een voorgetraind taalmodel zoals GPT-3.5 Turbo te personaliseren door het trainingsproces voort te zetten met je eigen data. Dit past het model aan jouw specifieke use-case aan en verbetert de prestaties aanzienlijk.

Om te beginnen met fijn-afstemmen heb je eerst toegang tot de OpenAI API nodig. Na aanmelding op de OpenAI-website kun je een API-sleutel verkrijgen waarmee je met de API en modellen kunt werken.

Vervolgens moet je een dataset voorbereiden voor fijn-afstemmen. Dit houdt in dat je voorbeelden verzamelt van tekstprompts en gewenste modelantwoorden. De data moet overeenkomen met het formaat waarin jouw toepassing het model zal gebruiken. Ook het opschonen en formatteren van de data in de vereiste JSONL-structuur is belangrijk.

De OpenAI CLI biedt handige tools om je trainingsdata te valideren en voor te bewerken.

Na validatie kun je de data uploaden naar de servers van OpenAI.

Tot slot start je via de API een fijn-afstemmingsjob, waarbij je het basis-GPT-3.5

Turbo-model selecteert en je trainingsbestand doorgeeft. Het fijn-afstemmingsproces kan uren of dagen duren, afhankelijk van de omvang van de data. Je kunt de voortgang volgen via de API.

Hoe je het OpenAI GPT-3.5 Turbo-model fijn-afstemt: een stapsgewijze gids

OpenAI heeft recent een UI-interface uitgebracht voor het fijn-afstemmen van taalmodellen. In deze tutorial gebruik ik de OpenAI-UI om een fijn-afgesteld GPT-model te maken. Om dit te volgen heb je een OpenAI-account en -sleutel nodig.

1. Log in op platform.openai.com

2. Bereid je data voor

Ter demonstratie heb ik een kleine dataset met vraag-en-antwoordparen samengesteld, momenteel opgeslagen als een Pandas DataFrame.

Om te laten zien wat ik heb gedaan, heb ik 50 machinelearningvragen en -antwoorden in Shakespeare-stijl gemaakt. Met deze fijn-afstemmingsjob personaliseer ik de stijl en toon van het GPT-3.5-turbo-model.

Hoewel het niet heel praktisch is, omdat je simpelweg “Antwoord in Shakespeare-stijl” aan de prompt kunt toevoegen, is GPT-3.5 zeker bekend met Shakespeare en zal het antwoorden in de gewenste toon genereren.

Voor OpenAI moet de data in jsonl-formaat zijn. JSONL is een formaat waarbij elke regel een geldig JSON-object is, gescheiden door regeleinden. Ik heb eenvoudige code geschreven om pd.DataFrame om te zetten naar jsonl.

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

Zo ziet mijn jsonl-bestand eruit:

3. Maak de fijn-afstemmingsjob

Ga naar platform.openai.com, navigeer naar Fine-tuning in het topmenu en klik op Create New.

Selecteer het basismodel. Op dit moment zijn er slechts 3 modellen beschikbaar voor fijn-afstemmen (babbage-002, davinci-002, gpt-3.5-turbo-0613).

Upload vervolgens het jsonl-bestand, geef de naam van de job op en klik op Create.

De afstemmingsjob kan meerdere uren of zelfs dagen duren, afhankelijk van de grootte van de dataset. In mijn voorbeeld had de dataset slechts 5.500 tokens en duurde het ruim 6 uur om fijn af te stemmen. De kosten van deze job waren verwaarloosbaar (<$1 = 5.500/1000 x $0,08).

Deze tutorial laat zien hoe je de UI kunt gebruiken om GPT-modellen fijn af te stemmen. Wil je leren hoe je hetzelfde doet via de API, bekijk dan de tutorial Fine-tuning van GPT-3 met de OpenAI API en Python van Zoumana Keita op DataCamp.

4. Het fijn-afgestelde model gebruiken

Zodra de afstemmingsjob is voltooid, kun je het fijn-afgestelde model gebruiken via de API of in de playground op platform.openai.com.

Let op: onder het Model-keuzemenu is nu een persoonlijk 3.5-turbo-model beschikbaar om te selecteren. Laten we het proberen.

Let op de toon en stijl van de reacties.

Wil je leren hoe je met het OpenAI Python-pakket programmatic gesprekken voert met ChatGPT, bekijk dan de blog GPT-3.5 en GPT-4 gebruiken via de OpenAI API in Python op DataCamp.

Veiligheid en privacy

OpenAI neemt veiligheid serieus en hanteert strenge processen voordat nieuwe modellen worden vrijgegeven, waaronder tests, feedback van experts, technieken om het modelgedrag te verbeteren en bewakingssystemen. Ze willen krachtige AI-systemen nuttig maken en voorzienbare risico's minimaliseren.

Fijn-afstemmen maakt het mogelijk om modellen zoals GPT-3.5 Turbo te personaliseren, terwijl belangrijke veiligheidsvoorzieningen behouden blijven. OpenAI past op meerdere niveaus ingrepen toe - metingen, modelaanpassingen, beleid, monitoring - om risico's te beperken en modellen te aligneren.

OpenAI verwijdert waar mogelijk persoonlijke informatie uit trainingsdata en heeft beleid tegen het genereren van content met gegevens van privépersonen. Dit vermindert privacyrisico's.

Voor veelvoorkomende use-cases zonder gevoelige data kunnen OpenAI-modellen veilig worden ingezet. Maar voor eigendoms- of gereguleerde data zijn opties zoals data-obfuscatie, private AI-processors of in-house modellen mogelijk geschikter.

Kosten van het fijn-afstemmen van GPT-3.5 Turbo

Er zijn drie soorten kosten verbonden aan het fijn-afstemmen en het gebruik van het fijn-afgestelde GPT-3.5 Turbo-model.

1. Voorbereiding van trainingsdata. Dit omvat het samenstellen van een dataset met tekstprompts en gewenste reacties, afgestemd op jouw specifieke use-case. De kosten hangen af van de tijd en moeite die nodig zijn om de data te verzamelen en te formatteren.
2. Initiële trainingskosten. Deze worden in rekening gebracht per token aan trainingsdata. Tegen $0,008 per 1.000 tokens kost een trainingsset van 100.000 tokens $800 voor de initiële fijn-afstemming.
3. Doorlopende gebruikskosten. Deze worden per token in rekening gebracht voor zowel inputprompts als modeloutputs. Tegen $0,012 per 1.000 inputtokens en $0,016 per 1.000 outputtokens kunnen de kosten snel oplopen, afhankelijk van het gebruik.

Laten we een voorbeeld van een gebruikskosten-scenario bekijken:

• Chatbot met prompts/antwoorden van 4.000 tokens, 1.000 interacties per dag:
  (4.000/1000) inputtokens x $0,012 x 1.000 interacties = $48 per dag
  (4.000/1000) outputtokens x $0,016 x 1.000 interacties = $64 per dag
  Totaal = $112 per dag of $3.360 per maand

• Tekstsamenvattings-API met 2.000 tokens input, 500 verzoeken per dag:
  (2.000/1000) inputtokens x $0,012 x 500 verzoeken = $12 per dag
  (2.000/1000) outputtokens x $0,016 x 500 verzoeken = $16 per dag
  Totaal = $28 per dag of $840 per maand

Opmerking: tokens gedeeld door 1000 omdat de OpenAI-prijzen per 1K tokens worden vermeld.

Leer hoe je ChatGPT gebruikt in een end-to-end datascienceproject in de praktijk. Bekijk Een gids voor het gebruik van ChatGPT voor datascienceprojecten om te leren hoe je ChatGPT inzet voor projectplanning, data-analyse, datapreprocessing, modelselectie, hyperparameter-tuning, het ontwikkelen van een webapp en het deployen op Spaces.

Conclusie

Terwijl we ons verdiepen in de grenzen van wat grote taalmodellen kunnen, springt GPT-3.5 Turbo eruit, niet alleen door de mensachtige tekstgeneratie, maar ook door het transformatieve potentieel dat met fijn-afstemmen wordt ontsloten. Dit maatwerkproces stelt ontwikkelaars in staat de kracht van het model te slijpen voor nichetoepassingen, waardoor superieure resultaten worden behaald die in gespecialiseerde domeinen zelfs die van opvolgers evenaren of overtreffen.

De verbeteringen in aanstuurbaarheid, antwoordstructurering en toonpersonalisatie zijn duidelijk in toepassingen die zijn fijn-afgesteld op specifieke vereisten, waardoor bedrijven unieke, door AI aangedreven ervaringen kunnen bieden. Maar met grote kracht komt ook verantwoordelijkheid. Het is cruciaal om de bijbehorende kosten te begrijpen en rekening te houden met veiligheids- en privacyaspecten bij het implementeren van generatieve AI en taalmodellen.

Verkrijg toegang tot 60+ ChatGPT-prompts voor datasciencetaken met de ChatGPT-cheatsheet voor data science.