Aan de slag met Claude 2 en de Claude 2 API

Als je een natuurlijker klinkend en zeer nauwkeurig taalmodel in je applicatie wilt integreren, is Claude 2 van Anthropic je beste keuze. Het biedt een publieke chatapplicatie (vergelijkbaar met ChatGPT), een API en een playground voor verschillende modelversies.

Leer de verschillen tussen de antwoorden van Claude en ChatGPT in de blogpost Claude vs. ChatGPT: welke AI-assistent is in 2023 het beste voor data scientists?

In deze tutorial leren we over de Claude 2X-modellen en hoe je er toegang toe krijgt via de Python-API. We behandelen het instellen van de API, het doen van basisqueries en het verwerken van antwoorden. Ook leren we over streamingqueries, asynchrone requests en enkele meer geavanceerde functies van de API. Alle broncode voor deze tutorial is beschikbaar in deze DataLab-werkmap; je kunt eenvoudig een kopie maken om de code te bewerken en uit te voeren, rechtstreeks in de browser, zonder iets op je computer te hoeven installeren.

Aan het einde heb je een goed begrip van hoe je Claude 2 in je eigen applicatie integreert om te profiteren van de geavanceerde natural language-mogelijkheden.

Voor wie nieuw is met generatieve AI helpt onze AI Fundamentals-skilltrack je om nieuwe technologieën en modellen te leren ter voorbereiding op de AI-wereld van morgen.

Basis van Claude 2

Anthropic heeft onlangs Claude 2 gelanceerd, de nieuwste versie van hun large language model. Het presteert beter op meerdere taken met langere en samenhangendere antwoorden. Bovendien wordt het geleverd met API-toegang en een publieke bètasite, beschikbaar op claude.ai.

Afbeelding van claude.ai

Claude 2 staat bekend om natuurlijke conversaties, met verbeterde redeneercapaciteiten, uitgebreid geheugen en contextbewaking, terwijl schadelijke output wordt geminimaliseerd. Het toont verbeteringen in onder andere coderen, wiskundig redeneren en logica.

Zo behaalde Claude 2 bij juridisch redeneren 76,5% op het meerkeuzegedeelte van het Bar-examen, 3,5% hoger dan Claude 1.3. Bij academische toelatingstoetsen scoort Claude 2 boven het 90e percentiel op de lees- en schrijfgedeelten van de GRE, en vergelijkbaar met de mediaan van aanvragers op kwantitatief redeneren.

Introductie van Claude 2.1

Op 21 november 2023 bracht Anthropic Claude 2.1 uit, met merkbare verbeteringen die geavanceerder redeneren mogelijk maken en hallucinaties verminderen. Een belangrijke focus lag op het versterken van betrouwbaarheid door grotere eerlijkheid. Claude 2.1 is nu transparanter over gaten in zijn kennisbasis in plaats van te proberen informatie te verzinnen.

Het wordt geleverd met een groter contextvenster van 200K, waardoor Claude kan verwijzen naar en kruisverwijzingen kan maken in langvormige content zoals onderzoekspapers, om feitelijke consistentie te behouden in lange samenvattingen of analyses.

Claude 2.1 heeft ook experimenteel toolgebruik geïntroduceerd. Hierdoor kan Claude 2 gegevens met hoge nauwkeurigheid ophalen en verwerken uit extra bronnen, functies aanroepen en acties ondernemen.

Claude 2 instellen

Toegang tot de Anthropic API is momenteel beperkt tot een selecte groep personen en organisaties. Als je bij de eersten wilt horen die het uitproberen, kun je het aanvraagformulier op de website invullen. Anthropic verleent geleidelijk toegang om de veiligheid en schaalbaarheid van de API te waarborgen. Houd er rekening mee dat het vanwege het grote aantal aanvragen even kan duren voordat je toegang krijgt tot de API.

Zodra je de goedkeuringsmail van Anthropic ontvangt en je account hebt aangemaakt, word je doorgestuurd naar het dashboard. Het dashboard bevat een link naar de workbench, vergelijkbaar met OpenAI Playground, waar je tussen verschillende modellen kunt schakelen en de antwoorden kunt analyseren. Daarnaast vind je er links om API-sleutels te genereren en documentatie.

Afbeelding van Dashboard

Om een API-sleutel te maken, klik je op de knop "Get API Keys" en voer je de naam van de sleutel in. Daarna ontvang je een sleutel die je kunt gebruiken om antwoorden te genereren met de Claude 2 API.

Afbeelding van Anthropic

Om een API-sleutel als omgevingsvariabele in te stellen, kun je een Bash-commando gebruiken of het instellen in een DataLab-werkmap. Start eerst een nieuwe werkmap en ga vervolgens naar de knop "Environment" in het linkerpaneel. Klik op de plusknop en voeg de naam en waarde van de variabele toe. Klik ten slotte op opslaan om de wijzigingen toe te passen.

Afbeelding van DataLab

Opmerking: je kunt de API-sleutel rechtstreeks in de Python-functie gebruiken, maar dat wordt om veiligheidsredenen sterk afgeraden.

Om in Python toegang te krijgen tot de Anthropic API, moet je eerst de Anthropic SDK voor Python installeren met PIP.

pip install anthropic

Toegang tot de Claude 2 API

In dit deel leren we de Anthropic API aan te spreken om een antwoord te genereren met het Claude 2.1-model. Je kunt meekoden door een kopie van deze werkmap te maken: Aan de slag met Claude 2 en de Claude 2 API.

We laden os om toegang te krijgen tot de API-sleutel en de bibliotheek anthropic om met de API-sleutel de conversationele AI-pijplijn op te zetten.

from anthropic import Anthropic, HUMAN_PROMPT, AI_PROMPTimport osanthropic_api_key = os.environ["ANTHROPIC_API_KEY"]anthropic = Anthropic(    api_key= anthropic_api_key,)

De "HUMAN_PROMPT" en "AI_PROMPT" zijn in feite strings om de juiste promptstructuur voor de generatiepijplijn te maken.

We genereren nu het antwoord door de modelversie, maximale tokenlengte en prompt op te geven. Zorg dat je prompt het Claude 2X-sjabloon volgt.

completion = anthropic.completions.create(    model="claude-2.1",    max_tokens_to_sample=350,    prompt=f"{HUMAN_PROMPT} How do I learn Python in a week?{AI_PROMPT}",)print(completion.completion)

We kregen een uitstekend resultaat. Claude 2.1 geeft ons een gedetailleerd plan om in een week Python te leren.

Anthropic ondersteunt zowel synchrone als asynchrone API-requests.

Synchrone API's voeren requests sequentieel uit en blokkeren totdat een antwoord is ontvangen voordat de volgende call wordt aangeroepen. Asynchrone API's daarentegen staan meerdere gelijktijdige requests toe zonder te blokkeren en verwerken antwoorden zodra ze binnenkomen. Dit maakt asynchrone API's efficiënter en beter schaalbaar dan synchrone.

Om de API asynchroon aan te roepen, importeer je AsyncAnthropic in plaats van Anthropic. Definieer een functie met async-syntaxis en gebruik await bij elke API-call.

from anthropic import AsyncAnthropicanthropic = AsyncAnthropic()async def main():    completion = await anthropic.completions.create(        model="claude-2.1",        max_tokens_to_sample=300,        prompt=f"{HUMAN_PROMPT}How many moons does Jupiter have?{AI_PROMPT}",    )    print(completion.completion)await main()

We kregen een bijna correct resultaat. Sommige bronnen zeggen 79, maar NASA zegt dat Jupiter 95 manen heeft.

Opmerking: Gebruik asyncio.run(main()) in plaats van await main() wanneer je de code uitvoert in een Python-.py-bestand in plaats van in een Jupyter Notebook.

LLM-streaming met Claude 2

Streaming is een essentiële techniek geworden voor large language models en biedt meerdere voordelen ten opzichte van traditionele verwerkingsmethoden. In plaats van te wachten op het volledige antwoord, maakt streaming het mogelijk om output te verwerken zodra die beschikbaar komt. Deze aanpak vermindert de waargenomen latentie door de output van het taalmodel token voor token terug te geven, in plaats van in één keer.

Om streaming te activeren, zet je het argument 'stream' op `True` in de completion-functie.

anthropic = Anthropic()stream = anthropic.completions.create(    prompt=f"{HUMAN_PROMPT}Could you please write a Python code to train a simple classification model?{AI_PROMPT}",    max_tokens_to_sample=350,    model="claude-2.1",    stream=True,)for completion in stream:    print(completion.completion, end="", flush=True)

Het lijkt erop dat we het antwoord regel voor regel veel sneller ontvangen, alsof Claude 2.1 het aan het typen is.

Op dezelfde manier kunnen we streaming ook in `async`-modus draaien. Let op dat we alleen `await` vóór de completion-functie en `async` vóór de for-loop hebben toegevoegd.

anthropic = AsyncAnthropic()stream = await anthropic.completions.create(    prompt=f"{HUMAN_PROMPT}Please write a blog post on Neural Networks and use Markdown format. Kindly make sure that you proofread your work for any spelling, grammar, or punctuation errors.{AI_PROMPT}",    max_tokens_to_sample=350,    model="claude-2.1",    stream=True,)async for completion in stream:    print(completion.completion, end="", flush=True)

Onze generatieve AI levert goed werk door een degelijke blog te schrijven.

Bekijk ook de lijst met 7 essentiële generatieve AI-tools die je kunnen helpen volledig functionele, contextbewuste chatbotapplicaties te bouwen.

Geavanceerde functies en aanpassingen

De Anthropic API biedt verschillende geavanceerde functies en aanpassingsmogelijkheden naast het genereren van basisantwoorden:

• Foutafhandeling: Specifieke exception-typen zoals APIConnectionError en APIStatusError maken het mogelijk om verbindingsproblemen en HTTP-fouten netjes af te handelen.
• Standaardheaders: De header anthropic-version wordt automatisch verzonden om de client te identificeren. Dit kan worden aangepast door het argument default_headers in het anthropic-object te wijzigen.
• Logging: Debuglogging kan worden ingeschakeld door de omgevingsvariabele ANTHROPIC_LOG te zetten. Dit helpt bij het troubleshooten.
• HTTP-client: De HTTPX-client die de requests aandrijft, kan worden geconfigureerd voor proxies, transports en extra geavanceerde functionaliteit.
• Resourcemanagement: Je kunt de client handmatig sluiten met de methode .close() of met een contextmanager die automatisch sluit bij het verlaten.
• Prompttechnieken: De API-documentatie biedt meerdere trefwoorden om je input te optimaliseren voor tekst, gestructureerde documenten, codefragmenten en RAG-resultaten.
• Promptvalidatie: de API voert basis-sanitatie en validatie van prompts uit om te zorgen dat deze geoptimaliseerd zijn voor het Claude 2-model.

Wil je meer weten over geavanceerde functies, bekijk dan de documentatie van de Anthropic API.

Praktische toepassingen van de Claude 2 API

De Claude 2 API kent brede praktische toepassingen in veel sectoren en domeinen. Bij contentcreatie en copywriting kan het helpen bij het opstellen van hoogwaardige artikelen, marketingmateriaal en creatieve teksten. Bovendien bij:

• Taalvertaling: je kunt applicaties bouwen die realtime vertaling bieden door gebruik te maken van geavanceerde meertalige capaciteiten.
• Onderwijs: het is sterk in gepersonaliseerd leren. Studenten kunnen het gebruiken om sneller complexe onderwerpen te doorgronden.
• Klantenservice: het biedt verbeterde, contextbewuste antwoorden die nauwkeuriger en menselijker zijn.
• Programmeurshulp: genereer codefragmenten, debug en leg complexe concepten uit om ontwikkeling te versnellen
• Creatieve kunsten: werk samen met artiesten om content te genereren zoals muzikale composities
• Juridisch/compliance: stel documenten op, vat wetten samen en borg naleving van regelgeving.

Conclusie

De Python-API biedt een krachtige manier om toegang te krijgen tot de geavanceerde conversationele AI-modellen van Anthropic. We hebben de basis behandeld van het instellen met toegangssleutels, het doen van synchrone en asynchrone API-calls, het streamen van antwoorden en enkele geavanceerde functies. Daarnaast hebben we geleerd over de praktische toepassingen van Claude 2.

Hoewel de API nog beperkt beschikbaar is, verleent Anthropic in de loop van de tijd geleidelijk meer toegang. Naarmate Claude 2 verder evolueert, maakt de Python-API het voor ontwikkelaars eenvoudig om de nieuwste mogelijkheden te integreren in een breed scala aan producten en diensten.

Ik hoop dat je deze introductie tot de Claude 2 API nuttig vond! Experimenteer gerust met de codevoorbeelden om de indrukwekkende vaardigheden van Claude 2 zelf te zien. Hier is een lijst met 5 projecten die je kunt bouwen met generatieve AI-modellen en laat je inspireren om je volgende generatieve AI-project met Claude 2 te bouwen.