Erste Schritte mit Claude 2 und der Claude-2-API

Wenn du ein natürlicher klingendes und sehr präzises Sprachmodell in deine Anwendung integrieren möchtest, ist Claude 2 von Anthropic eine ausgezeichnete Wahl. Es kommt mit einer öffentlichen Chat-Anwendung (ähnlich wie ChatGPT), einer API und einem Playground für verschiedene Modellversionen.

Lerne die Unterschiede zwischen den Antworten von Claude und ChatGPT im Blogpost Claude vs. ChatGPT: Which AI Assistant Is Best for Data Scientists in 2023? kennen.

In diesem Tutorial schauen wir uns die Claude-2X-Modelle an und wie du sie über die Python-API nutzt. Wir behandeln die Einrichtung der API, einfache Abfragen und den Umgang mit Antworten. Außerdem lernst du Streaming-Abfragen, asynchrone Requests und weitere fortgeschrittene Funktionen der API kennen. Den gesamten Quellcode zu diesem Tutorial findest du in diesem DataLab-Workbook; du kannst dir ganz einfach eine Kopie anlegen, den Code direkt im Browser bearbeiten und ausführen – ganz ohne Installation auf deinem Rechner.

Am Ende hast du ein gutes Verständnis dafür, wie du Claude 2 in deine eigene Anwendung integrierst, um seine leistungsstarken Fähigkeiten für natürliche Sprache zu nutzen.

Wenn du neu in generativer KI bist, hilft dir unser AI Fundamentals-Lernpfad dabei, neue Technologien und Modelle kennenzulernen, um dich auf die KI-Welt von morgen vorzubereiten.

Grundlagen von Claude 2

Anthropic hat kürzlich Claude 2 veröffentlicht, die neueste Version ihres großen Sprachmodells. Es zeigt bessere Leistungen in mehreren Aufgaben mit längeren und kohärenteren Antworten. Außerdem gibt es API-Zugang und eine öffentliche Beta-Website unter claude.ai.

Bild von claude.ai

Claude 2 ist bekannt für natürliche Dialoge – mit besserem Schlussfolgern, erweiterter „Memory“ und Kontextverfolgung, während schädliche Ausgaben minimiert werden. Es hat sich u. a. bei Coding, mathematischem Denken und Logik verbessert.

Beispielsweise erzielte Claude 2 im Multiple-Choice-Teil des Bar Exam 76,5 % – 3,5 % mehr als Claude 1.3. In akademischen Eignungstests liegt Claude 2 in den GRE-Bereichen Lesen und Schreiben über dem 90. Perzentil und entspricht im quantitativen Bereich etwa dem Median der Bewerber.

Vorstellung von Claude 2.1

Am 21. November 2023 hat Anthropic Claude 2.1 veröffentlicht – mit deutlichen Verbesserungen für fortgeschritteneres Reasoning bei gleichzeitig weniger Halluzinationen. Ein Schwerpunkt lag auf Zuverlässigkeit durch mehr Transparenz. Claude 2.1 macht Wissenslücken nun eher offen kenntlich, statt Informationen zu erfinden.

Zudem gibt es ein größeres Kontextfenster von 200K, sodass Claude Langinhalte wie Forschungsarbeiten referenzieren und querprüfen kann, um Faktenkonsistenz in langen Zusammenfassungen oder Analysen zu wahren.

Claude 2.1 führt außerdem experimentelle Tool-Nutzung ein. Damit kann Claude 2 Daten mit hoher Genauigkeit aus zusätzlichen Quellen abrufen und verarbeiten, Funktionen aufrufen und Aktionen ausführen.

Claude 2 einrichten

Der Zugriff auf die Anthropic API ist derzeit auf ausgewählte Personen und Organisationen beschränkt. Wenn du zu den Ersten gehören möchtest, fülle das Antragsformular auf der Website aus. Anthropic vergibt den Zugang schrittweise, um Sicherheit und Skalierbarkeit der API zu gewährleisten. Bitte beachte: Aufgrund der hohen Nachfrage kann es etwas dauern, bis du Zugriff erhältst.

Sobald du die Bestätigungs-E-Mail erhalten und dein Konto erstellt hast, wirst du zum Dashboard weitergeleitet. Dort findest du einen Link zur Workbench – ähnlich dem OpenAI Playground –, in der du zwischen Modellen wechseln und Antworten analysieren kannst. Außerdem gibt es Links zum Erstellen von API-Schlüsseln und zur Dokumentation.

Bild vom Dashboard

Um einen API-Schlüssel zu erstellen, klickst du auf die Schaltfläche "Get API Keys" und gibst einen Namen für den Schlüssel ein. Danach erhältst du einen Key, mit dem du Antworten über die Claude-2-API generieren kannst.

Bild von Anthropic

Um einen API-Schlüssel als Umgebungsvariable zu setzen, kannst du einen Bash-Befehl nutzen oder ihn in einem DataLab-Workbook hinterlegen. Starte zuerst ein neues Workbook und gehe dann links auf die Schaltfläche "Environment". Klicke auf das Pluszeichen und füge Name und Wert der Variable hinzu. Speichere abschließend, um die Änderungen zu übernehmen.

Bild aus DataLab

Hinweis: Du kannst den API-Schlüssel direkt in der Python-Funktion verwenden, aus Sicherheitsgründen ist das jedoch nicht zu empfehlen.

Um in Python auf die Anthropic API zuzugreifen, installierst du zuerst das Anthropic SDK für Python mit PIP.

pip install anthropic

Zugriff auf die Claude-2-API

In diesem Abschnitt lernen wir, wie wir über die Anthropic API mit dem Modell Claude 2.1 Antworten generieren. Du kannst mitcoden, indem du eine Kopie dieses Workbooks erstellst: Getting Started with the Claude 2 and the Claude 2 API.

Wir laden os für den Zugriff auf den API-Schlüssel und die anthropic-Bibliothek, um mit dem Schlüssel die Konversationspipeline aufzubauen.

from anthropic import Anthropic, HUMAN_PROMPT, AI_PROMPTimport osanthropic_api_key = os.environ["ANTHROPIC_API_KEY"]anthropic = Anthropic(    api_key= anthropic_api_key,)

Die „HUMAN_PROMPT“- und „AI_PROMPT“-Konstanten sind Strings, mit denen du die richtige Prompt-Struktur für die Generierung aufbaust.

Jetzt erzeugen wir eine Antwort, indem wir Modellversion, maximale Tokenlänge und Prompt angeben. Achte darauf, dass dein Prompt der Claude-2X-Vorlage folgt.

completion = anthropic.completions.create(    model="claude-2.1",    max_tokens_to_sample=350,    prompt=f"{HUMAN_PROMPT} How do I learn Python in a week?{AI_PROMPT}",)print(completion.completion)

Wir erhalten ein sehr gutes Ergebnis. Claude 2.1 liefert einen detaillierten Plan, um Python in einer Woche zu lernen.

Anthropic unterstützt sowohl synchrone als auch asynchrone API-Anfragen.

Synchrone APIs führen Requests nacheinander aus und blockieren bis zur Antwort, bevor der nächste Aufruf startet. Asynchrone APIs erlauben hingegen mehrere gleichzeitige Anfragen ohne Blockieren und verarbeiten Antworten, sobald sie eintreffen. Das macht asynchrone APIs effizienter und skalierbarer.

Für asynchrone Aufrufe importierst du AsyncAnthropic statt Anthropic. Definiere eine Funktion mit async-Syntax und nutze await bei jedem API-Aufruf.

from anthropic import AsyncAnthropicanthropic = AsyncAnthropic()async def main():    completion = await anthropic.completions.create(        model="claude-2.1",        max_tokens_to_sample=300,        prompt=f"{HUMAN_PROMPT}How many moons does Jupiter have?{AI_PROMPT}",    )    print(completion.completion)await main()

Das Ergebnis ist nahezu korrekt. Einige Quellen nennen 79, die NASA gibt jedoch 95 Monde für Jupiter an.

Hinweis: Verwende asyncio.run(main()) statt await main(), wenn du den Code in einer Python-.py-Datei und nicht in einem Jupyter Notebook ausführst.

LLM-Streaming mit Claude 2

Streaming ist bei großen Sprachmodellen zu einer Schlüsseltechnik geworden und bietet mehrere Vorteile gegenüber der klassischen Verarbeitung. Statt auf die gesamte Antwort zu warten, kann die Ausgabe verarbeitet werden, sobald sie verfügbar ist. So sinkt die wahrgenommene Latenz, weil Tokens nach und nach statt auf einmal zurückgegeben werden.

Um Streaming zu aktivieren, setze das Argument 'stream' in der Completion-Funktion auf `True`.

anthropic = Anthropic()stream = anthropic.completions.create(    prompt=f"{HUMAN_PROMPT}Could you please write a Python code to train a simple classification model?{AI_PROMPT}",    max_tokens_to_sample=350,    model="claude-2.1",    stream=True,)for completion in stream:    print(completion.completion, end="", flush=True)

Die Antwort trifft Zeile für Zeile deutlich schneller ein – als würde Claude 2.1 sie live tippen.

Analog funktioniert Streaming auch im `async`-Modus. Beachte: Wir haben lediglich vor die Completion-Funktion `await` und vor die for-Schleife `async` gesetzt.

anthropic = AsyncAnthropic()stream = await anthropic.completions.create(    prompt=f"{HUMAN_PROMPT}Please write a blog post on Neural Networks and use Markdown format. Kindly make sure that you proofread your work for any spelling, grammar, or punctuation errors.{AI_PROMPT}",    max_tokens_to_sample=350,    model="claude-2.1",    stream=True,)async for completion in stream:    print(completion.completion, end="", flush=True)

Unsere generative KI liefert hier einen sauber geschriebenen Blogbeitrag.

Schau dir die Liste der 7 unverzichtbaren Tools für Generative KI an, die dir beim Bau funktionsfähiger, kontextsensitiver Chatbot-Anwendungen helfen.

Erweiterte Funktionen und Anpassungen

Die Anthropic API bietet neben der einfachen Antwortgenerierung mehrere fortgeschrittene Features und Anpassungsmöglichkeiten:

• Fehlerbehandlung: Spezifische Ausnahmetypen wie APIConnectionError und APIStatusError erlauben sauberes Handling von Verbindungs- und HTTP-Fehlern.
• Standard-Header: Der anthropic-version-Header wird automatisch gesendet, um den Client zu identifizieren. Du kannst das über das Argument default_headers im anthropic-Objekt anpassen.
• Logging: Debug-Logging lässt sich über die Umgebungsvariable ANTHROPIC_LOG aktivieren und hilft beim Troubleshooting.
• HTTP-Client: Der zugrunde liegende HTTPX-Client kann für Proxys, Transports und weitere erweiterte Funktionen konfiguriert werden.
• Ressourcenmanagement: Du kannst den Client manuell mit .close() schließen oder einen Context Manager nutzen, der beim Verlassen automatisch schließt.
• Prompting-Techniken: Die API-Doku liefert diverse Stichwörter, um Eingaben für Text, strukturierte Dokumente, Code-Snippets und RAG-Ergebnisse zu optimieren.
• Prompt-Validierung: Die API führt grundlegende Bereinigung und Validierung der Prompts durch, damit sie für das Claude-2-Modell optimiert sind.

Mehr zu den erweiterten Funktionen findest du in der Dokumentation der Anthropic API.

Praktische Einsatzszenarien der Claude-2-API

Die Claude-2-API hat vielfältige praktische Anwendungen in zahlreichen Branchen und Domänen. In der Content-Erstellung und im Copywriting unterstützt sie beim Verfassen hochwertiger Artikel, Marketingtexte und kreativer Inhalte. Außerdem in:

• Sprachübersetzung: Du kannst Anwendungen bauen, die dank fortgeschrittener Mehrsprachigkeit Übersetzungen in Echtzeit liefern.
• Bildung: Ideal für personalisiertes Lernen – Lernende können komplexe Themen schneller erschließen.
• Kundensupport: Liefert kontextbewusste Antworten, die präziser und menschlicher wirken.
• Programmierassistenz: Generiert Code-Snippets, hilft beim Debugging und erklärt komplexe Konzepte, um die Entwicklung zu beschleunigen.
• Kreative Künste: Zusammenarbeit mit Künstlern zur Erzeugung von Inhalten, z. B. musikalischen Kompositionen.
• Recht/Compliance: Entwirft Dokumente, fasst Gesetze zusammen und unterstützt bei regulatorischer Compliance.

Fazit

Die Python-API bietet einen leistungsstarken Zugang zu Anthropics modernen, dialogorientierten KI-Modellen. Wir haben die Grundlagen zur Einrichtung mit Zugriffsschlüsseln, synchronen und asynchronen API-Calls, Streaming-Antworten sowie einige fortgeschrittene Features behandelt. Außerdem haben wir praktische Einsatzmöglichkeiten von Claude 2 beleuchtet.

Auch wenn die API noch limitiert verfügbar ist, erweitert Anthropic den Zugang nach und nach. Während sich Claude 2 weiterentwickelt, ermöglicht die Python-API Entwicklerinnen und Entwicklern, die neuesten Fähigkeiten unkompliziert in eine breite Palette von Produkten und Services zu integrieren.

Ich hoffe, diese Einführung in die Claude-2-API war hilfreich! Probier die Codebeispiele gerne aus und überzeuge dich selbst von den beeindruckenden Fähigkeiten von Claude 2. Hier findest du eine Liste mit 5 Projekten, die du mit generativen KI-Modellen bauen kannst – lass dich inspirieren für dein nächstes KI-Projekt mit Claude 2.