Kurs
Arbeiten mit der OpenAI-API
3 Std.
172.6K
Seit dem Start von ChatGPT Ende 2022 – dem Auftakt der aktuellen KI-Revolution – sind generative KI-Modelle deutlich leistungsfähiger und vielfältiger geworden. Täglich kommen neue Modelle mit unterschiedlichen Größen, Funktionen, Modalitäten und Einsatzfeldern auf den Markt. Das macht es schwer, die Grenzen des Möglichen abzustecken.
Insgesamt zeichnet sich ein klarer Trend zu größeren und komplexeren Modellen ab. Mehr Parameter und mehr Trainingsdaten gelten als vielversprechender Weg, um die Leistung großer Sprachmodelle (LLMs), der Basistechnologie generativer KI, zu steigern. Lies in unserem separaten Artikel im Detail nach, was LLMs sind.
Angesichts wachsender Bedenken hinsichtlich der Ressourcen, die zum Trainieren und Betreiben großer Modelle nötig sind (und deren ökologischer Fußabdruck), gewinnt Effizienz in Entwicklung und Deployment von KI jedoch rasant an Bedeutung.
Dieser Artikel stellt Stable Code 3B vor, das neueste Modell von Stability AI, das speziell für präzises und reaktionsschnelles Programmieren entwickelt wurde. Das äußerst genaue LLM für Coderaufgaben liefert Leistungen auf Augenhöhe mit State-of-the-Art-Modellen – bei deutlich geringerer Größe.
Was ist Stable Code 3B?
Stable Code 3B wurde im Januar 2024 von Stability AI veröffentlicht. Es ist ein LLM mit 3 Milliarden Parametern, entwickelt für Programmieraufgaben. Es ist die weiterentwickelte Version des Vorgängers Stable Code Alpha 3B.
Stable Code 3B glänzt bei Codevervollständigung und eignet sich hervorragend als Lernwerkzeug für Einsteigerinnen und Einsteiger in die Programmierung. Das Modell ist für Forschungszwecke oder die private Nutzung kostenlos verfügbar. Für kommerzielle Anwendungen ist ein Abonnement einer Stability AI Membership erforderlich.
Unter LLMs vergleichbarer Größe zählt Stable Code 3B zu den Spitzenprodukten (Details zu den Leistungsmetriken findest du im nächsten Abschnitt) und erzielt bei deutlich kleinerem Modellumfang hervorragende Ergebnisse. Dank seines kompakten Designs und der Effizienz kann Stable Code 3B sogar offline auf gängigen Laptops laufen – auch ohne dedizierte GPU, etwa auf einem MacBook Air.
Wie funktioniert Stable Code 3B?
Stable Code 3B ist ein kompaktes Modell mit 2,7 Milliarden Parametern. Es ist ein reiner Decoder-Transformer, ähnlich Metas Open-Source-LLaMA. In unserem separaten Beitrag erfährst du alle Details zu LLaMA.
Das Trainingsverfahren von Stable Code 3B ist klar von Metas CodeLLaMA inspiriert. Ausgangspunkt ist das vortrainierte LLM von Stability AI, StableLM-3b-4e1t, das als Foundation Model dient.
Das Modell wurde in einem Fine-Tuning-Prozess in zwei Schritten weitertrainiert. Zunächst erfolgte das Training auf mehreren Code- und codebezogenen Datensätzen, darunter CommitPack, GitHub Issues, StarCoder und weitere Math-Datasets. Die Trainingsdaten umfassen Code aus 18 weit verbreiteten Programmiersprachen, darunter Python, R, Java und C.
Anschließend wurde das Modell mit längeren Sequenzen von 16.384 Tokens und Fill-in-the-Middle-Techniken (wie im CodeLLaMA-Research-Paper vorgeschlagen) weiter verfeinert. Dieser zweite Schritt ermöglicht lange Kontextfenster von bis zu 100.000 Tokens – ideal für Programmieraufgaben. Mit längeren Eingabesequenzen können Entwicklerinnen und Entwickler dem Modell mehr Kontext und größere Codeausschnitte aus der eigenen Codebasis bereitstellen und so relevantere und präzisere Ergebnisse erzielen.
Leistungsmetriken von Stable Code 3B
Die Entwicklerinnen und Entwickler von Stability AI haben ein Modell geschaffen, das im Vergleich zu ähnlich großen Modellen auf den MultiPL-E-Metriken über mehrere getestete Programmiersprachen hinweg State-of-the-Art-Leistung erreicht. Der Vergleich ist in der folgenden Abbildung dargestellt:
Multi-PL-Leistungsvergleich von Modellen unter 3B. Quelle: Stability AI
Stable Code 3B übertrifft zudem deutlich größere Modelle. So erreicht es beispielsweise das gleiche Leistungsniveau wie CodeLLaMA 7B, seine wichtigste Referenz, bei 60 % geringerem Modellumfang.
Vergleich von Stable Code Completion 3B mit CodeLLama 7B. Quelle: Stability AI
Anwendungsfälle für Stable Code 3B
KI-gestützte Coding-Assistenten wie Stable Code 3B eröffnen zahlreiche Möglichkeiten in Softwareentwicklung und Datenanalyse. So setzen Programmierende KI heute bereits ein:
Aufgaben automatisieren
Stable Code 3B kann wiederkehrende Routineaufgaben nahtlos automatisieren – etwa einfache SQL-Abfragen, explorative Datenanalysen und das Straffen von Data-Science-Projekten. So überspringst du zeitraubende Schritte und kannst dich auf komplexere Aufgaben konzentrieren. Wie das in der Praxis aussieht, zeigt unser praxisnaher Leitfaden zur Nutzung von ChatGPT in Data Science.
Bugs beheben
Debugging ist oft zeitintensiv und anspruchsvoll, insbesondere bei komplexen Projekten mit Hunderten Zeilen Code. Stable Code 3B ist der ideale Assistent, um diesen Prozess zu beschleunigen: Es scannt deinen Code in Sekunden und liefert Vorschläge für Code und Struktur, um Fehler zu beheben. Dank des langen Kontextfensters kannst du große Skripte übergeben – Stable Code 3B findet potenzielle Fehler und Stolperfallen in deinem Code.
Code optimieren
Bei Projekten mit hohem Rechenaufwand ist Effizienz Pflicht. Die Art, wie Code geschrieben ist, beeinflusst die Effizienz erheblich. Stable Code 3B hilft dir, Code so umzuschreiben, dass er schneller und ressourcenschonender läuft – und spart damit Zeit, Ressourcen und Kosten.
Code verstehen
Fremden Code zu verstehen, ist manchmal schwierig – besonders für Junior-Entwicklerinnen und -Entwickler. Stable Code 3B macht nicht nur Verbesserungsvorschläge, sondern liefert auch detaillierte Erklärungen zu bestimmten Codeabschnitten und unterstützt dich so beim schnelleren Lernen.
Wenn du wissen möchtest, wie sich generative KI fürs Lernen einsetzen lässt, empfehlen wir dir DataCamp Workspace. Wir setzen die Modelle GPT 3.5 und GPT-4 in unserer Data-Science-IDE ein, damit du komplexe Syntax besser verstehst. Sieh dir außerdem unsere Anleitung an, um in DataCamp Workspace durchzustarten.
So lädst du das Stable Code 3B Modell herunter
Am besten startest du mit Stable Code 3B über die HuggingFace API. Du kannst das Modell ganz einfach in deine Python-Umgebung importieren und mit folgendem Code Text generieren:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-3b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
"stabilityai/stable-code-3b",
trust_remote_code=True,
torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("import torch\nimport torch.nn as nn", return_tensors="pt").to(model.device)
tokens = model.generate(
**inputs,
max_new_tokens=48,
temperature=0.2,
do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))Stable Code 3B kommerziell nutzen
Wie bereits erwähnt, ist Stable Code 3B für Forschungszwecke oder die private Nutzung kostenlos. Für kommerzielle Anwendungen ist ein Abonnement einer Stability AI Membership erforderlich.
Aktuell bietet Stability AI neben der nicht-kommerziellen Mitgliedschaft zwei weitere Mitgliedschaften an, wie in der folgenden Grafik zu sehen:
Die Professional-Mitgliedschaft kostet 20 $ pro Monat und bietet Zugriff auf die Core Models von Stability AI sowie das Recht zu deren kommerzieller Nutzung – darunter Modelle zur Bild-, Video-, 3D-, Text- und Codegenerierung. Die Enterprise-Mitgliedschaft richtet sich an Großunternehmen, umfasst maßgeschneiderte Preise und zusätzliche Enterprise-Features.
Mehr erfahren
Wir leben in spannenden Zeiten für Datenprofis. Die massive Verbreitung generativer KI-Tools wie Stable Code 3B stellt die Branche auf den Kopf.
Am besten navigierst du durch die KI-Revolution, indem du dranbleibst und dich kontinuierlich informierst. DataCamp unterstützt dich dabei. Entdecke unsere Beiträge zu weiteren leistungsstarken generativen KI-Tools:
Themen
