Was ist Pandas AI?
Pandas AI ist eine Python-Bibliothek, die generative KI-Modelle nutzt, um die Fähigkeiten von pandas deutlich zu erweitern. Sie wurde als Ergänzung zur weit verbreiteten pandas-Bibliothek entwickelt, einem zentralen Werkzeug für Datenanalyse und -manipulation.
Mit natürlicher Sprache kannst du Zusammenfassungen über pandas-DataFrames erstellen. Außerdem lassen sich damit komplexe Visualisierungen plotten, DataFrames bearbeiten und Business-Insights generieren.
Bildquelle: Pandas-AI
Pandas AI ist einsteigerfreundlich. Selbst mit wenig technischem Hintergrund kannst du damit komplexe Analyseaufgaben erledigen. Das Tool hilft dir, Daten schneller auszuwerten und fundierte Schlüsse zu ziehen.
Erste Schritte mit Pandas AI
In diesem Abschnitt lernst du, wie du Pandas AI für die Datenanalyse installierst und einrichtest.
Erstens installieren wir Pandas AI mit pip.
pip install pandasaiOptionale Installation: Du kannst zusätzlich die Google-PaLM-Abhängigkeit mit folgendem Befehl installieren.
pip install pandasai[google]Zweitens benötigst du einen OpenAI-API-Schlüssel und speicherst ihn als Umgebungsvariable. Folge dazu dem Tutorial Using GPT-3.5 and GPT-4 via the OpenAI API in Python.
Und schließlich importieren wir die nötigen Funktionen, setzen den OpenAI-Key im LLM-API-Wrapper und instanziieren ein PandasAI-Objekt. Dieses Objekt verwenden wir, um Prompts auf einen oder mehrere pandas-DataFrames auszuführen.
import os
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI
openai_api_key = os.environ["OPENAI_API_KEY"]
llm = OpenAI(api_token=openai_api_key)
pandas_ai = PandasAI(llm)Neben OpenAI GPT-3.5 kannst du den LLM-API-Wrapper auch mit Google PALM (Bison) oder mit Open-Source-Modellen auf HuggingFace wie Starcoder und Falcon verwenden.
from pandasai.llm.starcoder import Starcoder
from pandasai.llm.falcon import Falcon
from pandasai.llm.google_palm import GooglePalm
# GooglePalm
llm = GooglePalm(api_token="YOUR_Google_API_KEY")
# Starcoder
llm = Starcoder(api_token="YOUR_HF_API_KEY")
# Falcon
llm = Falcon(api_token="YOUR_HF_API_KEY")Du kannst auch eine .env-Datei einrichten und dadurch auf api_token im Code verzichten. Füge dafür die API-Keys mit folgender Vorlage in die .env-Datei ein:
HUGGINGFACE_API_KEY=
OPENAI_API_KEY=
Grundlegende Anwendungsfälle von Pandas AI
Im einfachen Beispiel laden wir die Netflix Movie Data mit der pandas-Bibliothek. Der Datensatz umfasst über 8.500 Filme und Serien, die auf Netflix verfügbar sind.
import pandas as pd
df = pd.read_csv("netflix_dataset.csv", index_col=0)
df.head(3)
Sieh dir unser Python-pandas-Tutorial an, um alles zu lernen, was du mit der Python-Bibliothek pandas machen kannst.
Indem wir einen DataFrame und einen Prompt übergeben, kann Pandas AI Analysen erstellen und den Datensatz manipulieren. In unserem Fall bitten wir Pandas AI, die fünf Filme mit der längsten Laufzeit anzuzeigen.
pandas_ai.run(df, prompt='What are 5 longest duration movies?')Wie zu sehen ist, hat Black Mirror mit 312 Minuten die längste Laufzeit.
Als Nächstes lassen wir uns nur die Titel der fünf längsten Filme ausgeben.
pandas_ai.run(df, prompt='List the names of the 5 longest duration movies.')['Black Mirror: Bandersnatch', 'Headspace: Unwind Your Mind', 'The School of Mischief', 'No Longer kids', 'Lock Your Girls In']Hinweis: Wenn du deine Privatsphäre zusätzlich schützen willst, kannst du PandasAI mit enforce_privacy = True instanziieren. Dann werden die Datensatz-Header nicht an das LLM gesendet (nur die Spaltennamen).
Wir können Pandas AI sogar komplexe Aufgaben wie Gruppieren, Sortieren und Zusammenführen ausführen lassen.
pandas_ai.run(df, prompt='What is the average duration of tv shows based on country? Make sure the output is sorted.')country
Denmark, Singapore, Canada, United States 10.0
United States, Mexico, Colombia 7.0
Canada, United States, France 5.5
United Kingdom, Ireland 5.0
Canada, United Kingdom 5.0
...
Spain, Cuba 1.0
Germany, France, Russia 1.0Hinweis: Manche technische Prompts funktionieren nicht immer, insbesondere wenn du nach Gruppierungen über Spalten fragst.
Erweiterte Anwendungsfälle von Pandas AI
Ein fortgeschrittener Anwendungsfall für Pandas AI ist das Erstellen komplexer Datenvisualisierungen und Business-Analysen über mehrere DataFrames hinweg.
Im ersten Beispiel schreiben wir einen Prompt, der ein Balkendiagramm mit der Anzahl der Titel pro Jahr nach Typ kategorisiert erzeugt.
pandas_ai.run(df, prompt='Plot the bar chart of type of media for each year release, using different colors.')
Hinweis: Du kannst alle von Pandas AI erzeugten Charts speichern, indem du den Parameter save_charts auf True setzt. Zum Beispiel: PandasAI(llm, save_charts=True). Die Charts werden im Verzeichnis ./pandasai/exports/charts abgelegt.
Im zweiten Beispiel erstellen wir drei DataFrames und nutzen alle drei, um mit Pandas AI eine Analyse zu erstellen.
Pandas AI wird zunächst df1 mit df2 anhand von "store" und df2 mit df3 anhand von "location" verbinden. Anschließend verarbeitet es den kombinierten Datensatz und liefert in wenigen Sekunden ein Ergebnis. Ein Data Scientist bräuchte dafür leicht 10 Minuten, um die Daten zu verstehen und eine Lösung zu entwickeln.
# DataFrame 1
df1 = pd.DataFrame({
'sales': [100, 200, 300],
'store': ['Walmart', 'Target', 'Walmart']
})
# DataFrame 2
df2 = pd.DataFrame({
'revenue': [400, 500, 600],
'store': ['Walmart', 'Target', 'Walmart'],
'location': ['North', 'South', 'West']})
# DataFrame 3
df3 = pd.DataFrame({
'profit': [700, 800, 900],
'location': ['North', 'South', 'West'],
'employees': [20, 25, 30]})
pandas_ai.run([df1,df2,df3], prompt='How many employees work at Walmart?')50Komplexe Datenanalysen kannst du auch im Kurs Data Manipulation with pandas vertiefen.
Pandas AI Command Line Interface (CLI)
Die Pandas AI CLI ist ein experimentelles Tool. Du installierst sie, indem du das Repository klonst und in das Projektverzeichnis wechselst.
!git clone https://github.com/gventuri/pandas-ai.git
%cd pandas-aiDanach erstellen und aktivieren wir mit Poetry eine virtuelle Umgebung.
!poetry shellHinweis: Falls Poetry auf deinem System nicht installiert ist, kannst du es mit curl installieren: -sSL https://install.python-poetry.org | python3 -
Installiere anschließend die Abhängigkeiten innerhalb der aktiven Umgebung mit folgendem Befehl.
!poetry installÖffne zum Schluss ein Terminal und nutze das Pandas AI CLI-Tool. Du musst einen Datensatz, einen Modelnamen und einen Prompt angeben. Wenn kein Token übergeben wird, liest pai den Token aus der .env-Datei aus.
!pai -d "netflix_dataset.csv" -m "openai" -p "What are 5 longest duration movies?"- -d, --dataset: Der Dateipfad zum Datensatz.
- -t, --token: Dein HuggingFace- oder OpenAI-API-Token.
- -m, --model: Das zu verwendende LLM. Optionen:
openai,open-assistant,starcoder, falcon,azure-openaiodergoogle-palm. - -p, --prompt: Der Prompt, den PandasAI ausführen soll.
Lies die Dokumentation zu Pandas AI, um weitere Funktionen und Features kennenzulernen, die deinen Workflow vereinfachen.
Fazit
Pandas AI hat das Potenzial, die Datenanalyse zu verändern, indem große Sprachmodelle genutzt werden, um aus Datensätzen Insights zu generieren.
Während Data Scientists normalerweise viel Zeit mit dem Säubern, Erkunden und Visualisieren von Daten verbringen, automatisiert Pandas AI viele dieser repetitiven Aufgaben.
Wie alle KI-Tools hat aber auch Pandas AI Grenzen und kann Menschen nicht vollständig ersetzen. Die Ergebnisse sollten häufig von Expertinnen und Experten geprüft werden, um Genauigkeit sicherzustellen und Sonderfälle zu erkennen.
In diesem Beitrag haben wir gelernt, wie man Pandas AI installiert, einrichtet und für Datenanalysen nutzt. Wir haben mit Pandas AI Analyseaufgaben ausgeführt, Visualisierungen erstellt und mehrere DataFrames kombiniert, um Business-Insights zu gewinnen. Wenn du deine Prompts verbessern möchtest, um bessere Ergebnisse zu erzielen, wirf einen Blick auf den Kurs Introduction to ChatGPT oder auf das ChatGPT Cheat Sheet for Data Science.
