Wat is Pandas AI?
Pandas AI is een Python-bibliotheek die generatieve AI-modellen gebruikt om de mogelijkheden van pandas te versterken. Het is ontwikkeld als aanvulling op de pandas-bibliotheek, een veelgebruikt hulpmiddel voor data-analyse en -manipulatie.
Gebruikers kunnen pandas-dataframes samenvatten met natuurlijke taal. Bovendien kun je het gebruiken om complexe visualisaties te plotten, dataframes te manipuleren en zakelijke inzichten te genereren.
Afbeelding van Pandas-AI
Pandas AI is geschikt voor beginners; zelfs iemand met weinig technische achtergrond kan er complexe data-analytische taken mee uitvoeren. De tool helpt je om sneller data te analyseren en betekenisvolle conclusies te trekken.
Aan de slag met Pandas AI
In deze sectie leren we hoe je Pandas AI installeert en instelt voor data-analyse.
Als eerste installeren we Pandas AI met pip.
pip install pandasaiOptionele installatie: We kunnen ook de Google PaLM-afhankelijkheid installeren met de volgende code.
pip install pandasai[google]Ten tweede moeten we een OpenAI API-sleutel verkrijgen en die opslaan als omgevingsvariabele door de tutorial Using GPT-3.5 and GPT-4 via the OpenAI API in Python te volgen.
Tot slot moeten we essentiële functies importeren, de OpenAI-sleutel instellen in de LLM API-wrapper en een PandasAI-object aanmaken. We gebruiken dit object om prompts uit te voeren op één of meerdere pandas-dataframes.
import os
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI
openai_api_key = os.environ["OPENAI_API_KEY"]
llm = OpenAI(api_token=openai_api_key)
pandas_ai = PandasAI(llm)Naast OpenAI GPT-3.5 kun je de LLM API-wrapper gebruiken voor Google PALM (Bison) of zelfs open-sourcemodellen die beschikbaar zijn op HuggingFace, zoals Starcoder en Falcon.
from pandasai.llm.starcoder import Starcoder
from pandasai.llm.falcon import Falcon
from pandasai.llm.google_palm import GooglePalm
# GooglePalm
llm = GooglePalm(api_token="YOUR_Google_API_KEY")
# Starcoder
llm = Starcoder(api_token="YOUR_HF_API_KEY")
# Falcon
llm = Falcon(api_token="YOUR_HF_API_KEY")Je kunt ook een .env-bestand instellen en voorkomen dat je api_token moet opgeven. Voeg daarvoor API-sleutels toe aan het .env-bestand met de volgende template:
HUGGINGFACE_API_KEY=
OPENAI_API_KEY=
Basisgebruik van Pandas AI
In dit basisvoorbeeld laden we de Netflix Movie Data met de pandas-bibliotheek. De dataset bevat meer dan 8.500 films en tv-shows die op Netflix beschikbaar zijn.
import pandas as pd
df = pd.read_csv("netflix_dataset.csv", index_col=0)
df.head(3)
Volg onze Python pandas-tutorial om alles te leren wat je met de pandas Python-bibliotheek kunt doen.
Door een dataframe en prompt door te geven, kunnen we Pandas AI analyses laten genereren en de dataset laten manipuleren. In ons geval vragen we Pandas AI om de records van de vijf langstdurende films te tonen.
pandas_ai.run(df, prompt='What are 5 longest duration movies?')Zoals we zien, is de langstdurende titel Black Mirror, met 312 minuten.
Laten we vragen om alleen de namen van de vijf langstdurende films te tonen.
pandas_ai.run(df, prompt='List the names of the 5 longest duration movies.')['Black Mirror: Bandersnatch', 'Headspace: Unwind Your Mind', 'The School of Mischief', 'No Longer kids', 'Lock Your Girls In']Opmerking: als je je privacy extra wilt waarborgen, kun je PandasAI initialiseren met enforce_privacy = True. Dan worden de dataset-headers (maar alleen de kolomnamen) niet naar de LLM verstuurd.
We kunnen Pandas AI zelfs vragen om complexe taken uit te voeren, zoals groeperen, sorteren en combineren.
pandas_ai.run(df, prompt='What is the average duration of tv shows based on country? Make sure the output is sorted.')country
Denmark, Singapore, Canada, United States 10.0
United States, Mexico, Colombia 7.0
Canada, United States, France 5.5
United Kingdom, Ireland 5.0
Canada, United Kingdom 5.0
...
Spain, Cuba 1.0
Germany, France, Russia 1.0Opmerking: sommige technische prompts werken mogelijk niet, vooral wanneer je vraagt om kolommen te groeperen.
Geavanceerd gebruik van Pandas AI
Een geavanceerde usecase voor Pandas AI is het genereren van complexe datavisualisaties en bedrijfsanalyses met meerdere dataframes.
In het eerste voorbeeld kunnen we een prompt schrijven om een staafdiagram te genereren dat het aantal titels per jaar laat zien, uitgesplitst naar type.
pandas_ai.run(df, prompt='Plot the bar chart of type of media for each year release, using different colors.')
Opmerking: Je kunt alle grafieken die door Pandas AI zijn gegenereerd opslaan door de parameter save_charts op True te zetten. Bijvoorbeeld: PandasAI(llm, save_charts=True). De grafieken worden opgeslagen in de map ./pandasai/exports/charts.
In een tweede voorbeeld maken we drie dataframes en gebruiken we alle drie de dataframes om met Pandas AI een analyse te genereren.
Pandas AI zal eerst df1 joinen met df2 op "store" en df2 met df3 op "location". Vervolgens verwerkt het de gecombineerde dataset en produceert het binnen enkele seconden een resultaat. Een dataspecialist zou minstens 10 minuten nodig hebben om de data te begrijpen en een oplossing te bedenken.
# DataFrame 1
df1 = pd.DataFrame({
'sales': [100, 200, 300],
'store': ['Walmart', 'Target', 'Walmart']
})
# DataFrame 2
df2 = pd.DataFrame({
'revenue': [400, 500, 600],
'store': ['Walmart', 'Target', 'Walmart'],
'location': ['North', 'South', 'West']})
# DataFrame 3
df3 = pd.DataFrame({
'profit': [700, 800, 900],
'location': ['North', 'South', 'West'],
'employees': [20, 25, 30]})
pandas_ai.run([df1,df2,df3], prompt='How many employees work at Walmart?')50Je kunt ook complexe data-analysetaken uitvoeren door een cursus Data Manipulation with pandas te volgen.
Pandas AI Command Line Interface (CLI)
Pandas AI CLI is een experimentele tool. Je kunt deze installeren door de repository te clonen en naar het project te gaan.
!git clone https://github.com/gventuri/pandas-ai.git
%cd pandas-aiDaarna gebruiken we Poetry om een virtuele omgeving te maken en te activeren.
!poetry shellOpmerking: als Poetry niet op je systeem is geïnstalleerd, kun je het installeren met curl -sSL https://install.python-poetry.org | python3 -
Gebruik de volgende code om de dependencies te installeren binnen de geactiveerde omgeving.
!poetry installOpen tot slot een terminal en gebruik de Pandas AI CLI-tool. Je moet een dataset, modelnaam en prompt opgeven. Als er geen token is opgegeven, haalt pai het token op uit het .env-bestand.
!pai -d "netflix_dataset.csv" -m "openai" -p "What are 5 longest duration movies?"- -d, --dataset: Het bestandspad naar de dataset.
- -t, --token: Je HuggingFace- of OpenAI API-token.
- -m, --model: Het te gebruiken LLM-model. Opties zijn:
openai,open-assistant,starcoder, falcon,azure-openaiofgoogle-palm. - -p, --prompt: De prompt die PandasAI moet uitvoeren.
Lees de documentatie van Pandas AI om meer te leren over functies en features die je workflow kunnen vereenvoudigen.
Conclusie
Pandas AI heeft het potentieel om data-analyse te vernieuwen door grote taalmodellen in te zetten om inzichten uit datasets te genereren.
Terwijl dataspecialisten doorgaans veel tijd besteden aan het opschonen, verkennen en visualiseren van data, automatiseert Pandas AI veel van deze repetitieve taken.
Maar zoals alle AI-tools heeft ook Pandas AI beperkingen en kan het mensen niet volledig vervangen. De geanalyseerde resultaten vereisen vaak menselijke verificatie om de nauwkeurigheid te waarborgen en randgevallen te identificeren.
In deze post leerden we hoe je Pandas AI installeert, instelt en gebruikt voor data-analyse. We gebruikten Pandas AI om data-analysetaken uit te voeren, datavisualisaties te genereren en meerdere dataframes te benutten voor zakelijke inzichten. Wil je je prompts verbeteren voor betere resultaten? Overweeg dan de cursus Introduction to ChatGPT te volgen of raadpleeg de ChatGPT Cheat Sheet for Data Science.
