Pandas AI’a Giriş

Pandas AI nedir?

Pandas AI, pandas yeteneklerini güçlendirmek için üretken yapay zekâ modelleri kullanan bir Python kütüphanesidir. Geniş çapta kullanılan veri analizi ve işleme aracı olan pandas kütüphanesini tamamlamak amacıyla oluşturulmuştur.

Kullanıcılar, doğal dil kullanarak pandas veri çerçevelerini özetleyebilir. Ayrıca, karmaşık görselleştirmeler çizmek, veri çerçevelerini işlemek ve iş içgörüleri üretmek için de kullanılabilir.

Görsel kaynağı: Pandas-AI

Pandas AI, yeni başlayanlar için de uygundur; teknik geçmişi az olan biri bile bunu kullanarak karmaşık veri analizi görevlerini yerine getirebilir. Sağladığı fayda, verileri daha hızlı analiz etmeye ve anlamlı sonuçlar çıkarmaya yardımcı olur.

Pandas AI ile Başlarken

Bu bölümde, veri analizi için Pandas AI’ı nasıl kurup yapılandıracağımızı öğreneceğiz.

İlk olarak, pip kullanarak Pandas AI’ı kuracağız.

pip install pandasai

İsteğe bağlı kurulum: Aşağıdaki kodu kullanarak Google PaLM bağımlılığını da kurabiliriz.

pip install pandasai[google]

İkinci olarak, bir OpenAI API anahtarı edinmemiz ve bunu Python’da OpenAI API üzerinden GPT-3.5 ve GPT-4 Kullanımı öğreticisindeki adımları izleyerek ortam değişkeni olarak saklamamız gerekir.

Son olarak, temel işlevleri içe aktarmalı, OpenAI anahtarını LLM API sarmalayıcısına tanımlamalı ve bir PandasAI nesnesi oluşturmalıyız. Bu nesneyi, tekli veya çoklu pandas veri çerçeveleri üzerinde istemleri çalıştırmak için kullanacağız.

import os
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI


openai_api_key = os.environ["OPENAI_API_KEY"]

llm = OpenAI(api_token=openai_api_key)

pandas_ai = PandasAI(llm)

OpenAI GPT-3.5’e ek olarak, Google PALM (Bison) için LLM API sarmalayıcısını veya HuggingFace üzerinde bulunan Starcoder ve Falcon gibi açık kaynak modelleri de kullanabilirsiniz.

from pandasai.llm.starcoder import Starcoder
from pandasai.llm.falcon import Falcon
from pandasai.llm.google_palm import GooglePalm

# GooglePalm
llm = GooglePalm(api_token="YOUR_Google_API_KEY")

# Starcoder
llm = Starcoder(api_token="YOUR_HF_API_KEY")

# Falcon
llm = Falcon(api_token="YOUR_HF_API_KEY")

.env dosyası ayarlayarak api_token belirtmekten de kaçınabilirsiniz. Bunun için aşağıdaki şablonu kullanarak API anahtarlarını .env dosyasına eklemeniz gerekir:

HUGGINGFACE_API_KEY=
OPENAI_API_KEY=

Pandas AI’ın Temel Kullanımları

Bu temel kullanım örneğinde, pandas kütüphanesini kullanarak Netflix Film Verilerini yükleyeceğiz. Veri seti, Netflix’te bulunan 8.500’den fazla film ve TV programından oluşur.

import pandas as pd

df = pd.read_csv("netflix_dataset.csv", index_col=0)
df.head(3)

Python pandas kütüphanesiyle neler yapabileceğinizi öğrenmek için Python pandas eğitimimizi takip edin.

Bir veri çerçevesi ve bir istem ileterek, Pandas AI’ın analiz üretmesini ve veri setini işlemesini sağlayabiliriz. Bizim örneğimizde, Pandas AI’dan en uzun süreli beş filmin kayıtlarını göstermesini isteyeceğiz.

pandas_ai.run(df, prompt='What are 5 longest duration movies?')

Gördüğümüz gibi, en uzun süreye sahip yapım 312 dakikayla Black Mirror.

Şimdi de yalnızca en uzun süreli beş filmin adlarını görüntülemesini isteyelim.

pandas_ai.run(df, prompt='List the names of the 5 longest duration movies.')

['Black Mirror: Bandersnatch', 'Headspace: Unwind Your Mind', 'The School of Mischief', 'No Longer kids', 'Lock Your Girls In']

Not: Gizliliğinizi daha da güçlendirmek isterseniz, PandasAI’ı enforce_privacy = True ile başlatabilirsiniz; bu, veri kümesi başlıklarını (sadece sütun adlarını) LLM’e göndermeyecektir.

Pandas AI’dan gruplama, sıralama ve birleştirme gibi karmaşık görevleri yapmasını da isteyebiliriz.

pandas_ai.run(df, prompt='What is the average duration of tv shows based on country? Make sure the output is sorted.')

country
Denmark, Singapore, Canada, United States    10.0
United States, Mexico, Colombia               7.0
Canada, United States, France                 5.5
United Kingdom, Ireland                       5.0
Canada, United Kingdom                        5.0
                                             ... 
Spain, Cuba                                   1.0
Germany, France, Russia                       1.0

Not: Özellikle sütunları gruplamanızı istediğinizde, bazı teknik istemler çalışmayabilir.

Pandas AI’ın İleri Düzey Kullanımları

Pandas AI için ileri düzey bir kullanım örneği, birden çok veri çerçevesi kullanarak karmaşık veri görselleştirmeleri ve iş analizi oluşturmaktır.

İlk örnekte, türe göre kategorize edilmiş şekilde, yıl bazında başlık sayısını gösteren bir çubuk grafik üretmesi için bir istem yazabiliriz.

pandas_ai.run(df, prompt='Plot the bar chart of type of media for each year release, using different colors.')

Not: save_charts parametresini True yaparak Pandas AI tarafından oluşturulan tüm grafikleri kaydedebilirsiniz. Örneğin, PandasAI(llm, save_charts=True). Grafikler ./pandasai/exports/charts directory konumuna kaydedilecektir.

İkinci örnekte, üç veri çerçevesi oluşturacak ve bu üç veri çerçevesinin tamamını kullanarak Pandas AI ile analiz üreteceğiz.

Pandas AI önce df1 ile df2’yi "store" üzerinden, ardından df2 ile df3’ü "location" üzerinden birleştirecektir. Daha sonra birleştirilen veri kümesini işleyerek birkaç saniye içinde bir sonuç üretecektir. Bir veri bilimcisinin veriyi anlaması ve bir çözüm geliştirmesi en az 10 dakika alırdı.

# DataFrame 1
df1 = pd.DataFrame({
    'sales': [100, 200, 300],
    'store': ['Walmart', 'Target', 'Walmart']    
    })

# DataFrame 2        
df2 = pd.DataFrame({        
    'revenue': [400, 500, 600],
    'store': ['Walmart', 'Target', 'Walmart'],
    'location': ['North', 'South', 'West']})

# DataFrame 3  
df3 = pd.DataFrame({
    'profit': [700, 800, 900],    
    'location': ['North', 'South', 'West'],
    'employees': [20, 25, 30]})  

pandas_ai.run([df1,df2,df3], prompt='How many employees work at Walmart?')

50

Ayrıca, bir pandas ile Veri İşleme kursu alarak karmaşık veri analizi görevleri de gerçekleştirebilirsiniz.

Pandas AI Komut Satırı Arayüzü (CLI)

Pandas AI CLI deneysel bir araçtır; deposunu klonlayıp doğrudan projeye geçiş yaparak kurabilirsiniz.

!git clone https://github.com/gventuri/pandas-ai.git
%cd pandas-ai

Ardından, poetry kullanarak sanal bir ortam oluşturup etkinleştireceğiz.

!poetry shell

Not: Sisteminizde poetry kurulu değilse, curl ile şu komutu kullanarak kurabilirsiniz: -sSL https://install.python-poetry.org | python3 -

Etkinleştirilen ortam içinde bağımlılıkları kurmak için aşağıdaki kodu kullanın.

!poetry install

Son olarak, bir terminal açın ve Pandas AI CLI aracını kullanın. Bir veri kümesi, model adı ve istem sağlamanız gerekir. Herhangi bir token verilmezse, pai tokenı .env dosyasından alacaktır.

!pai -d "netflix_dataset.csv" -m "openai" -p "What are 5 longest duration movies?"

• -d, --dataset: Veri kümesine giden dosya yolu.
• -t, --token: HuggingFace veya OpenAI API tokenınız.
• -m, --model: Kullanılacak LLM modeli. Seçenekler: openai, open-assistant, starcoder, falcon, azure-openai veya google-palm.
• -p, --prompt: PandasAI’ın çalıştıracağı istem.

Çalışma akışınızı basitleştirebilecek daha fazla işlev ve özelliği öğrenmek için Pandas AI belgelerini okuyun.

Sonuç

Pandas AI, büyük dil modellerinden yararlanarak veri kümelerinden içgörüler üretmek suretiyle veri analizini dönüştürme potansiyeline sahiptir.

Veri bilimcileri genellikle verileri temizlemek, keşfetmek ve görselleştirmek için önemli ölçüde zaman harcarken, Pandas AI bu tekrarlayan görevlerin çoğunu otomatikleştirir.

Ancak, tüm yapay zekâ araçlarında olduğu gibi, Pandas AI’ın da sınırlamaları vardır ve insanın yerini tamamen alamaz. Elde edilen sonuçların doğruluğunu sağlamak ve istisnai durumları belirlemek için çoğu zaman insan doğrulaması gerekir.

Bu yazıda, Pandas AI’ı veri analizi için nasıl kuracağımızı, yapılandıracağımızı ve kullanacağımızı öğrendik. Pandas AI’ı veri analizi görevlerini yürütmek, veri görselleştirmeleri oluşturmak ve iş içgörüleri elde etmek için birden çok veri çerçevesinden yararlanmak amacıyla kullandık. İstemlerinizi iyileştirerek daha iyi sonuçlar almak isterseniz, bir ChatGPT’ye Giriş kursunu tamamlamayı veya Veri Bilimi için ChatGPT Kılavuz Kartına başvurmayı düşünebilirsiniz.