Amazon’u Python ile Nasıl Kazırsınız

İnternetin bu kadar çok veriyle dolup taştığı ve verinin adeta yeni petrol olduğu günümüzde, web kazıma çeşitli uygulamalarda daha da önemli ve pratik hale geldi. Web kazıma, bir web sitesinden bilgi çıkarmayı ya da kazımayı konu alır. Bazen web hasadı veya web veri çıkarımı olarak da adlandırılır. Bir web sitesinden metni kopyalayıp yerel sisteminize yapıştırmak da web kazımadır; ancak bu manuel bir iştir. Genellikle web kazıma, web tarayıcılarının yardımıyla veriyi otomatik olarak çıkarmayı kapsar. Web tarayıcıları, HTTP protokolünü kullanarak dünya çapındaki ağa bağlanan ve veriyi otomatik şekilde getirmenizi sağlayan betiklerdir.

İster bir veri bilimci, ister mühendis ya da büyük veri kümelerini analiz eden herhangi biri olun, webden veri kazıyabilme yeteneği faydalı bir beceridir. Diyelim ki webde bir veri buldunuz ve bunu indirmenin doğrudan bir yolu yok; Python ile web kazıma, veriyi daha sonra içe aktarılabilecek ve çeşitli şekillerde kullanılabilecek işe yarar bir forma çıkarmak için kullanabileceğiniz bir beceridir.

Web kazımanın bazı pratik kullanım alanları şunlar olabilir:

• Belirli bir beceriye sahip adayların özgeçmişlerini toplama,
• Belirli hashtag’lerle Twitter’dan tweet çekme,
• Pazarlamada potansiyel müşteri (lead) oluşturma,
• Bu eğitimin odak noktası olan Amazon gibi e-ticaret sitelerinden ürün ayrıntıları ve yorumlarını kazıma

Yukarıdaki kullanım örneklerinin yanı sıra, doğal dil işleme alanında da derin öğrenme modelini eğitmek üzere web sitelerinden metin çıkarmak için web kazıma yaygın biçimde kullanılır.

Devam etmeden önce, Amazon gibi web sitelerinin içeriklerine nasıl erişilebileceğini veya yeniden kullanılabileceğini etkileyen belirli hizmet şartlarını güncelleyebileceğini ya da yeni teknik kısıtlamalar getirebileceğini unutmayın. Kendi kullanım senaryonuzun uyumlu olduğundan emin olmak için sitenin Hizmet Şartlarını ve robots.txt dosyasını incelemek sizin sorumluluğunuzdadır. Politikalar değişebilir ve izinler farklılık gösterebilir.

Web Kazımanın Olası Zorlukları

• Web sitelerinden bilgi kazırken karşılaşacağınız zorluklardan biri, web sitelerinin farklı yapılarıdır. Yani sitelerin şablonları değişir ve benzersizdir; dolayısıyla siteler genelinde genelleme yapmak zor olabilir.

• Bir diğer zorluk ise süreklilik olabilir. Web geliştiricileri sitelerini sürekli güncellediğinden, tek bir kazıyıcıya uzun süre güvenemezsiniz. Değişiklikler küçük olsa bile veri çekerken yine de engel oluşturabilir.

Dolayısıyla bu zorlukları ele almak için çeşitli olası çözümler vardır. Biri, web sitesindeki değişiklikler dinamik olacağından sürekli tümleştirme ve teslim (CI/CD) yaklaşımını ve sürekli bakımı takip etmektir.

Daha gerçekçi bir yaklaşım ise çeşitli web siteleri ve platformlar tarafından sunulan Uygulama Programlama Arayüzlerini (API’ler) kullanmaktır. Örneğin Facebook ve Twitter, verileriyle denemeler yapmak ya da örneğin tüm arkadaşlar ve ortak arkadaşlarla ilgili bilgileri çıkarıp bunun bir bağlantı grafiğini çizmek isteyen geliştiriciler için özel olarak tasarlanmış API’ler sağlar. API’ler kullanılırken verinin formatı, standart web kazımadan farklıdır; JSON veya XML olur; standart web kazımada ise çoğunlukla HTML biçimindeki verilerle uğraşırsınız.

Beautiful Soup Nedir?

Beautiful Soup, bir web sitesinden yapılandırılmış veri çıkarmaya yönelik saf bir Python kütüphanesidir. HTML ve XML dosyalarından veri ayrıştırmanızı sağlar. Bir yardımcı modül olarak görev yapar ve HTML ile, diğer geliştirici araçlarını kullanarak bir web sayfasıyla nasıl etkileşime giriyorsanız ona benzer ama daha iyi bir şekilde etkileşime girer.

• Genellikle, lxml ve html5lib gibi favori ayrıştırıcılarınızla çalışıp ayrıştırma ağacında gezinme, arama ve değiştirme için doğal Python yolları sağladığından, programcılara saatlerce hatta günlerce zaman kazandırır.

• Beautiful Soup’un bir diğer güçlü ve kullanışlı özelliği, getirilen belgeleri Unicode’a ve dışarı giden belgeleri UTF-8’e dönüştürme zekâsıdır. Bir geliştirici olarak, belge kendi içinde bir kodlama belirtmediği ya da Beautiful Soup bunu tespit edemediği sürece bununla ayrıca uğraşmanız gerekmez.

• Diğer genel ayrıştırma ya da kazıma teknikleriyle karşılaştırıldığında daha hızlı olduğu da kabul edilir.

Ayrıştırıcı Türleri

Daha fazlasını buradan okuyabilirsiniz.

Yeterince teori, değil mi? Öyleyse beautiful soup’u kuralım ve Python kullanarak özelliklerini ve yeteneklerini öğrenmeye başlayalım.

İlk adım olarak, terminaliniz veya jupyter lab aracılığıyla Beautiful Soup kütüphanesini kurmanız gerekir. Beautiful Soup’u kurmanın en iyi yolu pip üzerinden olduğu için, pip modülünün zaten kurulu olduğundan emin olun.

!pip3 install beautifulsoup4

Requirement already satisfied: beautifulsoup4 in /usr/local/lib/python3.7/site-packages (4.7.1)
Requirement already satisfied: soupsieve>=1.2 in /usr/local/lib/python3.7/site-packages (from beautifulsoup4) (1.9.5)

Gerekli kütüphanelerin içe aktarılması

Web sitesinden veriyi kazımak ve seaborn, matplotlib ve bokeh yardımıyla görselleştirmek için kullanacağınız gerekli paketleri içe aktaralım.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
import re
import time
from datetime import datetime
import matplotlib.dates as mdates
import matplotlib.ticker as ticker
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests

Amazon En Çok Satan Kitapları Kazıma

Kazıyacağınız URL şu: https://www.amazon.in/gp/bestsellers/books/. Sayfa parametresi her sayfanın verisine erişmek için değiştirilebilir. Bu nedenle, tüm sayfalara erişmek için gerekli veri kümesini almak amacıyla tüm sayfalar arasında döngü kurmanız gerekir; ancak önce siteden sayfa sayısını bulmalısınız.

URL’ye bağlanıp HTML içeriğini almak için aşağıdakiler gereklidir:

• Sayfa numaralarını argüman olarak alan bir get_data fonksiyonu tanımlayın,
• Bir kazıyıcı olarak tespiti atlatmaya yardımcı olacak bir user-agent tanımlayın,
• URL’yi requests.get’e belirtin ve user-agent başlığını argüman olarak iletin,
• requests.get’ten içeriği çıkarın,
• Belirtilen sayfayı kazıyın ve soup değişkenine atayın,

Sonraki ve önemli adım, ihtiyacınız olan tüm verilerin yer alacağı ana etiketi belirlemektir. Çıkaracağınız veriler şunlardır:

• Kitap Adı
• Yazar
• Puan
• Müşteri Sayısı (oylayan)
• Fiyat

Aşağıdaki görsel ana etiketin konumunu gösterir; üzerine geldiğinizde gerekli tüm öğeler vurgulanır.

Ana etikete benzer şekilde, kitap adı, yazar, puan, oylayan müşteri sayısı ve fiyat için öznitelikleri bulmanız gerekir. Kazımak istediğiniz web sayfasına gidip ilgili özniteliği seçin, sağ tıklayın ve öğeyi incele’yi seçin. Bu, aşağıdaki şekilde gösterildiği gibi, salt HTML web sayfasından çıkarmanız gereken belirli bilgi alanlarını bulmanıza yardımcı olacaktır:

Bazı yazar adlarının Amazon’da kayıtlı olmadığını unutmayın; bu nedenle bu yazarlar için ekstra find uygulamanız gerekir. Aşağıdaki hücre kodunda, yazar/yayınevi adlarını çıkarmak için iç içe if-else koşulları göreceksiniz.

no_pages = 2

def get_data(pageNo):  
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0", "Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "Upgrade-Insecure-Requests":"1"}

    r = requests.get('https://www.amazon.in/gp/bestsellers/books/ref=zg_bs_pg_'+str(pageNo)+'?ie=UTF8&pg='+str(pageNo), headers=headers)#, proxies=proxies)
    content = r.content
    soup = BeautifulSoup(content)
    #print(soup)

    alls = []
    for d in soup.findAll('div', attrs={'class':'a-section a-spacing-none aok-relative'}):
        #print(d)
        name = d.find('span', attrs={'class':'zg-text-center-align'})
        n = name.find_all('img', alt=True)
        #print(n[0]['alt'])
        author = d.find('a', attrs={'class':'a-size-small a-link-child'})
        rating = d.find('span', attrs={'class':'a-icon-alt'})
        users_rated = d.find('a', attrs={'class':'a-size-small a-link-normal'})
        price = d.find('span', attrs={'class':'p13n-sc-price'})

        all1=[]

        if name is not None:
            #print(n[0]['alt'])
            all1.append(n[0]['alt'])
        else:
            all1.append("unknown-product")

        if author is not None:
            #print(author.text)
            all1.append(author.text)
        elif author is None:
            author = d.find('span', attrs={'class':'a-size-small a-color-base'})
            if author is not None:
                all1.append(author.text)
            else:    
                all1.append('0')

        if rating is not None:
            #print(rating.text)
            all1.append(rating.text)
        else:
            all1.append('-1')

        if users_rated is not None:
            #print(price.text)
            all1.append(users_rated.text)
        else:
            all1.append('0')     

        if price is not None:
            #print(price.text)
            all1.append(price.text)
        else:
            all1.append('0')
        alls.append(all1)    
    return alls

Aşağıdaki kod hücresi şu işlemleri gerçekleştirecektir:

• get_data fonksiyonunu bir for döngüsü içinde çağırır,
• for döngüsü bu fonksiyonu 1’den sayfa sayısı+1’e kadar yineleyerek çalıştırır.
• Çıktı iç içe bir liste olacağından, önce listeyi düzleştirir ve ardından DataFrame’e geçirirsiniz.
• Son olarak, veri çerçevesini bir CSV dosyası olarak kaydedersiniz.

results = []
for i in range(1, no_pages+1):
    results.append(get_data(i))
flatten = lambda l: [item for sublist in l for item in sublist]
df = pd.DataFrame(flatten(results),columns=['Book Name','Author','Rating','Customers_Rated', 'Price'])
df.to_csv('amazon_products.csv', index=False, encoding='utf-8')

CSV Dosyasını Okuma

Şimdi yukarıdaki hücrede oluşturup kaydettiğiniz CSV dosyasını yükleyelim. Bu adım isteğe bağlıdır; doğrudan df veri çerçevesini de kullanabilir ve aşağıdaki adımı atlayabilirsiniz.

df = pd.read_csv("amazon_products.csv")

df.shape

(100, 5)

Veri çerçevesinin şekli, CSV dosyanızda 100 satır ve 5 sütun olduğunu gösterir.

Veri setinin ilk 5 satırını yazdıralım.

df.head(61)

Şimdi Rating, Customers_Rated ve Price sütunları üzerinde biraz ön işleme yapalım.

• Puanların 5 üzerinden olduğunu bildiğiniz için yalnızca puanı tutup fazlalıkları kaldırabilirsiniz.
• customers_rated sütunundan virgülü kaldırın.
• price sütunundan rupi simgesini ve virgülü kaldırın ve noktaya göre bölün.
• Son olarak, bu üç sütunun tamamını tamsayı veya kayan noktalıya dönüştürün.

df['Rating'] = df['Rating'].apply(lambda x: x.split()[0])

df['Rating'] = pd.to_numeric(df['Rating'])

df["Price"] = df["Price"].str.replace('₹', '')

df["Price"] = df["Price"].str.replace(',', '')

df['Price'] = df['Price'].apply(lambda x: x.split('.')[0])

df['Price'] = df['Price'].astype(int)

df["Customers_Rated"] = df["Customers_Rated"].str.replace(',', '')

df['Customers_Rated'] = pd.to_numeric(df['Customers_Rated'], errors='ignore')

df.head()

Veri çerçevesinin veri türlerini doğrulayalım.

df.dtypes

Book Name           object
Author              object
Rating             float64
Customers_Rated      int64
Price                int64
dtype: object

Veri çerçevesindeki sıfır değerlerini NaN ile değiştirin.

df.replace(str(0), np.nan, inplace=True)
df.replace(0, np.nan, inplace=True)

Veri Çerçevesindeki NaN Sayısını Sayma

count_nan = len(df) - df.count()

count_nan

Book Name          0
Author             6
Rating             0
Customers_Rated    0
Price              1
dtype: int64

Yukarıdaki çıktıya göre, yazar adı olmayan toplam altı kitap ve fiyatı olmayan bir kitap var. Bu bilgiler, kitaplarını satmak isteyen bir yazar için kritik öneme sahiptir ve böyle bilgilerin eksik bırakılmaması gerekir.

Bu NaN’leri düşürelim.

df = df.dropna()

Yazarların Amazon’daki En Yüksek Fiyatlı Kitabı

Hangi yazarların en yüksek fiyatlı kitaba sahip olduğunu bulalım. Sonuçları en iyi 20 yazar için görselleştireceksiniz.

data = df.sort_values(["Price"], axis=0, ascending=False)[:15]

data

from bokeh.models import ColumnDataSource
from bokeh.transform import dodge
import math
from bokeh.io import curdoc
curdoc().clear()
from bokeh.io import push_notebook, show, output_notebook
from bokeh.layouts import row
from bokeh.plotting import figure
from bokeh.transform import factor_cmap
from bokeh.models import Legend
output_notebook()

p = figure(x_range=data.iloc[:,1], plot_width=800, plot_height=550, title="Authors Highest Priced Book", toolbar_location=None, tools="")

p.vbar(x=data.iloc[:,1], top=data.iloc[:,4], width=0.9)

p.xgrid.grid_line_color = None
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2

show(p)

Yukarıdaki grafikten, en yüksek fiyatlı iki kitabın Mecmillan ve P L Dhingra adlı yazarlara ait olduğunu gözlemleyebilirsiniz.

Yazarlara Göre En Yüksek Puanlı Kitaplar

Hangi yazarların en yüksek puanlı kitaplara sahip olduğunu ve bu yazarların hangi kitaplarının en yüksek puan aldığını bulalım. Ancak bunu yaparken, 1000’den az müşteri tarafından oy verilen yazarları filtreleyeceksiniz.

data = df[df['Customers_Rated'] > 1000]

data = data.sort_values(['Rating'],axis=0, ascending=False)[:15]

data

p = figure(x_range=data.iloc[:,0], plot_width=800, plot_height=600, title="Top Rated Books with more than 1000 Customers Rating", toolbar_location=None, tools="")

p.vbar(x=data.iloc[:,0], top=data.iloc[:,2], width=0.9)

p.xgrid.grid_line_color = None
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2

show(p)

Yukarıdaki çıktıya göre, 1000’den fazla müşteri oyu alan en yüksek puanlı ilk üç kitap Inner Engineering: A Yogi’s Guide to Joy, Bhagavad-Gita (Hindi) ve The Alchemist’tir.

p = figure(x_range=data.iloc[:,1], plot_width=800, plot_height=600, title="Top Rated Books with more than 1000 Customers Rating", toolbar_location=None, tools="")

p.vbar(x=data.iloc[:,1], top=data.iloc[:,2], width=0.9)

p.xgrid.grid_line_color = None
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2

show(p)

Yukarıdaki grafik, 1000’den fazla müşteri oyu ile en yüksek puanlı kitaplara sahip ilk 10 yazarı azalan sırada gösteriyor; bunlar arasında Sadhguru, A. C. Bhaktivedanta ve Paulo Coelho yer alıyor.

En Çok Müşteri Oyu Alan Yazarlar ve Kitaplar

En yüksek puanlı kitapları ve yazarları zaten gördünüz; yine de en iyi yazar ve kitabı, o kitaba oy veren müşteri sayısına göre sonuca bağlamak daha ikna edici ve güvenilir olacaktır.

Hızlıca bunu bulalım.

data = df.sort_values(["Customers_Rated"], axis=0, ascending=False)[:20]

data

from bokeh.transform import factor_cmap
from bokeh.models import Legend
from bokeh.palettes import Dark2_5 as palette
import itertools
from bokeh.palettes import d3
#colors has a list of colors which can be used in plots
colors = itertools.cycle(palette)

palette = d3['Category20'][20]

index_cmap = factor_cmap('Author', palette=palette,
                         factors=data["Author"])

p = figure(plot_width=700, plot_height=700, title = "Top Authors: Rating vs. Customers Rated")
p.scatter('Rating','Customers_Rated',source=data,fill_alpha=0.6, fill_color=index_cmap,size=20,legend='Author')
p.xaxis.axis_label = 'RATING'
p.yaxis.axis_label = 'CUSTOMERS RATED'
p.legend.location = 'top_left'

BokehDeprecationWarning: 'legend' keyword is deprecated, use explicit 'legend_label', 'legend_field', or 'legend_group' keywords instead

show(p)

Yukarıdaki grafik, müşteri oyu ile gerçek puanı karşılaştıran yazarların bir saçılım grafiğidir. Grafiğe bakıldıktan sonra şu sonuçlar çıkarılabilir.

• Tereddütsüz, Paulo Coelho’nun The Alchemist’i, puanı ile oylayan müşteri sayısı uyumlu olduğundan en çok satan kitaptır.
• Amish Tripathi’nin Ram - Scion of Ikshvaku (Ram Chandra) adlı kitabı 4,2 puana ve 5766 müşteri oyuna sahiptir. Ancak George S. Clason’ın The Richest Man in Babylon adlı kitabı neredeyse benzer müşteri oylamasına sahipken genel puanı 4,5’tir. Dolayısıyla, daha çok müşteri The Richest Man in Babylon’a yüksek puan vermiştir.

Sonuç

Eğitimi tamamladığınız için tebrikler.

Bu eğitim, Beautiful Soup ile Amazon’u kazımaya ve Bokeh çizim kütüphanesini kullanarak çıkarılan bilgileri görselleştirip anlamlandırmaya temel bir giriş niteliğindeydi. Beautiful Soup ile web kazımayı öğrenme yolunda bir adım daha atmak için iyi bir alıştırma, başka sitelerden veri kazıyıp buradan nasıl içgörüler elde edebileceğinizi görmektir. Popüler siteleri kazımaya dair daha fazla yönlendirme isterseniz, Reddit’i kazıma üzerine bir eğitimimiz de var.

Python’a yeni başlıyorsanız ve daha fazla öğrenmek istiyorsanız, DataCamp’in Python ile Veri Bilimine Giriş kursunu alın.