JSON ve HTML Verilerini pandas'a Nasıl İçe Aktarırsınız

Giriş

Veri içe aktarma, veriyle ilgili herhangi bir problemin en temel ve ilk adımlarından biridir. Veriyi doğru şekilde içe aktarabilme becerisi, veri bilimi alanında ilerlemek isteyen herkes için olmazsa olmaz bir yetenektir.

Veriler pek çok farklı biçimde bulunur; bu nedenle çeşitli veri formatlarını nasıl içe aktaracağınızı bilmenin yanı sıra, bu verileri nasıl analiz edip dönüştürerek faydalı içgörüler elde edeceğinizi de bilmelisiniz.

pandas, kullanımı kolay, yüksek performanslı ve çeşitli veri formatları için veri analizi araçları sunan, açık kaynaklı bir Python kütüphanesidir.

CSV, JSON, Excel, Pickle vb. gibi çeşitli veri formatlarını okuma olanağı sağlar. Verilerinizi satır ve sütunlardan oluşan tablo yapısında temsil etmenize imkân vererek okunabilir ve sunulabilir hale getirir.

pandas verileri DataFrame biçiminde temsil eder ve veri analizi ile veri dönüştürme için kapsamlı kullanım imkânı sunar. pandas'taki çeşitli işlevleri kullanarak verileri anlamlandırmaya başladığınızda, bu verileri analiz, tahmin, sınıflandırma ve daha pek çok amaç için kullanabilirsiniz!

pandas, üst düzey reader ve writer işlevlerinden oluşan bir giriş/çıkış API'sine sahiptir. Okuyucu işlevi, bir pandas nesnesi döndüren pandas.read_json() ile; yazıcı işlevi ise bir nesne yöntemi olan pandas.to_json() ile erişilir.

DataFrame'in bir Reader ve bir Writer işlevi vardır. Reader işlevi farklı veri formatlarını okumanıza, Writer işlevi ise verileri belirli bir formatta kaydetmenize olanak tanır.

Aşağıda DataFrame'in desteklediği veri formatları yer almaktadır; yani verileriniz aşağıdaki biçimlerden herhangi birindeyse, pandas ile bu verileri yükleyebilir ve hatta belirli bir formata yazabilirsiniz.

Bugünkü eğitimde, yukarıdaki format türlerinden JSON, HTML ve Pickle üzerinde çalışacaksınız.

Not: pandas ile CSV dosyalarını nasıl okuyacağınızı öğrenmek için bu eğitime göz atın.

JSON Verilerini Yükleme

JSON, JavaScript Object Notation olarak da bilinen, veri değişimi için kullanılan bir metin-serileştirme formatıdır. JSON okunması ve yazması kolaydır. JavaScript Programlama Dili'nin bir alt kümesine dayanır ancak Python ve Python dışındaki pek çok dilden gelen kuralları kullanır.

JSON çoğunlukla yapılandırılmamış verileri saklamak için kullanılır ve SQL veritabanları bu verileri kaydetmekte zorlanır. JSON, verileri makinelerin okuması için erişilebilir hale getirir.

JSON esas olarak iki yapıya dayanır:

• Anahtar/değer çiftlerinden oluşan bir koleksiyon. Python'da anahtar/değer çifti Dictionary (sözlük) olarak adlandırılır; key benzersiz bir özniteliktir, değerler ise benzersiz olmak zorunda değildir.

• Sıralı değerler listesi. Sıralı liste bazen listelerin listesi de olabilir. Python'daki listeler, string, integer vb. olabilen değer kümeleridir.

Şimdi JSON verisini birden fazla yolla nasıl yükleyebileceğinize bakalım.

İlk JSON veri kümesi bu bağlantıdandır. Veriler anahtar-değer sözlüğü biçimindedir. Toplam üç anahtar vardır: integer, datetime ve category.

• Önce pandas kütüphanesini içe aktaracak, ardından URL'yi pd.read_json()'a geçirerek bir dataframe elde edeceksiniz. DataFrame'in sütunları anahtarları, satırları ise JSON'un değerlerini temsil eder.

import pandas as pd

json = pd.read_json('https://raw.githubusercontent.com/chrisalbon/simulated_datasets/master/data.json')
Altyapı:

.tail() işlevini kullanarak okuduğunuz JSON'un son birkaç satırını hızlıca yazdıralım.

json.tail(6)
Altyapı:

json.shape
Altyapı:

(100, 3)
Altyapı:

Yukarıdaki çıktıda görüldüğü gibi toplam üç sütun vardır: integer, datetime ve category. Ayrıca, .shape yöntemi 100 x 3 döndürdüğünden veri kümesinde 100 örnek vardır.

• JSON Yazma

JSON yazmak, okumak kadar basittir ve tek satırlık bir koddur. read_json() yerine, bir dosya adıyla birlikte to_json() kullanırsınız, hepsi bu!

json.to_json('dataframe.json')
Altyapı:

• İç İçe (Nested) JSON'u Dize Olarak Ayrıştırma

Şimdi o kadar basit olmayan başka bir JSON türünü kullanacaksınız. Bu bir iç içe JSON yapısıdır. İç içe JSON, her bir key'in kendisine bağlı daha fazla key barındırabildiği anlamına gelir.

Daha iyi anlamak için örnek veri setine bakalım.

nested_json = """{
   "article": [

      {
         "id":"01",
         "language": "JSON",
         "edition": "first",
         "author": "Allen"
      },

      {
         "id":"02",
         "language": "Python",
         "edition": "second",
         "author": "Aditya Sharma"
      }
   ],

   "blog":[
   {
       "name": "Datacamp",
       "URL":"datacamp.com"
   }
   ]
}"""
Altyapı:

Yukarıdaki veri setinde article ve blog'un, altında bu anahtarların değerleri bulunan iki birincil anahtar olduğunu görebilirsiniz. Bu değerlerin her biri kendi anahtar-değer çiftlerine sahiptir.

Dikkat edin, yukarıdaki veri seti çift tırnak içine alınmıştır ve bir dize (string) biçimindedir.

İç içe JSON'u okumanın birden fazla yolu vardır.

Önce, bir JSON dizgesini okumak için json.loads işlevini kullanarak veri değişkenini parametre olarak geçireceksiniz. Ardından, iç içe JSON verilerini bir tabloya yassılaştırmak için json_normalize işlevini kullanacaksınız.

json_normalize işlevini pandas.io.json kütüphanesinden içe aktaracaksınız.

import json  
from pandas.io.json import json_normalize  

nested = json.loads(nested_json)
Altyapı:

nested
Altyapı:

{'article': [{'id': '01',
   'language': 'JSON',
   'edition': 'first',
   'author': 'Allen'},
  {'id': '02',
   'language': 'Python',
   'edition': 'second',
   'author': 'Aditya Sharma'}],
 'blog': [{'name': 'Datacamp', 'URL': 'datacamp.com'}]}
Altyapı:

Şimdi, normalize işlevini kullanarak JSON'u yassılaştıracaksınız. Şimdilik tüm verileri geçirecek ve nasıl göründüğüne bakacaksınız.

nested_full = json_normalize(nested)
Altyapı:

nested_full
Altyapı:

Harika! Yukarıdaki çıktıda gördüğünüz gibi, birincil anahtarlar dataframe'in sütunları, anahtarlar ise satırları temsil eder.

Ancak çıktı biraz karmaşık görünüyor, değil mi? Bunu nasıl birden fazla dataframe'e bölebileceğinize bakalım.

json.loads çıktısını yine json_normalize'a geçireceksiniz ama bu kez record_path adlı ek bir öğe belirteceksiniz.

blog = json_normalize(nested,record_path ='blog')
Altyapı:

blog
Altyapı:

article = json_normalize(nested,record_path ='article')
Altyapı:

article
Altyapı:

Yukarıdaki çıktılardan, birincil anahtarların artık iki farklı dataframe'e bölündüğünü; sütun adlarının ise, birincil anahtarlar altında iç içe geçmiş anahtar-değer çiftleri olarak bulunan anahtarlar haline geldiğini gözlemleyebilirsiniz. Harika, değil mi?

Son olarak, JSON veri yüklemeyi tamamlamak için, JSON'u dize yerine bir dosya olarak nasıl okuyabileceğinizi hızlıca görelim.

• JSON'u Dosya Olarak Okuma

nested_json = {
   "article": [

      {
         "id":"01",
         "language": "JSON",
         "edition": "first",
         "author": "Allen"
      },

      {
         "id":"02",
         "language": "Python",
         "edition": "second",
         "author": "Aditya Sharma"
      }
   ],

   "blog":[
   {
       "name": "Datacamp",
       "URL":"datacamp.com"
   }
   ]
}
Altyapı:

Yukarıdaki hücrede başlangıç ve bitişte çift tırnak olmadığını fark ederseniz, bu verileri bir dosya olarak ele alacağınız ve okuyacağınız anlamına gelir.

Bunu tek satır kodla başarabilirsiniz. Nasıl olduğuna bakalım!

json_file = pd.DataFrame.from_dict(json_normalize(nested_json))
Altyapı:

json_file
Altyapı:

Yukarıdaki çıktıda, dize olarak JSON okuduğunuz zamanki çıktıyla benzer olduğunu görebilirsiniz. Buradaki tek fark, JSON'u ayrıştırmak ve yassılaştırmak için pandas kullanmanız. JSON bir sözlük olduğundan .from_dict() işlevini kullanıyorsunuz.

HTML Verilerini Yükleme

HTML, esas olarak web uygulamaları ve sayfaları oluşturmak için kullanılan Hiper Metin İşaretleme Dili'dir. Bir web sayfasının yapısını semantik olarak tanımlamaya çalışır. Web tarayıcısı bir web sunucusundan bir HTML belgesi alır ve bunu multimedya bir web sayfası olarak işler.

Web uygulamaları için HTML, basamaklı stil sayfaları (CSS) ile kullanılır; sunucu tarafında ise Flask, Django vb. çeşitli web sunucu çatılarıyla birlikte çalışır.

HTML, her kod bloğunu tanımlamak için tag kullanır; örneğin, bir paragrafın başlangıç ve bitişi için <p></p> etiketi, sayfaya resim olarak içerik eklemek için <image></image> etiketi gibi pek çok etiket bir araya gelerek bir HTML web sayfasını oluşturur.

Bir HTML dosyasını okumak için, pandas dataframe bir tag arar. Bu etiket <td></td> etiketidir. Bu etiket, HTML'de bir tabloyu tanımlamak için kullanılır.

pandas, HTML belgesini okumak için read_html() kullanır.

Dolayısıyla, pandas'a bir HTML verdiğinizde ve güzel görünümlü bir dataframe beklediğinizde, HTML sayfasında bir tablo olduğundan emin olun!

• Veri Hakkında: HTML veri kümesi olarak çeşitli kripto paraları ve her birine ilişkin şu tür bilgiler bulunan bir Cryptocurrency web sitesini kullanacaksınız:
  • Coin'in son fiyatı (Last price)
  • Coin fiyatının artıp artmadığı (yüzde olarak %)
  • 24 saatlik hacim (kaç coin işlem gördü 24 volume)
  • Toplam coin sayısı (# Coins)

Hadi başlayalım!

Önce, HTML içeriğini almak istediğiniz URL'ye istek göndermenizi sağlayacak requests kütüphanesini içe aktaracaksınız.

import requests
Altyapı:

url = 'https://www.worldcoinindex.com/'
Altyapı:

crypto_url = requests.get(url)
Altyapı:

crypto_url
Altyapı:

<Response [200]>
Altyapı:

Şu ana kadar, URL'yi tanımladınız ve requests.get() kullanarak bu URL'ye bir istek gönderdiniz; acknowledgement [200] OK yanıtını aldınız; bu da web sunucusu ile bağlantı kurabildiğiniz anlamına gelir.

Artık HTML web sayfasının içeriğini okumak için tek yapmanız gereken, bu cryptocurrency web sayfasının HTML kodunu verecek olan crypto_url.text'i çağırmaktır.

Çıktıyı görmek için crypto_url.text komutunu çalıştırmaktan çekinmeyin.

Son olarak, crypto_url.text'i pd.read_html() işlevine geçireceksiniz; bu işlev size, listedeki her öğenin cryptocurrency web sayfasındaki bir tabloya (dataframe) karşılık geldiği bir dataframe listesi döndürecektir.

crypto_data = pd.read_html(crypto_url.text)
Altyapı:

Dataframe'in uzunluğunu ve türünü yazdıralım. type bir liste olmalıdır.

len(crypto_data), type(crypto_data)
Altyapı:

(1, list)
Altyapı:

Yukarıdaki çıktıya göre, yalnızca 1 tablo vardır ve türü listedir.

crypto_data = crypto_data[0]
Altyapı:

İlk ve ikinci sütunu, işe yarar bilgi içermediklerinden kaldıralım ve tüm satırları koruyalım.

crypto_final = crypto_data.iloc[:,2:]
Altyapı:

Artık cryptocurrency dataframe'ini yazdırma zamanı!

crypto_final.head()
Altyapı:

Yukarıdaki tablodan, Bitcoin'in en yüksek Piyasa Değeri (Market Cap)'ne sahip olduğunu görebilirsiniz.

NaN (Sayı Değil) Değerleri Kaldırma

DataFrame'de gerçek değer olmayan bazı değerler var; bunları tablodan hızlıca kaldıralım.

Ancak önce, tamamen NaN olduğu ve hiçbir bilgi içermediği için Price Charts 7d sütununu tamamen (silerek) kaldıralım.

del crypto_final['Price Charts 7d']
Altyapı:

crypto_final.head()
Altyapı:

Şimdi NaN değerlerini kaldıralım.

crypto_final = crypto_final.dropna()
Altyapı:

Kripto Paraları Görselleştirme (Ticker) ve Fiyatta Yüzde Artış/Azalış (%)

Grafik çizdirmek için önce matplotlib'i içe aktaralım.

import matplotlib.pyplot as plt
%matplotlib inline
Altyapı:

% sütununun türü string ve bunu float'a dönüştürmeniz gerekiyor. Önce sütundan % işaretini kaldıracak, ardından % sütununun türünü float'a çevireceksiniz.

crypto_final['%'] = crypto_final['%'].apply(lambda x: x.strip('%'))
Altyapı:

crypto_final['%'] = crypto_final['%'].astype('float')
Altyapı:

Şimdi verileri çizdirelim.

plt.figure()
plt.figure(figsize=(16,10))
x = crypto_final.iloc[:20]['Ticker']
y = crypto_final.iloc[:20]['%']
plt.xticks(fontsize=12)
plt.yticks(fontsize=14)
plt.xlabel('Percentage Increase/Decrease in Price',fontsize=20)
plt.ylabel('Ticker',fontsize=20)

plt.plot(x,y,label='% Increase/Decrease in Price')
plt.legend(loc='lower left',prop={'size': 15})
Altyapı:

<matplotlib.legend.Legend at 0x1298a9630>

<Figure size 432x288 with 0 Axes>
Altyapı:

Yukarıdaki grafikten, Litecoin (LTC) ve Huobitoken (HT)'in fiyatta en yüksek artışa sahip olduğunu; öte yandan Maticnetwork (MATIC) ve Waves'in kripto paralar içinde fiyatta en yüksek düşüşe sahip olduğunu gözlemleyebilirsiniz.

Pickle Verilerini Yükleme

Pickle, JSON'un aksine insan tarafından okunabilir olmayan, Python'a özgü ikili serileştirme formatıdır. Python'daki bir nesne yapısını serileştirmek ve seriden çıkarmak için kullanılır. Nesneyi serileştirir ve diske kaydetmek için Pickle'lar. DataFrame, liste, sözlük vb. nesneleri bir karakter akışına dönüştürür.

Pickle'ın en iyi yanı, çeşitli Python veri türlerini depolayabilmesidir.

Pickle, eğitilmiş makine öğrenimi algoritma örneklerini saklamak için yaygın olarak kullanılır. JSON gibi Pickle da, Pickle formatındaki bir dosyayı yüklemek için pickle.load() ve bir Pickle'ı ya da başka bir formatı Pickle biçiminde kaydetmek için pickle.dump() gibi kullanışlı işlevlere sahiptir.

Pickle kullanmanın bir diğer önemli avantajı şudur: DataFrame'i Pickle dosyası olarak kaydetmek diskte daha az yer kaplar ve yeniden yüklendiğinde verinin türünü korur.

Şimdi, daha önce oluşturduğunuz kripto para dataframe'ini hızlıca pickle edelim ve ardından bu pickle nesnesini pandas kullanarak okuyalım.

import pickle
Altyapı:

DataFrame'i Pickle nesnesi olarak kaydetmek için pickle.dump kullanacak ve protocol olarak Python 2 ile de geriye dönük uyumlu olan HIGHEST_PROTOCOL'ü seçeceksiniz.

with open('crypto_final.pickle', 'wb') as sub_data:
    pickle.dump(crypto_final, sub_data, protocol=pickle.HIGHEST_PROTOCOL)
Altyapı:

Son olarak, pandas'ın read_pickle işlevini kullanarak pickle nesnesini bir dataframe'e dönüştüreceksiniz.

crypto_final = pd.read_pickle('crypto_final.pickle')
Altyapı:

crypto_final.head()
Altyapı:

Vay canına! Etkileyici değil mi? Ne kadar kolaymış. Üstelik Pickle ile veri türü dönüşüm hataları konusunda endişelenmenize gerek yok; pickle serileştirmesi bunu sizin için halledebilir!

Daha İleri Gidin

Eğitimi tamamladığınız için tebrikler.

Bu eğitim, pandas yardımıyla Python'da farklı veri formatlarını nasıl yükleyebileceğinize dair iyi bir başlangıç noktasıydı.

Excel, SQL, HDF5 vb. gibi pandas'ın veri içe aktarma şemsiyesi altına giren daha pek çok veri formatı var. Bu veri formatlarında ilginç kamuya açık veri setleri bularak onlarla pratik yapmalı ve denemeler yapmalısınız.

pandas'ta DataFrame'ler hakkında daha fazla bilgi edinmek isterseniz, DataCamp'in pandas ile veri manipülasyonu interaktif kursunu alın. DataCamp'in ayrıca dataframe'leri birleştirme, hareketli ortalamaları uygulama ve apply yöntemini kullanma gibi konuları kapsayan birkaç kullanışlı pandas eğitimi daha var. Ya da pandas'a tamamen yeniyseniz, bu başlangıç rehberi niteliğindeki pandas eğitiminden başlayın. 

Kaynaklar:

• Python'da JSON Verileri
• pandas Eğitimi: read_csv() ile Veri İçe Aktarma

Lütfen bu eğitimle ilgili tüm sorularınızı aşağıdaki yorum bölümünde sormaktan çekinmeyin.