MeetUp API

MeetUp, üyelerin yerel coğrafi bölgelerinde etkinlikler düzenleyen sanal topluluklar oluşturmasına olanak tanıyan bir sosyal medya sitesidir. MeetUp’ın benimsediği konsept yeni değil, ancak son yıllarda en yenilikçi olanlar arayüz ve kullanıcı deneyimi oldu. Günlük, haftalık, aylık ya da iki ayda bir toplanan bir topluluğa özel etkinlikleri organize etme görevlerini kolaylaştırdı.

MeetUp’ın API’si kullanıcıların doğrudan web sitesinden veri toplamasına olanak tanır. Çoğu API’de olduğu gibi, birçok alan sahibi çağrı yapabileceğiniz veri miktarını sınırlar. Bazı alanlar API belgelerini iyi durumda tutma konusunda mükemmel değildir. Bazıları ise belgelerini mümkün olduğunca kullanıcı dostu yapmakta harika iş çıkarır. MeetUp bu ikisinin arasında bir yerde. API’lerini kullanmanın birçok yolu vardır.

Benim MeetUp’ın API’sini kullanma amacım, Kuzey Teksas’taki Dallas-Fort Worth bölgesindeki üç farklı gruptan veri toplamaktı. MeetUp alanındaki API’ye erişmek için kullandığım dil Python’du. Sizin rahat ettiğinize bağlı olarak, C++ veya Python bir web sitesinin API’sini kullanmak için yeterli olabilir.

Python’a henüz aşina değilseniz, mutlaka Veri Bilimi için Python’a Giriş kursumuza göz atın.

Bu eğitimde, Python kullanarak MeetUp’ın API’sini nasıl çağıracağınızı öğreneceksiniz. Bir grubun kimliğini (ID) nasıl edinebileceğinizi ve bu kimliği API Anahtarınızla birlikte kullanarak bir grubun verilerini JSON formatında nasıl Talep edeceğinizi göstereceğim. Son olarak, yakalanan verileri bir JSON dosyasına nasıl yazacağınızı ve bunun PC/Mac’inize nasıl kaydedileceğini göstereceğim.

Bir API Anahtarı nasıl edinilir?

MeetUp’ın web sitesinde bir API anahtarı almak için etkin bir hesabınız olmalıdır. Web sitesindeki tüm kullanıcılara bir anahtar verilir. Hesabı olmayanlar için ilk adım MeetUp’ta bir hesap oluşturmaktır. Tamamladıktan sonra API anahtarınızı buradan alabilirsiniz.

Anahtarınızı dilediğiniz zaman sıfırlama seçeneğiniz vardır. API anahtarınızı gizli tutmanız önemlidir.

Başlarken

Önce, basit .py betiğinizde kullanılacak tüm Python kütüphanelerini içe aktarmak isteyeceksiniz.

import meetup.api
import json
import requests
import time
import codecs
import sys
import io

API’nin kurulumu

Bu girdiyi çalıştırmaya devam etmeden önce makinenizde meetup.api’nin kurulu olduğundan emin olun. UNIX tabanlı bir komut istemi kullanıyorsanız, aşağıdaki gibi basit bir pip yüklemesi yeterlidir:

pip install meetup.api

Eğer Jupyter Notebooks kullanıyorsanız kütüphaneyi şu şekilde kurabilirsiniz:

!pip install meetup.api

Bu, MeetUp’ın Python için API kütüphanesini kuracaktır.

Python yorumlamalı bir dil olduğundan, tanımlamalar sözdiziminde önemli bir rol oynar. Örneğin, client tanımıyla artık herhangi bir isteği yazabilir ve API anahtarını çağırmak için doğrudan client terimini kullanabilirsiniz; böylece API Anahtarını tekrar tekrar yazmanıza gerek kalmaz. Bu, Python ile kodlamanın önemli bir yönüdür. Önce, API anahtarınızı aşağıdaki gibi client olarak tanımlayacaksınız:

client = meetup.api.Client('API Key Here')

group_info’yu tanımlamak, MeetUp’ın web sitesinde grubun adına göre grubun URL’sini çekmenizi sağlar.

group_info = client.GetGroup({'urlname': 'Group Name Here No Spaces'})

Bir grubun ID’sini alma

Bunu yaptıktan sonra artık group_info’yu çağırabilir ve onunla birçok istek yapabilirsiniz. group_info.link satırını yazarak çıktıda grubun tam URL adresini görürsünüz.

group_info.link

Bir sonraki satırda group_info.id’yi çağırmak size grubun ID numarasını getirecektir.

group_info.id

Bir sonraki adıma geçebilmek için Grubun ID numarasını almak istersiniz.

İstek yapmak

Artık grubunuzun ID numarasını biliyorsunuz. df’yi tanımlayarak isteği çekebilir ve URL’ye grup kimliğinizi ve API anahtarınızı ekleyebilirsiniz. Buna bir request.get denir

df = requests.get('https://api.meetup.com/2/members?group_id=GROUP_ID&key=API_KEY')

df tanımlandığında artık status_code’u, başlıkları (headers), kodlamayı (encoding) çağırabilir ve verileri doğrudan json’ı çağırarak görüntüleyebilirsiniz.

Önce df.status_code yazacaksınız, status_code için çıktı: 200 olmalıdır

Başlıklar için df.headers['content-type'] yazın. Başlıklar için çıktı: application/json;charset=utf-8

Kodlamayı kontrol etmek için df.encoding yazın. Kodlama için çıktı: utf-8

Bu noktada, df olarak tanımlanan veriniz mevcut. Satır içinde bakmak için df.json() yazın

Veriyi bir JSON dosyasına yazma

Bu aşamada veriler elinizde. Sırada, verileri PC/Mac’inize kaydedecek bir JSON dosyasına yazmak var. Bu önemli bir adımdır. Verilere zaten sahipsiniz, ancak yerel sabit diskinize kaydedilmedi. Verileri bir dosyaya yazmak için aşağıdaki kodu kullanabilirsiniz.

try:
 to_unicode = unicode
except NameError:
 to_unicode = str
with io.open('df.json', 'w', encoding='utf8') as outfile:
 str_ = json.dumps(data,
 indent=4, sort_keys=True,
 separators=(',', ': '), ensure_ascii=False)
 outfile.write(to_unicode(str_))

Bunu çalıştırmadan önce, import io komutunu çalıştırarak io kütüphanesini içe aktarın.

Bu kodu çalıştırdığınız anda, MeetUp’ın API’sini kullanarak yaptığınız Request çekiminden gelen verileri, sabit diskinizdeki bir dizine kaydedilen bir JSON dosyasına yazacaktır. Özellikle, kullandığınız .ipynb veya .py dosyasıyla aynı dizinde yer alır.

Eğer Jupyter Notebook kullanıyorsanız, dizininizi Jupyter Notebook’ta son değiştirilen tarihe göre düzenlerseniz dosyayı hemen bulabilmelisiniz. Gelecekte kullanım için daha uygun bir konuma kaydetmekten çekinmeyin.

JSON dosyasının kullanım alanları nelerdir? JSON dosyası, MeetUp’ın API’sini kullanarak çektiğiniz verileri barındırır. Bu verileri çeşitli şekillerde kullanabilirsiniz. Verilerde eksik değerler varsa, verileri temizlemek için Python kullanabilirsiniz. Bir veri kümesi oluşturup Veri Analizi yapmak için çok sayıda teknik uygulayabilirsiniz. Veya verileri görselleştirip veri kümesi içindeki korelasyonları gösteren panolar ve grafikler oluşturabilirsiniz. Son olarak, iyi bir veri kümesi, öngörücü bir model oluşturmak için Makine Öğrenimi algoritmalarını uygulamada kullanılabilir. MeetUp’ın API’sinden yazdığımız JSON dosyasını kullanabileceğiniz şeylerden sadece birkaçı bunlardır. Tek sınırlamanız hayal gücünüzdür. Sonuç olarak, bir web sitesinin API’sinden veri çekmek, veri kümeleri elde etmenin birçok yolundan biridir. Nihai hedef, veri kümesini veri analizi, modelleme ve görselleştirmede iyi kullanmaktır.

Sonuç

Sonuç olarak, MeetUp’ın API’sini kullanarak veri çekmek birkaç adımdan oluşur. İlk adım API Anahtarınızı bulup tanımlamak, sonraki adım ise istenen grubun ID’sini almaktır. Bu bilgilerle dilediğiniz herhangi bir gruptan veri çekebilirsiniz. Çekme isteği yapıldıktan sonra bunu bir JSON dosyasına yazmanız gerekir. API’leri bir araç olarak nasıl kullanacağınızı bilmek, veri toplamak için yararlı ve maliyet etkin bir yoldur. Gelecekteki projelerde çalışabileceğiniz verileri topluyorsunuz. Bir web sitesinin API’sini kullanmak, veri kazıma gibi diğer yöntemlerle karşılaştırıldığında çoğu zaman en az müdahaleci yöntemdir. Bir JSON dosyasına sahip olduktan sonra onunla yapılacak işler hâlâ vardır. Verileri yine temizlemeniz gerekecek. Yeni başlayan biri olarak veri temizleme terimini anlamanız gerekir. Veri temizleme, bir veri kümesindeki sütun ve satırların eksik olmadığı şekilde veri kümesini düzenlemenizdir. Eksik sayısal verileri ve kategorik verileri (isimler, konumlar vb.) inceleyeceksiniz. Artık MeetUp’ın API’sinden veri çekmeye başlamak için gereken araçlara sahipsiniz.

Bir API’den talep edilen verilerle çalışmaya başlamadan önce verileri temizlemeniz gerekir. Nasıl yapılacağını öğrenmek isterseniz, mutlaka Python’da Veri Temizleme kursumuza göz atın.

Bir web sitesinin API’sini kullanırken, bir API’nin kullanımına getirilen sınırlamaların farkında olun. Bu kuralları Alan Sahipleri kendileri belirler. Farkındalıkla hareket edin ve duyarlı olun.

Python ile Google’ın Vision API’sine Yeni Başlayanlar Kılavuzu eğitimimize göz atın.