MeetUp API

MeetUp is een socialmediawebsite waarmee leden virtuele communities kunnen vormen die evenementen organiseren in hun lokale omgeving. Het concept achter MeetUp is niet nieuw, maar de UI en UX zijn de afgelopen jaren het meest vernieuwend geweest. Het stroomlijnen van taken voor het organiseren van communityspecifieke evenementen die dagelijks, wekelijks, maandelijks of tweewekelijks plaatsvinden, is een stuk eenvoudiger geworden.

De API van MeetUp maakt het mogelijk om data rechtstreeks van de website te verzamelen. Zoals bij de meeste API’s beperken veel domeineigenaren de hoeveelheid data die je kunt opvragen. Sommige domeinen doen het niet geweldig als het gaat om het onderhouden van de documentatie van hun API. Anderen leveren fantastisch werk door hun documentatie zo gebruiksvriendelijk mogelijk te maken. MeetUp zit daar ergens tussenin. Er zijn veel manieren waarop je hun API kunt gebruiken.

Mijn gebruik van de API van MeetUp was om data te verzamelen van drie verschillende groepen in de regio Dallas–Fort Worth in Noord-Texas. De taal die ik gebruikte om toegang te krijgen tot de API op het domein van MeetUp was Python. Afhankelijk van waar je je prettig bij voelt, kunnen C++ of Python volstaan om de API van een website te gebruiken.

Als je nog niet bekend bent met Python, bekijk dan zeker onze cursus Intro to Python for Data Science.

In deze tutorial leer je hoe je met Python de API van MeetUp aanroept. Ik laat zien hoe je de ID van een groep verkrijgt, en hoe je die ID samen met je API Key kunt gebruiken om een request te doen voor de data van een groep in JSON-indeling. Tot slot demonstreer ik hoe je de opgehaalde data in een JSON-bestand wegschrijft dat op je pc/Mac wordt opgeslagen.

Hoe kom je aan een API Key?

Op de website van MeetUp moet je een actief account hebben om een API-sleutel te krijgen. Alle gebruikers op de website krijgen een sleutel. Voor wie nog geen account heeft, is de eerste stap om je aan te melden op MeetUp. Zodra dat is gelukt, kun je je API-sleutel hier ophalen.

Je hebt op elk moment de optie om je sleutel te resetten. Het is belangrijk dat je je API-sleutel vertrouwelijk houdt.

Aan de slag

Allereerst importeer je alle Python-bibliotheken die in je eenvoudige .py-script worden gebruikt.

import meetup.api
import json
import requests
import time
import codecs
import sys
import io
Mogelijk gemaakt door

De API installeren

Zorg dat meetup.api op je machine is geïnstalleerd voordat je deze input uitvoert. Een eenvoudige pip-installatie is alles wat nodig is als je een UNIX-gebaseerde commandoregel gebruikt, als volgt:

pip install meetup.api

Als je Jupyter Notebooks gebruikt, kun je de bibliotheek als volgt installeren:

!pip install meetup.api

Dit installeert de API-bibliotheek van MeetUp voor Python.

Aangezien Python een geïnterpreteerde taal is, speelt definiëren een belangrijke rol in de syntaxis. Door bijvoorbeeld client te definiëren, kun je nu alle requests schrijven en simpelweg de term client gebruiken om de API-sleutel aan te roepen, waardoor je de API Key niet steeds opnieuw hoeft te typen. Dit is een belangrijk aspect van coderen met Python. Eerst definieer je je API-sleutel als client zoals volgt:

client = meetup.api.Client('API Key Here')
Mogelijk gemaakt door

Door group_info te definiëren kun je de url van een groep ophalen op basis van de groepsnaam op de website van MeetUp.

group_info = client.GetGroup({'urlname': 'Group Name Here No Spaces'})
Mogelijk gemaakt door

De ID van een groep ophalen

Als dit gedaan is, kun je nu group_info aanroepen en er meerdere requests mee doen. Door de regel group_info.link te typen, is de output het volledige URL-adres van de groep.

group_info.link
Mogelijk gemaakt door

Door in de volgende regel group_info.id aan te roepen, krijg je het ID-nummer van de groep.

group_info.id
Mogelijk gemaakt door

je wilt het ID-nummer van de groep hebben om door te kunnen gaan met de volgende stap.

Requests doen

Nu ken je het ID-nummer van je groep. Je kunt de request doen door df te definiëren en je group id en API key in de url te zetten. Dit heet een request.get

df = requests.get('https://api.meetup.com/2/members?group_id=GROUP_ID&key=API_KEY')
Mogelijk gemaakt door

Met df gedefinieerd kun je nu de status_code, headers en encoding opvragen, en je kunt de data direct bekijken door de json aan te roepen.

Typ eerst df.status_code, de output voor de status_code zou moeten zijn: 200

Voor de headers typ je df.headers['content-type'] Output voor headers: application/json;charset=utf-8

Om je encoding te controleren typ je df.encoding Output voor encoding: utf-8

Op dit punt bestaat je data, gedefinieerd als df. Om er inline naar te kijken typ je df.json()

De data naar een JSON-bestand schrijven

Je hebt de data op dit moment. Vervolgens schrijf je de data weg naar een json-bestand dat op je pc/Mac wordt opgeslagen. Dit is een belangrijke stap. Je hebt de data al, maar die staat nog niet op je lokale harde schijf. Je kunt de volgende code gebruiken om de data naar een bestand te schrijven.

try:
 to_unicode = unicode
except NameError:
 to_unicode = str
with io.open('df.json', 'w', encoding='utf8') as outfile:
 str_ = json.dumps(data,
 indent=4, sort_keys=True,
 separators=(',', ': '), ensure_ascii=False)
 outfile.write(to_unicode(str_))
Mogelijk gemaakt door

Voordat je dit uitvoert, importeer je de io-bibliotheek door import io te draaien.

Op het moment dat je deze code draait, schrijft hij de data van de Request die je met de API van MeetUp hebt gedaan weg in een JSON-bestand dat in de map op je harde schijf wordt opgeslagen. Specifiek in dezelfde map als het .ipynb- of .py-bestand dat je gebruikt.

Als je Jupyter Notebook gebruikt, zou je het meteen moeten kunnen vinden als je je map in Jupyter Notebook sorteert op laatst gewijzigd. Sla het gerust op een handigere locatie op voor toekomstig gebruik.

Waarvoor kun je het JSON-bestand gebruiken? Het JSON-bestand bevat de data die je met de API van MeetUp hebt opgehaald. Je kunt deze data op allerlei manieren gebruiken. Als de data ontbrekende waarden heeft, kun je Python gebruiken om de data schoon te maken. Je kunt een dataset opbouwen en tal van technieken toepassen om Data-analyse te doen. Of je kunt de data visualiseren en dashboards en grafieken bouwen die correlaties binnen de dataset laten zien. Tot slot kun je een goede dataset gebruiken om Machine Learning-algoritmen toe te passen en een voorspellend model te bouwen. Dit zijn enkele van de dingen die je met het JSON-bestand kunt doen dat we uit de API van MeetUp hebben weggeschreven. Je enige beperking is je verbeelding. Samengevat: data ophalen uit de API van een website is een van de vele manieren om datasets te verkrijgen. Het einddoel is om de dataset goed te gebruiken voor data-analyse, modellering en visualisatie.

Conclusie

Samengevat: data ophalen met de API van MeetUp kost een paar stappen. De eerste stap is het vinden en identificeren van je API Key, de volgende stap is het ID van de gewenste groep ophalen. Met deze informatie kun je data ophalen van elke groep die je wilt. Zodra de request is gedaan, moet je die in een JSON-bestand wegschrijven. Weten hoe je API’s als hulpmiddel gebruikt, is een nuttige en kostenefficiënte manier om data te verzamelen. Je verzamelt data waar je in toekomstige projecten mee kunt werken. Het gebruiken van de API van een website is vaak de minst ingrijpende methode vergeleken met andere methoden zoals scrapen. Als je eenmaal een JSON-bestand hebt, is er ook nog werk aan de winkel. Je zult de data nog moeten schoonmaken. Als beginner is het belangrijk om te begrijpen wat data schoonmaken betekent. Data schoonmaken is wanneer je een dataset zodanig organiseert dat de kolommen en rijen van een dataset niet ontbreken. Je kijkt naar ontbrekende numerieke data en categorische data (namen, locaties, etc.). Je hebt nu de tools om data op te halen uit de API van MeetUp.

Voordat je met data kunt werken die via een API is opgevraagd, zul je de data moeten schoonmaken. Als je wilt leren hoe dat moet, volg dan onze cursus Cleaning Data in Python.

Wees je bij het gebruik van de API van een website bewust van de beperkingen die gelden voor het gebruik van een API. Domeineigenaren stellen deze regels zelf op. Wees zelfbewust en handel met zorg.

Bekijk ook onze tutorial Beginner's Guide to Google's Vision API in Python.