API MeetUp

MeetUp est un réseau social qui permet à ses membres de créer des communautés en ligne pour organiser des événements dans leur zone géographique. Le concept n’est pas nouveau, mais l’interface et l’expérience utilisateur ont fortement évolué ces dernières années. La plateforme facilite l’organisation d’événements propres à une communauté qui se réunit au quotidien, chaque semaine, chaque mois ou tous les deux mois.

L’API de MeetUp permet de collecter directement des données depuis le site. Comme pour la plupart des API, de nombreux domaines limitent le volume d’appels autorisés. Certaines organisations entretiennent mal la documentation de leur API ; d’autres font un excellent travail pour la rendre la plus accessible possible. MeetUp se situe entre les deux. Il existe de nombreuses façons d’exploiter leur API.

Mon usage de l’API MeetUp a consisté à collecter des données de trois groupes différents dans la région de Dallas–Fort Worth, au nord du Texas. Le langage utilisé pour accéder à l’API sur le domaine de MeetUp était Python. Selon vos préférences, C++ ou Python conviennent pour consommer l’API d’un site web.

Si vous ne connaissez pas encore Python, consultez notre cours Intro to Python for Data Science.

Dans ce tutoriel, vous apprendrez à appeler l’API de MeetUp avec Python. Je vous montrerai comment récupérer l’ID d’un groupe et comment utiliser cet ID avec votre clé API pour effectuer une requête et obtenir les données du groupe au format JSON. Enfin, je vous expliquerai comment écrire les données capturées dans un fichier JSON enregistré sur votre PC/Mac.

Comment obtenir une clé API ?

Sur le site de MeetUp, vous devez avoir un compte actif pour obtenir une clé API. Tous les utilisateurs du site en disposent. Si vous n’avez pas encore de compte, commencez par vous inscrire sur MeetUp. Une fois l’inscription terminée, vous pouvez récupérer votre clé API ici.

Vous pouvez réinitialiser votre clé à tout moment. Il est essentiel de la conserver confidentielle.

Premiers pas

Commencez par importer toutes les bibliothèques Python utilisées dans votre script .py.

import meetup.api
import json
import requests
import time
import codecs
import sys
import io

Installer l’API

Assurez-vous que meetup.api est installé sur votre machine avant d’exécuter la suite. Une simple installation avec pip suffit si vous utilisez un terminal basé sur UNIX, comme suit :

pip install meetup.api

Si vous utilisez Jupyter Notebooks, vous pouvez installer la bibliothèque ainsi :

!pip install meetup.api

Cela installera la bibliothèque de l’API MeetUp pour Python.

Python étant un langage interprété, la définition des objets joue un rôle important dans la syntaxe. Par exemple, en définissant client, vous pourrez formuler des requêtes et simplement utiliser le terme client pour appeler la clé API, sans avoir à la retaper à chaque fois. C’est une bonne pratique en Python. Commencez par définir votre clé API en tant que client comme suit :

client = meetup.api.Client('API Key Here')

Définir group_info vous permet de récupérer l’URL d’un groupe à partir de son nom sur le site de MeetUp.

group_info = client.GetGroup({'urlname': 'Group Name Here No Spaces'})

Récupérer l’ID d’un groupe

Une fois cela fait, vous pouvez appeler group_info et effectuer plusieurs requêtes avec. En saisissant group_info.link, la sortie sera l’URL complète du groupe.

group_info.link

En appelant group_info.id à la ligne suivante, vous obtiendrez l’identifiant (ID) du groupe.

group_info.id

Vous aurez besoin de l’ID du groupe pour passer à l’étape suivante.

Effectuer des requêtes

Vous connaissez désormais l’ID de votre groupe. Vous pouvez préparer la requête en définissant df et en insérant l’ID du groupe et la clé API dans l’URL. Il s’agit d’un request.get

df = requests.get('https://api.meetup.com/2/members?group_id=GROUP_ID&key=API_KEY')

Avec df défini, vous pouvez maintenant consulter le status_code, les en-têtes, l’encodage, et afficher directement les données en JSON.

Commencez par saisir df.status_code ; le code de statut attendu est : 200

Pour les en-têtes, tapez df.headers['content-type'] Sortie attendue : application/json;charset=utf-8

Pour vérifier l’encodage, tapez df.encoding Sortie attendue : utf-8

À ce stade, vos données, définies en tant que df, existent. Pour les afficher en ligne, saisissez df.json()

Écrire les données dans un fichier JSON

Vous avez maintenant les données. L’étape suivante consiste à les écrire dans un fichier JSON enregistré sur votre PC/Mac. C’est une étape importante : vous disposez des données, mais elles ne sont pas encore enregistrées localement. Utilisez le code suivant pour écrire les données dans un fichier.

try:
 to_unicode = unicode
except NameError:
 to_unicode = str
with io.open('df.json', 'w', encoding='utf8') as outfile:
 str_ = json.dumps(data,
 indent=4, sort_keys=True,
 separators=(',', ': '), ensure_ascii=False)
 outfile.write(to_unicode(str_))

Avant d’exécuter ce code, importez la bibliothèque io avec import io.

Au moment où vous lancerez ce code, il écrira dans un fichier JSON les données récupérées via la requête effectuée avec l’API de MeetUp. Le fichier sera enregistré dans le dossier de travail de votre disque dur, plus précisément dans le même répertoire que votre fichier .ipynb ou .py.

Si vous utilisez Jupyter Notebook, vous devriez le retrouver immédiatement en triant votre répertoire par « Dernière modification ». Libre à vous de le déplacer ensuite vers un emplacement plus pratique.

À quoi sert ce fichier JSON ? Il contient les données extraites via l’API de MeetUp. Vous pouvez les exploiter de multiples façons. Si des valeurs manquent, vous pouvez nettoyer les données avec Python. Vous pouvez constituer un jeu de données et appliquer différentes techniques pour réaliser une analyse de données. Vous pouvez aussi visualiser les données et construire des tableaux de bord et graphiques pour faire apparaître des corrélations. Enfin, un bon jeu de données peut servir à entraîner des algorithmes de Machine Learning afin de bâtir un modèle prédictif. Ce ne sont là que quelques exemples d’usages possibles du fichier JSON que nous avons écrit depuis l’API MeetUp. La seule limite, c’est votre imagination. En somme, interroger l’API d’un site web est l’une des nombreuses façons d’obtenir des jeux de données. L’objectif final est d’exploiter ces données à bon escient pour l’analyse, la modélisation et la visualisation.

Conclusion

En résumé, extraire des données via l’API de MeetUp se fait en plusieurs étapes. D’abord, retrouver et identifier votre clé API, puis récupérer l’ID du groupe visé. Avec ces informations, vous pouvez extraire les données de n’importe quel groupe. Une fois la requête effectuée, vous devrez l’écrire dans un fichier JSON. Savoir utiliser les API est un moyen utile et économique de collecter des données, que vous pourrez réutiliser dans de futurs projets. Comparée à d’autres méthodes comme le scraping, l’API d’un site web est souvent la plus discrète. Une fois le fichier JSON obtenu, le travail n’est pas terminé : il faudra encore nettoyer les données. En tant que débutant, vous devrez comprendre ce qu’implique le nettoyage des données : organiser un jeu de données pour que ses lignes et ses colonnes ne comportent pas de valeurs manquantes, examiner les données numériques manquantes et les données catégorielles (noms, lieux, etc.). Vous avez désormais les clés pour commencer à extraire des données depuis l’API de MeetUp.

Avant de pouvoir exploiter les données récupérées via une API, il faut les nettoyer. Pour apprendre comment faire, suivez notre cours Cleaning Data in Python.

Lorsque vous utilisez l’API d’un site web, veillez à respecter ses limitations d’usage. Les propriétaires de domaines fixent eux-mêmes ces règles. Faites preuve de discernement et de responsabilité.

Découvrez aussi notre tutoriel Beginner's Guide to Google's Vision API in Python.