Deep learning avec les notebooks Jupyter dans le cloud

Créer un compte Amazon Web Services

Rendez-vous sur https://aws.amazon.com/ pour créer un compte AWS. Cliquez sur le lien Create an AWS Account.

Sélectionnez le bouton I am a new user et saisissez votre adresse e‑mail. Vous serez guidé pour renseigner des informations comme votre nom, votre e‑mail et un mot de passe.

Configurer votre serveur de calcul dans le cloud

La configuration du serveur comporte plusieurs étapes. Bonne nouvelle : nous vous montrerons comment arrêter votre instance pour ne pas payer lorsque vous ne l’utilisez pas, et la redémarrer facilement une fois qu’elle est prête.

Maintenant que vous avez un compte, vous pouvez y accéder à tout moment en revenant sur https://aws.amazon.com/ puis en cliquant sur Sign In To Console.

Amazon propose une vaste palette de services cloud, ce qui peut dérouter au début. Ici, nous allons nous concentrer sur EC2 (Elastic Cloud Compute). En haut à gauche de la fenêtre du navigateur, ouvrez le menu des services.

Ouvrez ce menu et sélectionnez EC2, généralement la première option. Vous arrivez sur une page indiquant l’état de vos instances EC2 en cours d’exécution. Cliquez au centre sur Launch Instance.

Chaque instance est fournie avec un ensemble de logiciels préinstallés (des « images machine »). Nous devons choisir celle qui nous convient. Dans notre cas, nous allons utiliser une image du AWS Marketplace optimisée pour le deep learning.

Sélectionnez AWS Marketplace dans le menu de gauche.

Puis saisissez deep learning ubuntu dans la barre de recherche :

Vous verrez notamment l’Amazon Deep Learning AMI Ubuntu Version officielle. Sélectionnez-la.

Un menu des types d’instances s’affiche. Chaque type a un prix et des capacités de calcul différents.

Les instances avec GPU commencent par g2 ou p2. Nous recommandons p2.xlarge, qui coûte un peu moins d’un dollar de l’heure. Si vous cherchez moins cher, l’g2.2xlarge est autour de 0,65 $/h, mais elle est moins rapide et moins puissante.

Après avoir choisi votre type d’instance, cliquez sur Configure Instance Details en bas de page. Puis sélectionnez 6. Configure Security Group dans le menu en haut.

Ici, nous allons configurer l’accès à votre instance depuis votre ordinateur.

Chaque ligne définit des règles d’accès à votre instance.

Nous utiliserons des notebooks Jupyter, accessibles sur le port 8888. Si cela vous semble obscur pour l’instant, vous verrez très vite comment cela fonctionne.

Pour l’instant, cliquez sur Add Rule. Dans la nouvelle ligne, choisissez TCP pour le protocole, 8888 pour le port, et 0.0.0.0/0 comme source.

Enfin, cliquez sur le bouton Review and Launch en bas de l’écran. Puis appuyez à nouveau sur Launch.

Il reste une dernière étape de sécurité : la sélection d’une paire de clés. La clé est un fichier sur votre ordinateur qui doit correspondre à un fichier stocké sur le serveur. C’est ce qui empêche d’autres personnes d’utiliser votre serveur. Ne partagez donc jamais vos clés et ne les rendez pas publiques.

Sélectionnez Create a new key pair et donnez un nom à votre clé. Cliquez ensuite sur Download Key Pair pour télécharger la clé dont vous aurez besoin pour accéder à votre serveur.

Vous arriverez rapidement sur un écran semblable à celui‑ci :

La longue chaîne de caractères en bleu est le nom de votre instance. Cliquez dessus pour ouvrir le tableau de bord EC2 et voir votre serveur en cours d’exécution.

Félicitations ! Vous avez maintenant un serveur de deep learning opérationnel dans le cloud.

Connexion à votre serveur

Nous allons maintenant nous connecter à notre serveur via le protocole ssh. De là, nous lancerons un serveur de notebooks Jupyter accessible depuis le navigateur.

Sur macOS ou Linux, vous pouvez utiliser la commande ssh. Sous Windows, beaucoup utilisent l’application PuTTY pour les connexions ssh.

Vous devrez peut‑être modifier les autorisations du fichier de votre clé. Sous macOS et Linux, utilisez la commande suivante :

chmod 400 my_private_key.pem

Puis, toujours en ligne de commande, précisez que cette clé doit être utilisée pour l’authentification lors de la connexion au serveur :

ssh-add my_private_key.pem

Pour vous connecter à notre serveur, il vous faut l’adresse IP du serveur. Elle est indiquée dans le tableau de bord EC2 de votre navigateur.

Connectez‑vous en ligne de commande avec :

ssh ubuntu@34.208.222.118

Remplacez 34.208.222.118 par l’adresse IP de votre serveur.

Une fois connecté, lancez ipython pour ouvrir un shell IPython. Dans IPython, essayez d’importer keras pour vérifier que tout fonctionne. Vous verrez des messages indiquant que CUDA est utilisé… ce qui signifie que keras accède bien au GPU.

Si vous êtes à l’aise avec Linux, IPython et un éditeur de texte Linux, vous pouvez travailler ainsi. Certaines personnes utilisent deux fenêtres : l’une pour se connecter en ssh et utiliser IPython, l’autre pour se connecter en ssh et éditer le code.

Configurer votre notebook Jupyter

La plupart des utilisateurs préféreront toutefois configurer Jupyter et coder depuis le navigateur. Pour cela, définissons un nouveau mot de passe.

Commencez par générer le hash du mot de passe que vous souhaitez utiliser. Dans IPython, exécutez :

Copiez le hash affiché après avoir défini votre mot de passe. Vous en aurez besoin dans un instant.

Tapez exit pour quitter IPython.

Nous devons maintenant indiquer à Jupyter d’utiliser votre mot de passe. Exécutez la série de commandes suivante :

jupyter notebook --generate-configmkdir certscd certssudo openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

Puis éditez le fichier ~/.jupyter/jupyter_notebook_config.py avec l’éditeur de votre choix. J’utilise vim, avec la commande :

vim ~/.jupyter/jupyter_notebook_config.py

Au début du fichier, collez ce qui suit :

c = get_config()c.IPKernelApp.pylab = 'inline' c.NotebookApp.certfile = u'/home/ubuntu/certs/mycert.pem' c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False # Your password below will be whatever you copied earlier c.NotebookApp.password = u'sha1:941c93244463:0a28b4a9a472da0dc28e79351660964ab81605ae' c.NotebookApp.port = 8888

Vous pouvez tout copier tel quel et simplement remplacer le mot de passe. Rappel : n’utilisez pas votre mot de passe en clair. Collez le hash généré précédemment.

Se connecter à Jupyter dans le navigateur

Dans votre navigateur, saisissez l’adresse de votre instance (indiquée dans le tableau de bord EC2) suivie de :8888.

Il se peut qu’un avertissement de sécurité apparaisse. Pas d’inquiétude. Dans Chrome, cliquez sur le bouton « Advanced » dans la fenêtre principale pour contourner l’avertissement.

Vous serez ensuite invité à saisir votre mot de passe.

Saisissez votre mot de passe. Il s’agit du mot de passe en clair que vous avez tapé dans IPython pour obtenir le hash, et non du hash lui‑même.

Bravo, vous êtes connecté !

Utiliser le notebook

Depuis le navigateur, utilisez le menu pour créer un nouveau notebook Python.

Ouf… ce n’était pas simple. Mais la suite sera facile

Mettre en place cet environnement pour les notebooks a demandé quelques efforts. Heureusement, c’est surtout à faire une seule fois. Vous pouvez désormais arrêter votre serveur dans le tableau de bord EC2 quand vous ne l’utilisez pas, et ainsi arrêter la facturation.

Arrêter une instance conserve toute votre configuration, mais l’instance ne fonctionnera plus jusqu’à son redémarrage. C’est en quelque sorte un bouton pause. Si vous choisissiez terminate, toutes les informations de l’instance seraient perdues et vous devriez tout reconfigurer.

Puisque vous avez choisi stop, vous pourrez revenir plus tard sur le tableau de bord EC2 et cliquer sur start.

Une fois démarrée, la remise en route est simple. Votre instance obtiendra une nouvelle adresse IP. Vous devrez vous y reconnecter en ssh :

ssh ubuntu@34.208.26.73

Dans la fenêtre où vous êtes connecté en ssh, tapez :

jupyter notebook

Vous pouvez ensuite revenir dans votre navigateur et reprendre immédiatement le travail.

La configuration a demandé un peu d’efforts, mais vous devriez en tirer un vrai bénéfice au fil de vos projets de deep learning.

Pour aller plus loin, consultez ces cours DataCamp :