Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
La capacité à construire des outils capables de récupérer et d'analyser des informations stockées sur l'internet a été et continue d'être précieuse dans de nombreux domaines de la science des données. Dans ce cours, vous apprendrez à naviguer et à analyser le code html, et à construire des outils pour explorer automatiquement les sites web. Bien que notre scraping soit réalisé à l'aide de la bibliothèque polyvalente Python scrapy, de nombreuses techniques que vous apprenez dans ce cours peuvent également être appliquées à d'autres bibliothèques Python populaires, notamment BeautifulSoup et Selenium. A l'issue de ce cours, vous disposerez d'un modèle mental solide de la structure html, vous serez capable de construire des outils pour analyser le code html et accéder aux informations souhaitées, et de créer un spider scrapy simple pour explorer le web à grande échelle.
Prérequis
Programme de formation
Plan du cours
1
Débuter en HTML
Apprenez la structure de HTML. Nous commencerons par expliquer pourquoi le web scraping peut être un complément précieux à votre boîte à outils de science des données, puis nous nous pencherons sur les bases de HTML. Nous terminons ce chapitre par une brève introduction à la notation XPath, qui est utilisée pour naviguer dans les éléments du code HTML.
- Vue d'ensemble du Web Scraping50 XP
- Le web-scraping n'est pas un non-sens !50 XP
- Langage de balisage hypertexte50 XP
- HTML Arbre de navigation verbeux50 XP
- De l'arbre à la HTML100 XP
- Attributs50 XP
- Gardez la classe100 XP
- Trouver le reflet50 XP
- Cours accéléré sur XPath50 XP
- Où suis-je ?100 XP
- Il est temps d'agir100 XP
- Une portée de classe100 XP
2
XPaths et sélecteurs
Exploitez la syntaxe de XPath pour explorer les sélecteurs de scrapy. Ces deux concepts vous permettront d'être en mesure de récupérer un document HTML.
3
CSS Localisateurs, chaînage et réponses
Apprenez la syntaxe du localisateur CSS et commencez à jouer avec l'idée d'enchaîner des localisateurs CSS avec XPath. Nous présentons également les objets Response, qui se comportent comme des sélecteurs mais nous donnent des outils supplémentaires pour mobiliser nos efforts de scraping sur plusieurs sites web.
4
Araignées
Apprenez à créer des robots d'indexation avec scrapy. Ces spiders scrapy parcourront le web à travers de multiples pages, en suivant les liens pour scraper chacune de ces pages automatiquement selon les procédures que nous avons apprises dans les chapitres précédents.
Web Scraping en Python
Cours
terminé
