Name: Вебскрапінг у Python
Rating: 4.796626054358013 (1067 reviews)

Опис курсу

Уміння створювати інструменти для отримання й розбору інформації з інтернету було й залишається цінним для багатьох напрямів науки про дані. У цьому курсі ви навчитеся орієнтуватися в HTML-коді та розбирати його, а також створювати інструменти для автоматичного обходу вебсайтів. Хоча ми виконуватимемо скрапінг за допомогою гнучкої бібліотеки Python — scrapy, багато прийомів із курсу можна застосувати й до інших популярних бібліотек Python, зокрема BeautifulSoup і Selenium. Після завершення курсу ви матимете чітке уявлення про структуру HTML, зможете створювати інструменти для розбору HTML-коду та доступу до потрібної інформації, а також створювати прості «павуки» scrapy для масштабного обходу вебу.

Попередні вимоги

Intermediate Python

Навчальний план

Зміст курсу

Вступ до HTML

Вивчіть структуру HTML. Спершу пояснимо, чому вебскрапінг може стати корисним доповненням до ваших інструментів для роботи з даними, а потім розглянемо основи HTML. Наприкінці глави ми коротко познайомимо вас із нотацією XPath, яку використовують для навігації елементами HTML-коду.

Почати розділ

XPath і селектори

Використовуйте синтаксис XPath для роботи з селекторами scrapy. Обидві ці концепції наблизять вас до вміння скрапити HTML-документ.

Почати розділ

CSS-локатори, ланцюжки та відповіді

Вивчіть синтаксис CSS-локаторів і почніть поєднувати CSS-локатори з XPath у ланцюжки. Ми також познайомимося з об'єктами Response, що поводяться як Selectors, але дають додаткові інструменти для масштабування скрапінгу на кількох сайтах.

Почати розділ

Павуки

Навчіться створювати вебкроулери за допомогою scrapy. Ці «павуки» scrapy переходитимуть вебсторінками, переходячи за посиланнями й автоматично скраплячи кожну з них за процедурами, які ми вивчили в попередніх главах.