After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
인터넷 전반에 저장된 정보를 가져오고 파싱하는 도구를 만드는 능력은 데이터 사이언스의 여러 분야에서 과거에도, 지금도 매우 가치가 있습니다. 이 과정에서는 HTML 코드를 탐색하고 파싱하는 방법을 배우고, 웹사이트를 자동으로 크롤링하는 도구를 만들어 봅니다. 스크레이핑은 다재다능한 Python 라이브러리인 scrapy로 진행하지만, 이 과정에서 배우는 많은 기법은 BeautifulSoup과 Selenium을 비롯한 다른 인기 있는 Python 라이브러리에도 적용할 수 있습니다. 과정을 마치면 HTML 구조에 대한 견고한 정신 모델을 갖추게 되고, HTML 코드를 파싱해 원하는 정보를 가져오는 도구를 만들 수 있으며, 대규모 웹 크롤링을 수행하는 간단한 scrapy 스파이더도 작성할 수 있게 됩니다.
사전 요구 사항
커리큘럼
코스 개요
1
HTML 소개
HTML의 구조를 배웁니다. 먼저 웹 스크레이핑이 데이터 사이언스 도구 상자에 왜 유용한지 설명한 뒤, HTML의 기본을 살펴봅니다. 마지막에는 HTML 코드 내부 요소를 탐색하는 데 쓰이는 XPath 표기법을 간단히 소개합니다.
2
XPath와 셀렉터
XPath 문법을 활용해 scrapy 셀렉터를 탐색해 보세요. 이 두 가지 개념은 HTML 문서를 스크레이핑할 수 있는 단계로 여러분을 이끌어 줍니다.
3
CSS 로케이터, 체이닝, 그리고 Response
CSS 로케이터 문법을 배우고, CSS 로케이터를 XPath와 체이닝하는 아이디어를 실습해 봅니다. 또한 여러 웹사이트에 걸쳐 스크레이핑을 확장하는 데 유용한 추가 도구를 제공하면서 셀렉터처럼 동작하는 Response 객체를 소개합니다.
4
스파이더
scrapy로 웹 크롤러를 만드는 방법을 배웁니다. 이 scrapy 스파이더는 이전 장에서 익힌 절차에 따라 링크를 따라가며 여러 페이지를 자동으로 크롤링합니다.
Python으로 하는 웹 스크레이핑
코스
완료
