이 강의들을 수강한 후, 전문적인 시각화와 대시보드를 자신 있게 만들 수 있게 되었습니다
Shoebur Rahman구매 담당자, Giz Bangladesh
강의 설명
인터넷 전반에 저장된 정보를 가져오고 파싱하는 도구를 만드는 능력은 데이터 사이언스의 여러 분야에서 과거에도, 지금도 매우 가치가 있습니다. 이 과정에서는 HTML 코드를 탐색하고 파싱하는 방법을 배우고, 웹사이트를 자동으로 크롤링하는 도구를 만들어 봅니다. 스크레이핑은 다재다능한 Python 라이브러리인 scrapy로 진행하지만, 이 과정에서 배우는 많은 기법은 BeautifulSoup과 Selenium을 비롯한 다른 인기 있는 Python 라이브러리에도 적용할 수 있습니다. 과정을 마치면 HTML 구조에 대한 견고한 정신 모델을 갖추게 되고, HTML 코드를 파싱해 원하는 정보를 가져오는 도구를 만들 수 있으며, 대규모 웹 크롤링을 수행하는 간단한 scrapy 스파이더도 작성할 수 있게 됩니다.
선수 과목
커리큘럼
강의 개요
1
HTML 소개
HTML의 구조를 배웁니다. 먼저 웹 스크레이핑이 데이터 사이언스 도구 상자에 왜 유용한지 설명한 뒤, HTML의 기본을 살펴봅니다. 마지막에는 HTML 코드 내부 요소를 탐색하는 데 쓰이는 XPath 표기법을 간단히 소개합니다.
2
XPath와 셀렉터
XPath 문법을 활용해 scrapy 셀렉터를 탐색해 보세요. 이 두 가지 개념은 HTML 문서를 스크레이핑할 수 있는 단계로 여러분을 이끌어 줍니다.
3
CSS 로케이터, 체이닝, 그리고 Response
CSS 로케이터 문법을 배우고, CSS 로케이터를 XPath와 체이닝하는 아이디어를 실습해 봅니다. 또한 여러 웹사이트에 걸쳐 스크레이핑을 확장하는 데 유용한 추가 도구를 제공하면서 셀렉터처럼 동작하는 Response 객체를 소개합니다.
4
스파이더
scrapy로 웹 크롤러를 만드는 방법을 배웁니다. 이 scrapy 스파이더는 이전 장에서 익힌 절차에 따라 링크를 따라가며 여러 페이지를 자동으로 크롤링합니다.
Python으로 하는 웹 스크레이핑
강의
완료
