본문으로 바로가기

강의

R로 배우는 웹 스크레이핑

중급기술 수준

업데이트됨 2024. 4.

R로 어떤 웹사이트에서도 데이터를 효율적으로 수집하고 다운로드하는 방법을 학습하세요.

무료로 강의 시작

RData Preparation

4시간

13 동영상

45 연습 문제

3,600 XP

14,991

성취 증명서

수천 개 기업의 학습자들이 사랑하는

팀을 교육하시나요?

비즈니스용으로 체험해 보세요

강의 설명

통계, 상품 리뷰, 가격처럼 데이터가 많은 정보를 보여 주지만, 바로 분석하기엔 적합하지 않은 형식의 웹사이트를 본 적이 있으신가요? 많은 기관과 데이터 제공자가 데이터를 깔끔한 표 형태로 공개하지만, 모든 사이트에 다운로드 버튼이 있는 것은 아닙니다. 걱정 마세요. 이 강의에서는 R을 사용해 어떤 웹사이트에서도 데이터를 효율적으로 수집하고 다운로드하는 방법을 배웁니다. rvest와 httr 패키지를 사용해 Wikipedia를 자동으로 스크레이핑하고 파싱하는 법을 익히게 됩니다. 또한 실습을 통해 웹페이지의 구성 요소인 HTML과 CSS에 대한 이해를 넓히고, 데이터 수집 워크플로를 더 안전하고 효율적으로 만드는 방법을 연습합니다.

선수 조건

Intermediate R Introduction to the Tidyverse

1

Introduction to HTML and Web Scraping

In this chapter, you'll be introduced to Hyper Text Markup Language (HTML), a declarative language used to structure modern websites. Using the rvest library, you'll learn how to query simple HTML elements and scrape your first table.

Introduction to HTML

Read in HTML

Beware of syntax errors!

Navigating HTML

Select all children of a list

Parse hyperlinks into a data frame

Scrape your first table

The right order of table elements

Turn a table into a data frame with html_table()

2

Navigation and Selection with CSS

Cascading Style Sheets (CSS) describe how HTML elements are displayed on a web page, including colors, fonts, and general layout. In this chapter, you'll learn why CSS selectors and combinators are a crucial ingredient for web scraping.

Introduction to CSS

Select multiple HTML types

Order CSS selectors by the number of results

CSS classes and IDs

Identify the correct selector types

Leverage the uniqueness of IDs

Select the last child with a pseudo-class

CSS combinators

Select direct descendants with the child combinator

How many elements get returned?

Simply the best!

Not every sibling is the same

3

Advanced Selection with XPATH

The CSS selectors you got to know in the last chapter are powerful but have their limitations. For example, if you want to select nodes based on the properties of their descendants. XPath to the rescue! Using this query language, you can navigate and scrape even the most hideous HTML.

Introduction to XPATH

Find the correct CSS equivalent

Select by class and ID with XPATH

Use predicates to select nodes based on their children

XPATH functions and advanced predicates

Find a more elegant XPATH alternative

Get to know the position() function

Extract nodes based on the number of their children

The XPATH text() function

The shortcomings of html_table() with badly structured tables

Select directly from a parent element with XPATH's text()

Combine extracted data into a data frame

Scrape an element based on its text

4

Scraping Best Practices

Now that you know how to extract content from web pages, it's time to look behind the curtains. In this final chapter, you’ll learn why HTTP requests are the foundation of every scraping action and how they can be customized to comply with best practices in web scraping.

The nature of HTTP requests

Which of these statements about HTTP is false?

Do it the httr way

Houston, we got a 404!

Telling who you are with custom user agents

Check out your user agent

Add a custom user agent

How to be gentle and slow down your requests

Custom arguments for throttled functions

Apply throttling to a multi-page crawler

Recap: Web Scraping in R

R로 배우는 웹 스크레이핑

강의
완료

수료증 획득

LinkedIn 프로필, 이력서 또는 CV에 이 인증서를 추가하세요
소셜 미디어와 성과 평가에서 공유하세요지금 등록

19백만 명 이상의 학습자와 함께 R로 배우는 웹 스크레이핑을(를) 시작하세요!

DataCamp for Mobile을 통해 데이터 분석 능력을 향상시키세요.

모바일 강좌와 매일 5분 코딩 챌린지를 통해 이동 중에도 학습 효과를 높이세요.