Chuyển đến nội dung chính

Khóa học

Web Scraping bằng R

Trung cấpTrình độ kỹ năng

Đã cập nhật tháng 04, 2024

Học cách thu thập và tải xuống dữ liệu từ bất kỳ trang web nào một cách hiệu quả bằng R.

Bắt Đầu Khóa Học Miễn Phí

RData Preparation4 giờ13 video45 Bài tập3,600 XP14,872Giấy Chứng Nhận Thành Tích

Tạo tài khoản miễn phí

hoặc

Bằng cách tiếp tục, bạn chấp nhận Điều khoản sử dụng, Chính sách bảo mật và việc dữ liệu của bạn được lưu trữ tại Hoa Kỳ.

Được yêu thích bởi học viên tại hàng nghìn công ty

Đào tạo 2 người trở lên?

Thử DataCamp for Business

Mô tả khóa học

Bạn đã từng gặp một trang web hiển thị rất nhiều dữ liệu như thống kê, đánh giá sản phẩm hoặc giá cả theo định dạng không sẵn sàng cho việc phân tích dữ liệu chưa? Thông thường, các cơ quan và nhà cung cấp dữ liệu khác công bố dữ liệu của họ trong các bảng được định dạng gọn gàng. Tuy nhiên, không phải trang nào cũng có nút tải xuống — nhưng đừng lo. Trong khóa học này, bạn sẽ học cách thu thập và tải dữ liệu từ bất kỳ trang web nào bằng R một cách hiệu quả. Bạn sẽ học cách tự động hóa việc thu thập và phân tích Wikipedia bằng các gói rvest và httr. Qua các bài tập thực hành, bạn cũng sẽ mở rộng hiểu biết về HTML và CSS — những khối xây dựng của trang web — đồng thời giúp quy trình thu thập dữ liệu của bạn ít lỗi hơn và hiệu quả hơn.

Điều kiện tiên quyết

Intermediate R Introduction to the Tidyverse

1

Introduction to HTML and Web Scraping

In this chapter, you'll be introduced to Hyper Text Markup Language (HTML), a declarative language used to structure modern websites. Using the rvest library, you'll learn how to query simple HTML elements and scrape your first table.

Introduction to HTML

Read in HTML

Beware of syntax errors!

Navigating HTML

Select all children of a list

Parse hyperlinks into a data frame

Scrape your first table

The right order of table elements

Turn a table into a data frame with html_table()

Bắt Đầu Chương

2

Navigation and Selection with CSS

Cascading Style Sheets (CSS) describe how HTML elements are displayed on a web page, including colors, fonts, and general layout. In this chapter, you'll learn why CSS selectors and combinators are a crucial ingredient for web scraping.

Introduction to CSS

Select multiple HTML types

Order CSS selectors by the number of results

CSS classes and IDs

Identify the correct selector types

Leverage the uniqueness of IDs

Select the last child with a pseudo-class

CSS combinators

Select direct descendants with the child combinator

How many elements get returned?

Simply the best!

Not every sibling is the same

Bắt Đầu Chương

3

Advanced Selection with XPATH

The CSS selectors you got to know in the last chapter are powerful but have their limitations. For example, if you want to select nodes based on the properties of their descendants. XPath to the rescue! Using this query language, you can navigate and scrape even the most hideous HTML.

Introduction to XPATH

Find the correct CSS equivalent

Select by class and ID with XPATH

Use predicates to select nodes based on their children

XPATH functions and advanced predicates

Find a more elegant XPATH alternative

Get to know the position() function

Extract nodes based on the number of their children

The XPATH text() function

The shortcomings of html_table() with badly structured tables

Select directly from a parent element with XPATH's text()

Combine extracted data into a data frame

Scrape an element based on its text

Bắt Đầu Chương

4

Scraping Best Practices

Now that you know how to extract content from web pages, it's time to look behind the curtains. In this final chapter, you’ll learn why HTTP requests are the foundation of every scraping action and how they can be customized to comply with best practices in web scraping.

The nature of HTTP requests

Which of these statements about HTTP is false?

Do it the httr way

Houston, we got a 404!

Telling who you are with custom user agents

Check out your user agent

Add a custom user agent

How to be gentle and slow down your requests

Custom arguments for throttled functions

Apply throttling to a multi-page crawler

Recap: Web Scraping in R

Bắt Đầu Chương

Web Scraping bằng R

Hoàn
Thành

Nhận Giấy Chứng Nhận Hoàn Thành

Thêm chứng chỉ này vào hồ sơ LinkedIn, CV hoặc sơ yếu lý lịch của ban
Chia sẻ trên mạng xã hội và trong đánh giá hiệu suất của banĐăng Ký Ngay

Tham gia cùng hơn 19 triệu học viên và bắt đầu Web Scraping bằng R ngay hôm nay!

Tạo tài khoản miễn phí

hoặc

Bằng cách tiếp tục, bạn chấp nhận Điều khoản sử dụng, Chính sách bảo mật và việc dữ liệu của bạn được lưu trữ tại Hoa Kỳ.

Phát triển kỹ năng dữ liệu với DataCamp cho thiết bị di động

Tiến bộ mọi lúc mọi nơi với các khóa học cho thiết bị di động và thử thách lập trình 5 phút hằng ngày.