Lewati ke konten utama

Kursus

Web Scraping di R

MenengahTingkat Keterampilan

Diperbarui 04/2024

Pelajari cara mengumpulkan dan mengunduh data secara efisien dari situs web mana pun menggunakan R.

Mulai Kursus Gratis

RData Preparation

4 jam

13 videos

45 Latihan

3,600 XP

15,001

Pernyataan Pencapaian

Dipercaya oleh para pelajar di ribuan perusahaan

Melatih Tim?

Coba untuk Bisnis

Deskripsi Kursus

Pernahkah Anda menemukan situs web yang menampilkan banyak data seperti statistik, ulasan produk, atau harga dalam format yang tidak siap untuk analisis data? Sering kali, otoritas dan penyedia data lainnya menerbitkan data mereka dalam tabel yang tertata rapi. Namun, tidak semua situs tersebut menyertakan tombol unduh—jangan khawatir. Dalam kursus ini, Anda akan belajar cara mengumpulkan dan mengunduh data dari situs web mana pun dengan efisien menggunakan R. Anda akan mempelajari cara mengotomatiskan scraping dan parsing Wikipedia menggunakan paket rvest dan httr. Melalui latihan praktik, Anda juga akan memperluas pemahaman tentang HTML dan CSS, fondasi halaman web, sambil membuat alur kerja pengambilan data Anda lebih andal dan efisien.

Persyaratan

Intermediate R Introduction to the Tidyverse

1

Pendahuluan HTML dan Web Scraping

Pada bab ini, Anda akan diperkenalkan pada Hyper Text Markup Language (HTML), bahasa deklaratif yang digunakan untuk menyusun situs web modern. Dengan pustaka rvest, Anda akan belajar cara melakukan kueri elemen HTML sederhana dan melakukan scraping tabel pertama Anda.

Pengantar HTML

Membaca HTML

Waspadai kesalahan sintaks!

Menavigasi HTML

Pilih semua child dari sebuah daftar

Mengurai hyperlink ke dalam data frame

Ambil tabel pertama Anda

Urutan elemen tabel yang benar

Ubah tabel menjadi data frame dengan html_table()

2

Navigasi dan Seleksi dengan CSS

Cascading Style Sheets (CSS) menjelaskan bagaimana elemen HTML ditampilkan pada halaman web, termasuk warna, font, dan tata letak umum. Pada bab ini, Anda akan mempelajari mengapa selektor dan penggabung (combinator) CSS merupakan komponen penting untuk web scraping.

Pengantar CSS

Pilih beberapa tipe HTML

Urutkan selector CSS berdasarkan jumlah hasil

Kelas dan ID CSS

Identifikasi tipe selektor yang benar

Manfaatkan keunikan ID

Pilih elemen anak terakhir dengan pseudo-class

Kombinator CSS

Pilih turunan langsung dengan child combinator

Berapa banyak elemen yang dikembalikan?

Sederhana tapi terbaik!

Tidak semua saudara setara

3

Seleksi Lanjutan dengan XPATH

Selektor CSS yang Anda pelajari di bab sebelumnya sangat kuat tetapi memiliki keterbatasan. Misalnya, ketika Anda ingin memilih node berdasarkan properti turunannya. XPath hadir sebagai solusi! Dengan menggunakan bahasa kueri ini, Anda dapat menavigasi dan melakukan scraping bahkan pada HTML yang paling rumit sekalipun.

Pengantar XPATH

Temukan padanan CSS yang benar

Pilih berdasarkan class dan ID dengan XPATH

Gunakan predikat untuk memilih node berdasarkan anaknya

Fungsi XPATH dan predikat lanjutan

Cari alternatif XPATH yang lebih elegan

Mengenal fungsi position()

Ekstrak node berdasarkan jumlah anaknya

Fungsi XPATH text()

Keterbatasan html_table() pada tabel yang strukturnya buruk

Memilih langsung dari elemen induk dengan text() milik XPATH

Gabungkan data yang diekstrak ke dalam data frame

Scrape elemen berdasarkan teksnya

4

Praktik Terbaik Scraping

Sekarang Anda sudah tahu cara mengekstrak konten dari halaman web, saatnya melihat di balik layar. Pada bab terakhir ini, Anda akan mempelajari mengapa permintaan HTTP merupakan fondasi setiap aksi scraping dan bagaimana menyesuaikannya agar sesuai dengan praktik terbaik dalam web scraping.

Hakikat permintaan HTTP

Manakah pernyataan tentang HTTP berikut yang salah?

Lakukan dengan cara httr

Houston, kita mendapat 404!

Menyatakan identitas Anda dengan user agent kustom

Lihat user agent Anda

Tambahkan user agent kustom

Cara bersikap santun dan memperlambat permintaan Anda

Argumen kustom untuk fungsi yang ditahan lajunya

Terapkan throttling pada perayap multi-halaman

Rekap: Web Scraping di R

Web Scraping di R

Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja AndaDaftar sekarang

Bergabung dengan 19 juta pelajar dan mulai Web Scraping di R Hari Ini!

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.