Weiter zum Inhalt

Kurs

Web Scraping in R

MittelSchwierigkeitsgrad

Aktualisiert 04/2024

Hier lernst du, wie du mit R Daten von jeder Website effizient sammeln und herunterladen kannst.

Kurs kostenlos starten

RData Preparation

4 Std.

13 Videos

45 Übungen

3,600 XP

14,995

Leistungsnachweis

Beliebt bei Lernenden in Tausenden Unternehmen

Ein Team schulen?

Für Unternehmen ausprobieren

Kursbeschreibung

Bist du schon mal auf eine Website gestoßen, die viele Daten wie Statistiken, Produktbewertungen oder Preise zeigt – aber in einem Format, das sich nicht direkt für die Datenanalyse eignet? Häufig veröffentlichen Behörden und andere Datenanbieter ihre Daten in sauber formatierten Tabellen. Dennoch bieten nicht alle Seiten einen Download-Button an. Kein Grund zur Sorge: In diesem Kurs lernst du, wie du mit R Daten effizient von jeder Website sammeln und herunterladen kannst. Du automatisierst das Scraping und Parsen von Wikipedia mit den Paketen rvest und httr. In praxisnahen Übungen vertiefst du außerdem dein Verständnis von HTML und CSS – den Bausteinen von Webseiten – und machst deine Workflows zur Datenerhebung robuster und effizienter.

Voraussetzungen

Intermediate R Introduction to the Tidyverse

1

Einführung in HTML und Web Scraping

In diesem Kapitel lernst du Hyper Text Markup Language (HTML) kennen – eine deklarative Sprache zur Strukturierung moderner Websites. Mit der rvest-Bibliothek lernst du, einfache HTML-Elemente abzufragen und deine erste Tabelle zu scrapen.

Einführung in HTML

HTML einlesen

Achtung, Syntaxfehler!

HTML navigieren

Alle Kinder einer Liste auswählen

Hyperlinks in ein Data Frame parsen

Scrape deine erste Tabelle

Die richtige Reihenfolge von Tabellenelementen

Wandle eine Tabelle mit html_table() in ein Data Frame um

Kapitel starten

2

Navigation und Auswahl mit CSS

Cascading Style Sheets (CSS) legen fest, wie HTML-Elemente auf einer Webseite dargestellt werden – einschließlich Farben, Schriften und allgemeinem Layout. In diesem Kapitel erfährst du, warum CSS-Selektoren und -Kombinatoren ein entscheidender Baustein fürs Web Scraping sind.

Einführung in CSS

Mehrere HTML-Typen auswählen

Ordne CSS-Selektoren nach der Anzahl der Ergebnisse

CSS-Klassen und -IDs

Bestimme die richtigen Selektortypen

Die Eindeutigkeit von IDs nutzen

Wähle das letzte Kind mit einer Pseudoklasse aus

CSS-Kombinatoren

Direkte Nachkommen mit dem Child-Kombinator auswählen

Wie viele Elemente werden zurückgegeben?

Einfach am besten!

Nicht jedes Geschwister ist gleich

Kapitel starten

3

Erweiterte Auswahl mit XPATH

Die CSS-Selektoren aus dem letzten Kapitel sind stark, haben aber Grenzen – etwa wenn du Knoten anhand der Eigenschaften ihrer Nachkommen auswählen willst. Hier kommt XPath ins Spiel! Mit dieser Abfragesprache kannst du selbst das unübersichtlichste HTML gezielt navigieren und scrapen.

Einführung in XPATH

Finde das passende CSS-Äquivalent

Nach Klasse und ID mit XPATH auswählen

Verwende Prädikate, um Knoten anhand ihrer Kindknoten auszuwählen

XPATH-Funktionen und fortgeschrittene Prädikate

Finde eine elegantere XPATH-Alternative

Lerne die Funktion position() kennen

Knoten anhand der Anzahl ihrer Kinder extrahieren

Die XPATH-Funktion text()

Die Schwächen von html_table() bei schlecht strukturierten Tabellen

Direkt aus dem Elternelement mit XPATHs text() auswählen

Extrahierte Daten zu einem Data Frame zusammenführen

Ein Element anhand seines Textes scrapen

Kapitel starten

4

Best Practices fürs Scraping

Jetzt, da du Inhalte aus Webseiten extrahieren kannst, wird es Zeit, hinter die Kulissen zu schauen. In diesem letzten Kapitel lernst du, warum HTTP-Anfragen die Grundlage jeder Scraping-Aktion sind und wie du sie anpasst, um Best Practices im Web Scraping einzuhalten.

Die Natur von HTTP-Anfragen

Welche dieser Aussagen über HTTP ist falsch?

Mach es auf die httr-Art

Houston, wir haben eine 404!

Sich mit benutzerdefinierten User-Agents zu erkennen geben

Probier deinen User-Agent aus

Füge einen benutzerdefinierten User-Agent hinzu

Wie du rücksichtsvoll bist und deine Anfragen verlangsamst

Eigene Argumente für gedrosselte Funktionen

Drosselung bei einem Crawler über mehrere Seiten anwenden

Rückblick: Web Scraping in R

Kapitel starten

Web Scraping in R

Kurs
abgeschlossen

Leistungsnachweis verdienen

Füge diesen Fähigkeitsnachweis zu deinem LinkedIn-Profil, Anschreiben oder Lebenslauf hinzu
Teile es auf Social Media und in deiner LeistungsbeurteilungJetzt anmelden

Schließe dich 19 Millionen Lernenden an und starte Web Scraping in R heute!

DataCamp gibt es auch für Mobilgeräte

Mit unseren Kursen für Mobilgeräte und täglichen Programmier-Challenges erweiterst du deine Datenkompetenz von unterwegs.