After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Czy zdarzyło ci się trafić na stronę internetową pełną danych – statystyk, recenzji produktów czy cen – w formacie, który nie nadaje się bezpośrednio do analizy? Władze publiczne i inne instytucje często publikują dane w starannie sformatowanych tabelach. Nie zawsze jednak znajdziesz na takiej stronie przycisk pobierania – i tu z pomocą przychodzi R. W tym kursie nauczysz się sprawnie zbierać i pobierać dane z dowolnych stron internetowych. Poznasz automatyczne scrapowanie i parsowanie Wikipedii przy użyciu pakietów rvest i httr. Dzięki ćwiczeniom praktycznym pogłębisz też wiedzę o HTML i CSS – podstawowych składnikach stron internetowych – i sprawisz, że twoje przepływy pracy do zbierania danych będą bardziej niezawodne i efektywne.
Wymagania wstępne
Program kursu
Plan kursu
1
Wprowadzenie do HTML i web scrapingu
W tym rozdziale poznasz język HTML (HyperText Markup Language) – deklaratywny język służący do strukturyzowania nowoczesnych stron internetowych. Używając biblioteki rvest, nauczysz się odpytywać proste elementy HTML i zescrapujesz swoją pierwszą tabelę.
- Wprowadzenie do HTML50 XP
- Wczytaj HTML100 XP
- Uważaj na błędy składniowe!50 XP
- Nawigacja po HTML50 XP
- Wybierz wszystkie elementy podrzędne listy100 XP
- Parsowanie hiperłączy do ramki danych100 XP
- Zescrapuj swoją pierwszą tabelę50 XP
- Właściwa kolejność elementów tabeli100 XP
- Zamień tabelę na ramkę danych za pomocą html_table()100 XP
2
Nawigacja i selekcja z CSS
Kaskadowe arkusze stylów (CSS) określają sposób wyświetlania elementów HTML na stronie – kolory, czcionki i ogólny układ. W tym rozdziale dowiesz się, dlaczego selektory i kombinatory CSS są kluczowym elementem web scrapingu.
3
Zaawansowana selekcja z XPATH
Selektory CSS, które poznałeś w poprzednim rozdziale, są bardzo przydatne, ale mają swoje ograniczenia – na przykład wtedy, gdy chcesz wybrać węzły na podstawie właściwości ich potomków. Z pomocą przychodzi XPath! Używając tego języka zapytań, możesz nawigować i scrapować nawet najbardziej skomplikowany kod HTML.
4
Dobre praktyki scrapingu
Skoro wiesz już, jak wyodrębniać treści ze stron internetowych, czas zajrzeć za kulisy. W tym ostatnim rozdziale poznasz żądania HTTP – podstawę każdej operacji scrapingu – i nauczysz się je dostosowywać zgodnie z dobrymi praktykami.
R
Web Scraping w R
Kurs
ukończony
