After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Żyjemy w świecie pełnym pośpiechu i napiętych terminów. Dlatego chętnie sięgamy po to, co znane i wygodne – interfejsy graficzne, takie jak Visual Studio czy RStudio. Warto jednak poświęcić czas na naukę analizy danych w wierszu poleceń, bo to inwestycja, która procentuje: stajesz się sprawniejszym i bardziej produktywnym specjalistą od danych.W tym kursie nauczysz się praktycznie, jak używać prostych, a zarazem potężnych narzędzi wiersza poleceń przydatnych w pracy z danymi. Korzystając z publicznie dostępnych zbiorów danych Spotify, pobierzesz, przetworzysz, oczyścisz i przekształcisz dane – wszystko z poziomu wiersza poleceń. Poznasz też zaawansowane techniki, takie jak operacje na bazach danych SQL w wierszu poleceń. Na koniec połączysz możliwości wiersza poleceń i Pythona, aby zbudować potok danych automatyzujący model predykcyjny.
Wymagania wstępne
Program kursu
Plan kursu
1
Pobieranie danych w wierszu poleceń
W tym rozdziale nauczysz się pobierać pliki danych z serwerów WWW za pomocą wiersza poleceń. Przy okazji poznasz podręczniki dokumentacji, flagi opcji oraz przetwarzanie wielu plików jednocześnie.
- Pobieranie danych za pomocą curl50 XP
- Korzystanie z dokumentacji curl50 XP
- Pobieranie pojedynczego pliku za pomocą curl100 XP
- Pobieranie wielu plików za pomocą curl100 XP
- Pobieranie danych za pomocą Wget50 XP
- Instalacja Wget50 XP
- Pobieranie pojedynczego pliku za pomocą wget100 XP
- Zaawansowane pobieranie danych za pomocą Wget50 XP
- Ustawianie ograniczeń przy pobieraniu wielu plików50 XP
- Ustawianie czasu oczekiwania za pomocą Wget100 XP
- Pobieranie danych za pomocą Wget i curl100 XP
2
Czyszczenie i przetwarzanie danych w wierszu poleceń
Kontynuujemy pracę z danymi – tym razem przechodzimy od pobierania do przetwarzania. W tym rozdziale wykorzystasz bibliotekę csvkit dostępną w wierszu poleceń, aby konwertować, podglądać, filtrować i modyfikować pliki, przygotowując dane do dalszych analiz.
3
Operacje na bazach danych w wierszu poleceń
W tym rozdziale zagłębiamy się w możliwości biblioteki csvkit. Skupiamy się na operacjach bazodanowych wykonywanych w wierszu poleceń – w tym na tworzeniu tabel, pobieraniu danych oraz różnych transformacjach ETL.
4
Potok danych w wierszu poleceń
W ostatnim rozdziale połączysz wiersz poleceń z innymi językami stosowanymi w nauce o danych i zobaczysz, jak mogą ze sobą współpracować. Na przykładzie Pythona nauczysz się uruchamiać kod Pythona z wiersza poleceń, instalować zależności za pomocą menedżera pakietów pip oraz budować kompletny potok modelu – w całości z poziomu wiersza poleceń.
S
Przetwarzanie danych w wierszu poleceń
Kurs
ukończony
