Build your ultimate AI agent
Opis kursu
Gdybyś zapytał wielu data scientistów i analityków danych, które zadania zajmują im najwięcej czasu w codziennej pracy, czyszczenie danych znalazłoby się niemal w każdej odpowiedzi. Dzieje się tak dlatego, że dane z rzeczywistych źródeł są pełne niespójności. Ten kurs pomoże ci okiełznać nieuporządkowane dane – nauczysz się, jak czyścić dane przechowywane w bazie PostgreSQL. Poznasz sposoby rozwiązywania typowych problemów: czyszczenia ciągów znaków, obsługi brakujących wartości, porównywania podobieństwa między ciągami i wielu innych. Wszystkie te zagadnienia przećwiczysz na interesujących (choć niechlujnych) zbiorach danych udostępnionych w ramach programu Open Data miasta Nowy Jork. Gotowy, żeby zaprowadzić porządek w swoich danych?
Wymagania wstępne
Program kursu
Plan kursu
1
Podstawy czyszczenia danych
W tym rozdziale zapoznasz się z podejściami do czyszczenia danych w bazach PostgreSQL i przekonasz się, jak ważne jest porządkowanie danych jak najwcześniej w potoku przetwarzania. Nauczysz się podstawowych technik edycji ciągów znaków – takich jak usuwanie zbędnych spacji – a także bardziej zaawansowanych zagadnień, jak dopasowywanie wzorców i podobieństwo ciągów, które pomagają identyfikować wartości wymagające poprawy.
- Wprowadzenie do czyszczenia danych50 XP
- Myślenie o czyszczeniu danych50 XP
- Stosowanie funkcji do czyszczenia ciągów znaków100 XP
- Dopasowywanie wzorców50 XP
- Klasyfikowanie naruszeń zasad parkowania według pory dnia100 XP
- Maskowanie danych identyfikacyjnych za pomocą wyrażeń regularnych100 XP
- Dopasowywanie podobnych ciągów znaków50 XP
- Dopasowywanie niespójnych nazw kolorów100 XP
- Ujednolicanie nazw kolorów100 XP
- Standaryzacja wielu kolorów100 XP
- Formatowanie tekstu dla współpracowników100 XP
2
Dane brakujące, zduplikowane i nieprawidłowe
Nauczysz się pisać zapytania rozwiązujące typowe problemy z brakującymi, zduplikowanymi i nieprawidłowymi danymi w tabelach bazy PostgreSQL. W trakcie praktycznych ćwiczeń wykorzystasz funkcję COALESCE(), zapytanie SELECT oraz klauzulę WHERE do czyszczenia nieuporządkowanych danych.
3
Konwertowanie danych
Czasami trzeba przekonwertować dane przechowywane w bazie PostgreSQL z jednego typu na inny. W tym rozdziale poznasz wyrażenia potrzebne do zamiany tekstu na typy numeryczne oraz sposoby formatowania ciągów znaków reprezentujących dane czasowe.
4
Przekształcanie danych
W ostatnim rozdziale nauczysz się przekształcać dane i tworzyć tabele przestawne. Pracując z rzeczywistymi danymi pocztowymi, odkryjesz, jak łączyć i dzielić adresy na miasto, stan i kod pocztowy – korzystając z wielu przydatnych funkcji, takich jak CONCAT(), SUBSTRING() i REGEXP_SPLIT_TO_TABLE().
S
Czyszczenie danych w bazach PostgreSQL
Kurs
ukończony
