Przejdź do głównej treści

Strona główna SQL

Kurs

Czyszczenie danych w bazach PostgreSQL

ŚredniozaawansowanyPoziom umiejętności

Zaktualizowano 09.2022

Naucz się okiełznać surowe, chaotyczne dane w bazie PostgreSQL, by wyciągać trafne wnioski.

Zacznij kurs za darmo

SQLData Preparation

4 godz.

15 filmów

49 Ćwiczeń

4,050 XP

14,195

Zaświadczenie o ukończeniu

Uwielbiany przez kursantów z tysięcy firm

Szkolisz zespół?

Wypróbuj dla firm

Opis kursu

Gdybyś zapytał wielu data scientistów i analityków danych, które zadania zajmują im najwięcej czasu w codziennej pracy, czyszczenie danych znalazłoby się niemal w każdej odpowiedzi. Dzieje się tak dlatego, że dane z rzeczywistych źródeł są pełne niespójności. Ten kurs pomoże ci okiełznać nieuporządkowane dane – nauczysz się, jak czyścić dane przechowywane w bazie PostgreSQL. Poznasz sposoby rozwiązywania typowych problemów: czyszczenia ciągów znaków, obsługi brakujących wartości, porównywania podobieństwa między ciągami i wielu innych. Wszystkie te zagadnienia przećwiczysz na interesujących (choć niechlujnych) zbiorach danych udostępnionych w ramach programu Open Data miasta Nowy Jork. Gotowy, żeby zaprowadzić porządek w swoich danych?

Wymagania wstępne

Data Manipulation in SQL

1

Data Cleaning Basics

In this chapter, you’ll gain an understanding of data cleaning approaches when working with PostgreSQL databases and learn the value of cleaning data as early as possible in the pipeline. You’ll also learn basic string editing approaches such as removing unnecessary spaces as well as more involved topics such as pattern matching and string similarity to identify string values in need of cleaning.

Introduction to data cleaning

Developing a data cleaning mindset

Applying functions for string cleaning

Pattern matching

Classifying parking violations by time of day

Masking identifying information with regular expressions

Matching similar strings

Matching inconsistent color names

Standardizing color names

Standardizing multiple colors

Formatting text for colleagues

Zacznij rozdział

2

Missing, Duplicate, and Invalid Data

You’ll learn how to write queries to solve common problems of missing, duplicate, and invalid data in the context of PostgreSQL database tables. Through hands-on exercises, you’ll use the COALESCE() function, SELECT query, and WHERE clause to clean messy data.

Handling missing data

Quantifying completeness

Using a fill-in value

Analyzing incomplete records

Handling duplicated data

Duplicate parking violations

Resolving impartial duplicates

Detecting invalid values

Detecting invalid values with regular expressions

Identifying out-of-range vehicle model years

Detecting inconsistent data

Identifying invalid parking violations

Invalid violations with overnight parking restrictions

Recovering deleted data

Zacznij rozdział

3

Converting Data

Sometimes you need to convert data stored in a PostgreSQL database from one data type to another. In this chapter, you’ll explore the expressions you need to convert text to numeric types and how to format strings for temporal data.

Data type conversions

Type conversion with a CASE clause

Applying aggregate functions to converted values

Date parsing and formatting

Cleaning invalid dates

Converting and displaying dates

Timestamp parsing and formatting

Extracting hours from a time value

A parking violation report by day of the month

Risky parking behavior

Zacznij rozdział

4

Transforming Data

In the final chapter, you’ll learn how to transform your data and construct pivot tables. Working with real-world postal data, you’ll discover how to combine and split addresses into city, state, and zip codes using a multitude of powerful functions including CONCAT(), SUBSTRING(), and REGEXP_SPLIT_TO_TABLE().

Combining columns

Tallying corner parking violations

Creating a TIMESTAMP with concatenation

Splitting column data

Extracting time units with SUBSTRING()

Extracting house numbers from a string

Splitting data with delimiters

Splitting house numbers with a delimiter

Mapping parking restrictions

Creating pivot tables

Selecting data for a pivot table

Using FILTER to create a pivot table

Aggregating film categories

Course wrap-up

Zacznij rozdział

Czyszczenie danych w bazach PostgreSQL

Kurs
ukończony

Zdobądź zaświadczenie o ukończeniu

Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysu
Udostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz

Dołącz do ponad 19 milionów kursantów i zacznij Czyszczenie danych w bazach PostgreSQL już dziś!

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.