Wprowadzenie do Databricks Lakehouse

Data lake’i oferują elastyczność, ale brakuje im niezawodności. Magazyny danych zapewniają wydajność, ale nie radzą sobie z danymi nieustrukturyzowanymi. Lakehouse łączy oba podejścia — a Databricks to miejsce, w którym wszystko się łączy. W tym kursie poznasz Databricks Lakehouse od podstaw, zdobywając praktyczne doświadczenie z kluczowymi komponentami platformy.

Zrozum architekturę Lakehouse

Zacznij od odkrycia, co wyróżnia lakehouse na tle tradycyjnych podejść. Poznasz architekturę medallion — warstwy bronze, silver i gold — która przekształca surowe, chaotyczne dane w czyste, gotowe do wykorzystania w biznesie analizy. Następnie poznasz środowisko Databricks Workspace, aby zrozumieć, jak katalogi, schematy i wolumeny porządkują wszystko.

Opanuj Compute i Notatniki

Naucz się wybierać odpowiedni klaster do zadania, konfigurować autoskalowanie i automatyczne zakończenie pracy, aby kontrolować koszty, oraz tworzyć notatniki łączące Python, SQL i Markdown. Połączysz też swoją pracę z Git za pomocą Databricks Repos, aby zapewnić kontrolę wersji i współpracę zespołową.

Zarządzaj danymi i udostępniaj je bezpiecznie

Poznaj Unity Catalog, aby zarządzać kontrolą dostępu i śledzić pochodzenie danych w całej swojej organizacji. Następnie użyj Delta Sharing, aby udostępniać dane partnerom — w Databricks lub na dowolnej innej platformie — i odpytywać zewnętrzne źródła za pomocą Lakehouse Federation, bez kopiowania choćby jednego bajta.

Wdrażanie do produkcji z Asset Bundles

Na zakończenie spakuj swoje notebooki, potoki i zadania w Databricks Asset Bundles, aby zapewnić powtarzalne, zautomatyzowane wdrożenia. Scenariusz końcowy łączy wszystko w całość, dzięki czemu kończysz kurs gotowy do zastosowania tych umiejętności w pracy.