Databricks Lakehouse 입문

데이터 레이크는 유연성을 제공하지만 신뢰성은 부족합니다. 데이터 웨어하우스는 뛰어난 성능을 제공하지만 비정형 데이터를 처리할 수 없습니다. 레이크하우스는 이 두 가지를 모두 결합한 것이며, Databricks는 이러한 모든 요소가 하나로 모이는 곳입니다. 이 강의에서는 Databricks Lakehouse를 처음부터 체계적으로 탐구하며, 플랫폼의 핵심 구성 요소를 직접 다루는 실습 경험을 쌓게 됩니다.

Lakehouse 아키텍처 이해하기

먼저, 레이크하우스가 기존 방식과 어떻게 다른지 알아보세요. 브론즈, 실버, 골드 계층으로 구성된 메달리온 아키텍처를 탐구하며, 복잡하고 정제되지 않은 데이터가 어떻게 깔끔하고 비즈니스에 바로 활용할 수 있는 인사이트로 변환되는지 알아봅니다. 그런 다음 Databricks 워크스페이스에서 카탈로그, 스키마, 볼륨이 모든 것을 어떻게 구성하는지 이해할 수 있도록 환경을 익혀보세요.

Compute와 노트북 완벽 정복하기

작업에 적합한 클러스터를 선택하는 방법을 배우고, 비용 관리를 위해 자동 확장 및 자동 종료를 설정하며, Python, SQL, Markdown을 혼합하여 노트북을 만드는 방법을 익힙니다. 또한 Databricks Repos를 통해 Git에 작업을 연결하여 버전 관리와 팀 협업을 진행하게 됩니다.

데이터를 안전하게 관리하고 공유하세요

Unity Catalog를 활용하여 조직 전반의 액세스 제어를 관리하고 데이터 계보를 추적해 보세요. 그런 다음 Delta Sharing을 사용하여 데이터브릭스 또는 다른 어떤 플랫폼에서도 파트너에게 데이터를 배포하고, Lakehouse Federation을 통해 외부 소스를 복사 없이 바로 쿼리할 수 있습니다.

Asset Bundles로 프로덕션에 배포하기

노트북, 파이프라인, 작업을 Databricks Asset Bundles로 패키징하여 반복적이고 자동화된 배포를 손쉽게 완료하세요. 캡스톤 시나리오를 통해 모든 내용을 종합적으로 학습하여, 실제 업무에 바로 적용할 수 있는 역량을 갖추게 됩니다.