Введение в Databricks Lakehouse

Озёра данных обеспечивают гибкость, но не отличаются надёжностью. Хранилища данных обеспечивают высокую производительность, но не справляются с неструктурированными данными. Lakehouse объединяет оба подхода — и именно в Databricks всё это сходится воедино. В этом курсе вы с нуля изучите Databricks Lakehouse и получите практический опыт работы с ключевыми компонентами платформы.

Поймите архитектуру Lakehouse

Начните с того, что узнайте, чем lakehouse отличается от традиционных подходов. Вы познакомитесь с архитектурой медальона — слоями bronze, silver и gold, — которая превращает сырые, неструктурированные данные в чистые, готовые для бизнеса аналитические выводы. Затем познакомьтесь с рабочим пространством Databricks, чтобы понять, как каталоги, схемы и тома организуют всё.

Освойте Compute и Notebooks

Научитесь выбирать подходящий кластер для задачи, настраивать autoscaling и auto-termination для контроля затрат, а также создавать ноутбуки, сочетающие Python, SQL и Markdown. Вы также подключите свою работу к Git через Databricks Repos для контроля версий и командной работы.

Управляйте данными и безопасно делитесь ими

Изучите Unity Catalog, чтобы управлять контролем доступа и отслеживать происхождение данных во всей вашей организации. Затем используйте Delta Sharing для передачи данных партнёрам — на Databricks или любой другой платформе — и выполняйте запросы к внешним источникам с помощью Lakehouse Federation, не копируя ни единого байта.

Развертывание в production с помощью Asset Bundles

Завершите работу, упаковывая свои ноутбуки, пайплайны и задания в Databricks Asset Bundles для повторяемых автоматизированных развертываний. Капитальный сценарий объединяет всё воедино, чтобы вы завершили курс, готовые применять эти навыки на работе.