After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Описание курса
Что стоит за системами, которыми мы пользуемся каждый день, не задумываясь об этом, — например, за обнаружением мошенничества для защиты транзакций или за светофорами, регулирующими движение? Ответ — потоковая передача данных (данные, непрерывно поступающие из различных источников) и бессерверные технологии, такие как Amazon Kinesis и AWS Lambda.
В этом курсе вы научитесь применять эти мощные технологии, помогая вымышленному дата-инженеру по имени Коди. Ваша задача — помочь ей собирать потоковые данные в реальном времени с городских транспортных средств, анализировать их и отправлять соответствующие оповещения, например предупреждения о превышении скорости. С помощью Amazon Kinesis и Firehose вы научитесь принимать данные из миллионов источников, а затем использовать Kinesis Analytics для их анализа прямо в потоке. Вы также создадите бессерверные функции в AWS Lambda, которые будут условно запускать действия на основе полученных данных. К концу курса вы будете уметь строить живые дашборды в ElasticSearch с помощью AWS QuickSight и CloudWatch — и, надеемся, поможете Коди завершить её амбициозный проект.
В этом курсе вы научитесь применять эти мощные технологии, помогая вымышленному дата-инженеру по имени Коди. Ваша задача — помочь ей собирать потоковые данные в реальном времени с городских транспортных средств, анализировать их и отправлять соответствующие оповещения, например предупреждения о превышении скорости. С помощью Amazon Kinesis и Firehose вы научитесь принимать данные из миллионов источников, а затем использовать Kinesis Analytics для их анализа прямо в потоке. Вы также создадите бессерверные функции в AWS Lambda, которые будут условно запускать действия на основе полученных данных. К концу курса вы будете уметь строить живые дашборды в ElasticSearch с помощью AWS QuickSight и CloudWatch — и, надеемся, поможете Коди завершить её амбициозный проект.
Предварительные требования
Программа
Структура курса
1
Потоковая передача данных в облаке
В первой главе вы узнаете о различиях между пакетной и потоковой обработкой данных, создадите свой первый поток, настроите права доступа к нему, а также научитесь записывать данные в поток и читать их из него.
- Что такое потоковая передача данных и почему это важно?50 XP
- Пакетная vs потоковая обработка100 XP
- Производители и назначения100 XP
- Управление потоками доставки Firehose100 XP
- Подготовка к первому потоку50 XP
- Создание ролей50 XP
- Пользователи и роли IAM100 XP
- Практика разрешений100 XP
- Создание S3-бакета100 XP
- Работа с потоком доставки Firehose50 XP
- Создайте первый поток Firehose100 XP
- Запись в поток Firehose100 XP
- Чтение данных из Firehose100 XP
2
Переход к бессерверным вычислениям
Следующий шаг на пути к работе с потоковыми данными — освоение бессерверного подхода с использованием лямбда-функций для преобразования данных. В практических упражнениях вы добавите слои Lambda и настроите запуск лямбда-функций при выполнении определённых условий.
3
Анализ потоковых данных
Теперь вы готовы к кодированию и декодированию потоковых данных, а также к их анализу непосредственно в потоке. Вы даже воспользуетесь несколькими потоками, чтобы получить данные о максимальных скоростях транспортных средств за день.
4
Мониторинг и визуализация потоковых данных
В заключительной главе вы узнаете, как отслеживать производительность потока с помощью журналов, метрик, оповещений и дашбордов. Вы поработаете с Elasticsearch и создадите собственный дашборд в Kibana.
Потоковая обработка данных с AWS Kinesis и Lambda
Курс
завершён
