After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Що забезпечує роботу систем, якими ми користуємося щодня й часто не помічаємо, наприклад, виявлення шахрайства для безпеки транзакцій або світлофори, що підтримують плавний рух транспорту? Відповідь — потокові дані (дані, що безперервно генеруються різними джерелами) і безсерверні технології — як-от Amazon Kinesis та AWS Lambda.
У цьому курсі ви навчитеся використовувати ці потужні технології, допомагаючи вигаданій інженерці даних на ім'я Кеді. Ваша мета — допомогти їй збирати потокові дані в реальному часі з міських транспортних засобів, аналізувати їх і надсилати відповідні сповіщення, зокрема попередження про перевищення швидкості, водіям. Використовуючи Amazon Kinesis і Firehose, ви дізнаєтеся, як приймати дані з мільйонів джерел, а потім застосуєте Kinesis Analytics, щоб аналізувати дані безпосередньо під час їхнього руху в потоці. Ви також розгорнете безсерверні функції в AWS Lambda, які умовно запускатимуть потрібні дії залежно від отриманих даних. Наприкінці навчання ви знатимете, як створювати живі панелі ElasticSearch за допомогою AWS QuickSight і CloudWatch — і, сподіваємося, допоможете Кеді завершити її амбітний проєкт.
У цьому курсі ви навчитеся використовувати ці потужні технології, допомагаючи вигаданій інженерці даних на ім'я Кеді. Ваша мета — допомогти їй збирати потокові дані в реальному часі з міських транспортних засобів, аналізувати їх і надсилати відповідні сповіщення, зокрема попередження про перевищення швидкості, водіям. Використовуючи Amazon Kinesis і Firehose, ви дізнаєтеся, як приймати дані з мільйонів джерел, а потім застосуєте Kinesis Analytics, щоб аналізувати дані безпосередньо під час їхнього руху в потоці. Ви також розгорнете безсерверні функції в AWS Lambda, які умовно запускатимуть потрібні дії залежно від отриманих даних. Наприкінці навчання ви знатимете, як створювати живі панелі ElasticSearch за допомогою AWS QuickSight і CloudWatch — і, сподіваємося, допоможете Кеді завершити її амбітний проєкт.
Попередні вимоги
Навчальний план
Зміст курсу
1
Потоки в хмарі
У цьому першому розділі ви дізнаєтеся про відмінності між пакетною та потоковою обробкою, створите свій перший потік, налаштуєте для нього дозволи, запишете до нього дані та прочитаєте їх.
- Що таке стримінг і чому це важливо?50 XP
- Batch vs stream100 XP
- Продюсери й призначення100 XP
- Керування потоками доставки Firehose100 XP
- Підготовка до першого потоку50 XP
- Створення ролей50 XP
- Користувачі IAM vs. ролі100 XP
- Тренування з дозволів100 XP
- Створення бакета S3100 XP
- Робота з потоком доставки Firehose50 XP
- Створіть свій перший потік Firehose100 XP
- Запис у потік Firehose100 XP
- Читання даних із Firehose100 XP
2
Переходимо на serverless
Наступний крок у роботі з потоковими даними — опанувати трансформаційні функції Lambda, щоб перейти на безсерверний підхід. На практиці ви додасте шари Lambda і налаштуєте запуск функцій Lambda за певних умов.
3
Аналіз потокових даних
Тепер ви готові кодувати й декодувати потокові дані та аналізувати їх безпосередньо в потоці. Ви навіть використаєте кілька потоків, щоб отримувати добові максимальні швидкості транспортних засобів.
4
Моніторинг і візуалізація потокових даних
У фінальному розділі ви навчитеся відстежувати продуктивність свого потоку за допомогою журналів, метрик, сповіщень і панелей. Ви використаєте Elasticsearch і створите власну панель Kibana.
Потокові дані з AWS Kinesis і Lambda
Курс
завершено
