After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Co stoi za systemami, z których korzystamy na co dzień, często nawet nie zdając sobie z tego sprawy – takimi jak wykrywanie oszustw chroniące nasze transakcje czy inteligentne sygnalizatory świetlne usprawniające ruch? Odpowiedzią są dane strumieniowe (dane generowane nieprzerwanie przez różne źródła) oraz technologie bezserwerowe – takie jak Amazon Kinesis i AWS Lambda.
W tym kursie nauczysz się wykorzystywać te zaawansowane technologie, pomagając fikcyjnej inżynierce danych o imieniu Cody. Twoim zadaniem będzie pomóc jej zbierać dane strumieniowe w czasie rzeczywistym z pojazdów miejskich, analizować te dane i wysyłać odpowiednie alerty – na przykład ostrzeżenia o przekroczeniu prędkości. Korzystając z Amazon Kinesis i Firehose, nauczysz się pobierać dane z milionów źródeł, a następnie analizować je w locie za pomocą Kinesis Analytics. Uruchomisz również funkcje bezserwerowe w AWS Lambda, które będą warunkowo wyzwalać działania na podstawie odebranych danych. Pod koniec kursu będziesz potrafić tworzyć dynamiczne dashboardy w ElasticSearch przy użyciu AWS QuickSight i CloudWatch – i masz szansę pomóc Cody ukończyć jej ambitny projekt.
W tym kursie nauczysz się wykorzystywać te zaawansowane technologie, pomagając fikcyjnej inżynierce danych o imieniu Cody. Twoim zadaniem będzie pomóc jej zbierać dane strumieniowe w czasie rzeczywistym z pojazdów miejskich, analizować te dane i wysyłać odpowiednie alerty – na przykład ostrzeżenia o przekroczeniu prędkości. Korzystając z Amazon Kinesis i Firehose, nauczysz się pobierać dane z milionów źródeł, a następnie analizować je w locie za pomocą Kinesis Analytics. Uruchomisz również funkcje bezserwerowe w AWS Lambda, które będą warunkowo wyzwalać działania na podstawie odebranych danych. Pod koniec kursu będziesz potrafić tworzyć dynamiczne dashboardy w ElasticSearch przy użyciu AWS QuickSight i CloudWatch – i masz szansę pomóc Cody ukończyć jej ambitny projekt.
Wymagania wstępne
Program kursu
Plan kursu
1
Strumieniowanie w chmurze
W tym pierwszym rozdziale poznasz różnice między przetwarzaniem wsadowym a strumieniowym, utworzysz swój pierwszy strumień, zarządzisz jego uprawnieniami, a następnie będziesz do niego zapisywać dane i je z niego odczytywać.
- Czym jest streaming i dlaczego ma znaczenie?50 XP
- Przetwarzanie wsadowe a strumieniowe100 XP
- Producenci i miejsca docelowe100 XP
- Zarządzanie strumieniami dostarczania Firehose100 XP
- Przygotowania do pierwszego strumienia50 XP
- Tworzenie ról50 XP
- Użytkownicy IAM a role100 XP
- Ćwiczenie z uprawnień100 XP
- Tworzenie zasobnika S3100 XP
- Praca z strumieniem dostarczania Firehose50 XP
- Utwórz swój pierwszy strumień Firehose100 XP
- Zapisywanie do strumienia Firehose100 XP
- Odczytywanie danych z Firehose100 XP
2
Podejście bezserwerowe
Kolejny krok w nauce strumieniowania danych to przekształcające funkcje lambda i podejście bezserwerowe. Dzięki praktycznym ćwiczeniom dodasz warstwy lambda i nauczysz się wyzwalać funkcje lambda w określonych warunkach.
3
Analiza danych strumieniowych
Teraz czas na kodowanie i dekodowanie danych strumieniowych oraz analizowanie danych bezpośrednio w strumieniu. Wykorzystasz nawet wiele strumieni, aby uzyskać dzienne rekordy prędkości pojazdów.
4
Monitorowanie i wizualizacja danych strumieniowych
W tym ostatnim rozdziale dowiesz się, jak monitorować wydajność strumienia za pomocą logów, metryk, alarmów i dashboardów. Skorzystasz z Elasticsearch i zbudujesz własny dashboard w Kibanie.
Strumieniowanie danych z AWS Kinesis i Lambda
Kurs
ukończony
