Przejdź do głównej treści

Strona główna AWS

Kurs

Strumieniowanie danych z AWS Kinesis i Lambda

ZaawansowanyPoziom umiejętności

Zaktualizowano 02.2026

Naucz się pracować z danymi strumieniowymi, używając technologii serverless w AWS.

Zacznij kurs za darmo

AWSCloud

4 godz.

22 filmy

56 Ćwiczeń

4,500 XP

9,267

Zaświadczenie o ukończeniu

Uwielbiany przez kursantów z tysięcy firm

Szkolisz zespół?

Wypróbuj dla firm

Opis kursu

Co stoi za systemami, z których korzystamy na co dzień, często nawet nie zdając sobie z tego sprawy – takimi jak wykrywanie oszustw chroniące nasze transakcje czy inteligentne sygnalizatory świetlne usprawniające ruch? Odpowiedzią są dane strumieniowe (dane generowane nieprzerwanie przez różne źródła) oraz technologie bezserwerowe – takie jak Amazon Kinesis i AWS Lambda.

W tym kursie nauczysz się wykorzystywać te zaawansowane technologie, pomagając fikcyjnej inżynierce danych o imieniu Cody. Twoim zadaniem będzie pomóc jej zbierać dane strumieniowe w czasie rzeczywistym z pojazdów miejskich, analizować te dane i wysyłać odpowiednie alerty – na przykład ostrzeżenia o przekroczeniu prędkości. Korzystając z Amazon Kinesis i Firehose, nauczysz się pobierać dane z milionów źródeł, a następnie analizować je w locie za pomocą Kinesis Analytics. Uruchomisz również funkcje bezserwerowe w AWS Lambda, które będą warunkowo wyzwalać działania na podstawie odebranych danych. Pod koniec kursu będziesz potrafić tworzyć dynamiczne dashboardy w ElasticSearch przy użyciu AWS QuickSight i CloudWatch – i masz szansę pomóc Cody ukończyć jej ambitny projekt.

Wymagania wstępne

Introduction to AWS Boto in Python Introduction to Shell Streaming Concepts

1

Strumieniowanie w chmurze

W tym pierwszym rozdziale poznasz różnice między przetwarzaniem wsadowym a strumieniowym, utworzysz swój pierwszy strumień, zarządzisz jego uprawnieniami, a następnie będziesz do niego zapisywać dane i je z niego odczytywać.

Czym jest streaming i dlaczego ma znaczenie?

Przetwarzanie wsadowe a strumieniowe

Producenci i miejsca docelowe

Zarządzanie strumieniami dostarczania Firehose

Przygotowania do pierwszego strumienia

Tworzenie ról

Użytkownicy IAM a role

Ćwiczenie z uprawnień

Tworzenie zasobnika S3

Praca z strumieniem dostarczania Firehose

Utwórz swój pierwszy strumień Firehose

Zapisywanie do strumienia Firehose

Odczytywanie danych z Firehose

Zacznij rozdział

2

Podejście bezserwerowe

Kolejny krok w nauce strumieniowania danych to przekształcające funkcje lambda i podejście bezserwerowe. Dzięki praktycznym ćwiczeniom dodasz warstwy lambda i nauczysz się wyzwalać funkcje lambda w określonych warunkach.

Bez serwera

Tworzenie i uruchamianie funkcji Lambda

Serverless a serwery

Komponenty funkcji Lambda

Odczytywanie danych z S3 na podstawie zdarzenia

Twoja pierwsza funkcja lambda na żywo!

Dodawanie warstwy lambda

Przepływ Lambda

Używanie zmiennych środowiskowych

Bezserwerowy przepływ danych

Szybkie i wolne funkcje Lambda

Lambda wyzwalana czasowo

Kod funkcji lambda wyzwalanej czasowo

Bezserwerowe API

Tworzenie lambdy obsługującej API

Bezserwerowe API

Zacznij rozdział

3

Analiza danych strumieniowych

Teraz czas na kodowanie i dekodowanie danych strumieniowych oraz analizowanie danych bezpośrednio w strumieniu. Wykorzystasz nawet wiele strumieni, aby uzyskać dzienne rekordy prędkości pojazdów.

Transformacyjna funkcja Lambda

Przekształcanie danych w strumieniu

Kodowanie i dekodowanie base64

Tworzenie transformacyjnej funkcji Lambda

Minimalna transformacyjna funkcja lambda

Analiza danych w strumieniu

Tworzenie aplikacji Kinesis Data Analytics

Kinesis Data Analytics a transformacyjna Lambda

Tworzenie aplikacji Kinesis Data Analytics

Komponenty SQL w Kinesis Data Analytics

Korzystanie z wielu strumieni

Dostarczanie danych z Kinesis Analytics

Dzienna maksymalna prędkość

Korzystanie z Kinesis Data Analytics do alertów

Zacznij rozdział

4

Monitorowanie i wizualizacja danych strumieniowych

W tym ostatnim rozdziale dowiesz się, jak monitorować wydajność strumienia za pomocą logów, metryk, alarmów i dashboardów. Skorzystasz z Elasticsearch i zbudujesz własny dashboard w Kibanie.

Studium przypadku: dane strumieniowe

Tworzenie klastra Elasticsearch

RedShift vs Elasticsearch

Monitorowanie wydajności

Dashboardy i alarmy CloudWatch

Komponenty CloudWatch

Przepływ monitorowania w CloudWatch

Wizualizacja danych strumieniowych

Praca z ElasticSearch przy użyciu Kibany

CloudWatch a Elasticsearch

Przepływ wizualizacji w Elasticsearch

Alternatywne podejście

Alternatywne podejście

Zacznij rozdział

Strumieniowanie danych z AWS Kinesis i Lambda

Kurs
ukończony

Zdobądź zaświadczenie o ukończeniu

Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysu
Udostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz

Dołącz do ponad 19 milionów kursantów i zacznij Strumieniowanie danych z AWS Kinesis i Lambda już dziś!

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.