After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
사기 거래를 막아 결제를 안전하게 지키거나, 교통 흐름을 원활하게 만드는 신호 체계처럼, 우리가 일상에서 무심코 사용하는 시스템은 무엇으로 작동할까요? 정답은 스트리밍 데이터(여러 소스에서 지속적으로 생성되는 데이터)와 Amazon Kinesis, AWS Lambda 같은 서버리스 기술입니다.
이 과정에서는 가상의 데이터 엔지니어 Cody를 도우면서 이러한 강력한 기술을 활용하는 방법을 배웁니다. 목표는 시 소유 차량에서 생성되는 실시간 스트리밍 데이터를 수집하고, 이를 분석해 과속 경고와 같은 알림을 운전자에게 보내는 것입니다. Amazon Kinesis와 Firehose를 사용해 수백만 개 소스에서 데이터를 수집하고, Kinesis Analytics로 스트림을 흐르는 동안 데이터를 분석하는 방법을 익히게 됩니다. 또한 AWS Lambda에서 서버리스 함수를 만들어, 수신한 데이터에 따라 조건부로 동작을 트리거하도록 구성합니다. 학습을 마치면 AWS QuickSight와 CloudWatch로 실시간 ElasticSearch 대시보드를 만드는 방법을 알게 되고, Cody의 야심 찬 프로젝트도 성공적으로 지원하게 될 것입니다.
이 과정에서는 가상의 데이터 엔지니어 Cody를 도우면서 이러한 강력한 기술을 활용하는 방법을 배웁니다. 목표는 시 소유 차량에서 생성되는 실시간 스트리밍 데이터를 수집하고, 이를 분석해 과속 경고와 같은 알림을 운전자에게 보내는 것입니다. Amazon Kinesis와 Firehose를 사용해 수백만 개 소스에서 데이터를 수집하고, Kinesis Analytics로 스트림을 흐르는 동안 데이터를 분석하는 방법을 익히게 됩니다. 또한 AWS Lambda에서 서버리스 함수를 만들어, 수신한 데이터에 따라 조건부로 동작을 트리거하도록 구성합니다. 학습을 마치면 AWS QuickSight와 CloudWatch로 실시간 ElasticSearch 대시보드를 만드는 방법을 알게 되고, Cody의 야심 찬 프로젝트도 성공적으로 지원하게 될 것입니다.
사전 요구 사항
커리큘럼
코스 개요
1
클라우드에서의 스트리밍
이 첫 번째 장에서는 배치 처리와 스트림 처리의 차이를 배우고, 첫 스트림을 생성한 뒤 권한을 관리하고, 스트림에 쓰고 읽는 방법을 익힙니다.
2
서버리스로 전환하기
스트리밍 데이터 여정의 다음 단계는 변환용 Lambda 함수를 사용해 서버리스로 전환하는 것입니다. 실습을 통해 Lambda 레이어를 추가하고 특정 조건에서 Lambda 함수를 트리거해 보겠습니다.
3
스트리밍 데이터 분석
이제 스트리밍 데이터를 인코딩/디코딩하고, 스트림 내에서 바로 데이터를 분석할 준비가 되었습니다. 여러 스트림을 사용해 일일 차량 최고 속도도 계산해 봅니다.
4
스트리밍 데이터 모니터링과 시각화
마지막 장에서는 로그, 지표, 알림, 대시보드를 활용해 스트림 성능을 모니터링하는 방법을 알아봅니다. Elasticsearch를 사용하고, 직접 Kibana 대시보드를 구축합니다.
AWS Kinesis와 Lambda로 배우는 스트리밍 데이터
코스
완료
