After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
รายละเอียดคอร์ส
อะไรคือเบื้องหลังของระบบที่เราใช้งานอยู่ทุกวัน ไม่ว่าจะเป็นการตรวจจับการฉ้อโกงเพื่อปกป้องธุรกรรมทางการเงิน หรือสัญญาณไฟจราจรที่ช่วยให้การจราจรไหลลื่น? คำตอบคือ streaming data (ข้อมูลที่ถูกสร้างขึ้นอย่างต่อเนื่องจากหลายแหล่ง) และเทคโนโลยี serverless อย่าง Amazon Kinesis และ AWS Lambda
ในคอร์สนี้ จะได้เรียนรู้วิธีใช้งานเทคโนโลยีเหล่านี้ผ่านการช่วยเหลือ Cody วิศวกรข้อมูลในสถานการณ์สมมติ เป้าหมายคือช่วย Cody เก็บรวบรวม streaming data แบบเรียลไทม์จากยานพาหนะของเมือง วิเคราะห์ข้อมูล และส่งการแจ้งเตือนที่เกี่ยวข้อง เช่น คำเตือนความเร็วไปยังผู้ขับขี่ โดยใช้ Amazon Kinesis และ Firehose เพื่อรับข้อมูลจากแหล่งที่มาหลายล้านแห่ง จากนั้นใช้ Kinesis Analytics วิเคราะห์ข้อมูลขณะที่ไหลผ่าน stream นอกจากนี้ยังจะได้สร้าง serverless functions ใน AWS Lambda เพื่อกระตุ้นการทำงานตามเงื่อนไขของข้อมูลที่รับเข้ามา และในตอนท้ายของคอร์ส จะสามารถสร้าง ElasticSearch dashboard แบบเรียลไทม์ด้วย AWS QuickSight และ CloudWatch ได้ พร้อมกับช่วย Cody ทำโปรเจกต์อันทะเยอทะยานนี้ให้สำเร็จ
ในคอร์สนี้ จะได้เรียนรู้วิธีใช้งานเทคโนโลยีเหล่านี้ผ่านการช่วยเหลือ Cody วิศวกรข้อมูลในสถานการณ์สมมติ เป้าหมายคือช่วย Cody เก็บรวบรวม streaming data แบบเรียลไทม์จากยานพาหนะของเมือง วิเคราะห์ข้อมูล และส่งการแจ้งเตือนที่เกี่ยวข้อง เช่น คำเตือนความเร็วไปยังผู้ขับขี่ โดยใช้ Amazon Kinesis และ Firehose เพื่อรับข้อมูลจากแหล่งที่มาหลายล้านแห่ง จากนั้นใช้ Kinesis Analytics วิเคราะห์ข้อมูลขณะที่ไหลผ่าน stream นอกจากนี้ยังจะได้สร้าง serverless functions ใน AWS Lambda เพื่อกระตุ้นการทำงานตามเงื่อนไขของข้อมูลที่รับเข้ามา และในตอนท้ายของคอร์ส จะสามารถสร้าง ElasticSearch dashboard แบบเรียลไทม์ด้วย AWS QuickSight และ CloudWatch ได้ พร้อมกับช่วย Cody ทำโปรเจกต์อันทะเยอทะยานนี้ให้สำเร็จ
ข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
Streaming บนคลาวด์
ในบทแรกนี้ จะได้เรียนรู้ความแตกต่างระหว่าง batch processing และ stream processing รวมถึงการสร้าง stream แรก การจัดการสิทธิ์การเข้าถึง การเขียนและอ่านข้อมูลจาก stream
- Streaming คืออะไร และสำคัญอย่างไร?50 XP
- Batch vs Stream100 XP
- Producer และ Destination100 XP
- การจัดการ Firehose Delivery Streams100 XP
- เตรียมพร้อมสำหรับ stream แรก50 XP
- การสร้าง Role50 XP
- IAM User vs. Role100 XP
- ฝึกจัดการสิทธิ์100 XP
- การสร้าง S3 Bucket100 XP
- การทำงานกับ Firehose delivery stream50 XP
- สร้าง Firehose stream แรกของคุณ100 XP
- การเขียนข้อมูลลง Firehose Stream100 XP
- การอ่านข้อมูลจาก Firehose100 XP
2
ก้าวสู่ Serverless
ขั้นตอนต่อไปในการเรียนรู้ streaming data คือการใช้งาน lambda functions เพื่อแปลงข้อมูลและก้าวสู่โลก serverless ผ่านแบบฝึกหัดจริง จะได้เพิ่ม lambda layers และกำหนดให้ lambda functions ทำงานตามเงื่อนไขที่ระบุ
3
การวิเคราะห์ Streaming Data
บทนี้พร้อมแล้วสำหรับการ encode และ decode streaming data รวมถึงการวิเคราะห์ข้อมูลโดยตรงภายใน stream นอกจากนี้ยังจะได้ใช้หลาย stream ร่วมกันเพื่อหาความเร็วสูงสุดของยานพาหนะในแต่ละวัน
4
การติดตามและแสดงผล Streaming Data
ในบทสุดท้ายนี้ จะได้เรียนรู้วิธีติดตามประสิทธิภาพของ stream ด้วย logs, metrics, alarms และ dashboards รวมถึงการใช้งาน Elasticsearch และสร้าง Kibana dashboard ของตัวเอง
Streaming Data ด้วย AWS Kinesis และ Lambda
เรียนจบแล้ว
