๋ณธ๋ฌธ์œผ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

๋ฐ์ดํ„ฐ ํด๋ผ์šฐ๋“œ ์—”์ง€๋‹ˆ์–ด ์ง€๋ง์ƒ์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ AWS, Azure, GCP ๊ฐ•์˜

๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์—ญ๋Ÿ‰์„ ์‹ค์ œ๋กœ ํ‚ค์›Œ์ฃผ๋Š” AWS, Azure, GCP ๊ฐ•์˜๋ฅผ ์„ ๋ณ„ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉ, ์„ ์ˆ˜ ์ง€์‹, ์†”์งํ•œ ํ•œ๊ณ„๊นŒ์ง€ ํ™•์ธํ•˜์„ธ์š”.

๋ฌด๋ฃŒ ๊ณ„์ • ๋งŒ๋“ค๊ธฐ

์‹ค์Šต ๋ฌธ์ œํ•˜๊ณ  ํŠธ๋ž™ํ•˜์„ธ์š”.

Google๋กœ ๊ณ„์†ํ•˜๊ธฐ๊ณ„์† ์ง„ํ–‰ํ•˜์‹œ๋ฉด ๋‹ค์Œ ์‚ฌํ•ญ์— ๋™์˜ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๊ฐ„์ฃผ๋ฉ๋‹ˆ๋‹ค: ์ด์šฉ์•ฝ๊ด€ ๋ฐ ๊ฐœ์ธ์ •๋ณด ์ฒ˜๋ฆฌ๋ฐฉ์นจ ๊ทธ๋ฆฌ๊ณ  ๊ท€ํ•˜์˜ ๋ฐ์ดํ„ฐ๊ฐ€ ๋ฏธ๊ตญ์— ์ €์žฅ๋œ๋‹ค๋Š” ์ ์— ๋™์˜ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๊ฐ„์ฃผ๋ฉ๋‹ˆ๋‹ค.

ํด๋ผ์šฐ๋“œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ณผ์ •์„ ์ฐพ์•„๋ณด๋ฉด ์ž๋ฃŒ๊ฐ€ ๋„ˆ๋ฌด ๋งŽ์•„ ์••๋„๋˜๊ณ , ๋น…3 ์ œ๊ณต์—…์ฒด ์ค‘ ์–ด๋–ค ๊ฒƒ(ํ˜น์€ ๋ช‡ ๊ฐœ)์„ ๋ฐฐ์›Œ์•ผ ํ• ์ง€ ๋ง‰๋ง‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ์ผ๊ด€๋œ ๋‹ต์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ํ•˜๋‚˜๋กœ ์‹œ์ž‘ํ•˜๊ณ , ์ฒซ ๋ฒˆ์งธ ํด๋ผ์šฐ๋“œ๊ฐ€ ์ง€๋ฃจํ•˜๋‹ค๊ณ  ๋А๊ปด์งˆ ๋•Œ์—๋งŒ ๋‘ ๋ฒˆ์งธ๋ฅผ ์ถ”๊ฐ€ํ•˜์„ธ์š”. ๊ทธ๋ ‡๋‹ค๋ฉด ์ง€๊ธˆ ์–ด๋–ค ๊ฒƒ์„ ๊ณ ๋ฅผ์ง€ ์Šค์Šค๋กœ์—๊ฒŒ ๋ฌป๊ณ  ์žˆ๋‹ค๋ฉด, ๋‹ค์Œ์˜ ์˜์‚ฌ๊ฒฐ์ • ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”:

  • AWS๋ฅผ ๋จผ์ € ๋ฐฐ์šฐ์„ธ์š”: ๊ฐ€์žฅ ํญ๋„“์€ ๊ตฌ์ธ ์ˆ˜์š”๋ฅผ ๋…ธ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • GCP๋ฅผ ๋จผ์ € ๋ฐฐ์šฐ์„ธ์š”: ์›ํ•˜๋Š” ์ผ์ด BigQuery์™€ Dataflow ์ค‘์‹ฌ์ด๋ผ๋ฉด ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
  • Azure๋ฅผ ๋จผ์ € ๋ฐฐ์šฐ์„ธ์š”: ํ˜„์žฌ ํšŒ์‚ฌ๊ฐ€ ์ด๋ฏธ SQL Server์™€ Power BI๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค๋ฉด ์œ ๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

์ด ๋ชฉ๋ก์€ ๋ฐ์ดํ„ฐ ํด๋ผ์šฐ๋“œ ์—”์ง€๋‹ˆ์–ด ์—ญํ• ๋กœ ์ „ํ™˜ํ•˜๋ ค๋Š” ๋ถ„๋“ค์„ ์œ„ํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ํŒŒ์ดํ”„๋ผ์ธ์„ ์†Œ์œ ํ•˜๊ณ  ์‹ถ์€ ์• ๋„๋ฆฌ์ŠคํŠธ, ๋ฐ์ดํ„ฐ ํ”Œ๋žซํผ ์ชฝ์œผ๋กœ ์ด๋™ํ•˜๋Š” ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด, ์˜จํ”„๋ ˆ๋ฏธ์Šค Spark๋ฅผ ์šด์˜ํ•˜๋‹ค๊ฐ€ ์ด์ œ Glue, Synapse, Dataflow๊ฐ€ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. ์ €๋Š” ๋‹ค์Œ ๊ธฐ์ค€์œผ๋กœ ์ž๋ฃŒ๋ฅผ ์„ ์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. wํ•ด๋‹น ์ปค๋ฆฌํ˜๋Ÿผ์ด ์‹ค์ œ ์ž๊ฒฉ์ฆ ์ฒญ์‚ฌ์ง„(CLF-C02, AZ-900, DP-203, Google Professional Data Engineer)๊ณผ ๋งคํ•‘๋˜๋Š”์ง€, ์ผ๋ฐ˜ ํด๋ผ์šฐ๋“œ ์šด์˜์ด ์•„๋‹Œ ๋ฐ์ดํ„ฐ ์„œ๋น„์Šค๋ฅผ ๋‹ค๋ฃจ๋Š”์ง€, ๊ทธ๋ฆฌ๊ณ  ์‹ค๋ฌด์ž ์ถ”์ฒœ์ด ์žˆ๋Š”์ง€ ์—ฌ๋ถ€์ž…๋‹ˆ๋‹ค.

Python๊ณผ SQL์„ ์–ด๋А ์ •๋„ ์•Œ๊ณ  ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•ฉ๋‹ˆ๋‹ค. ๋งŒ์•ฝ ์•„๋‹ˆ๋ผ๋ฉด, ์–ด๋–ค ํด๋ผ์šฐ๋“œ๋ฅผ ๊ณ ๋ฅผ์ง€๋ณด๋‹ค ๊ทธ ๊ฒฉ์ฐจ๋ฅผ ๋ฉ”์šฐ๋Š” ์ผ์ด ๋” ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.ย ํด๋ผ์šฐ๋“œ๋ฅผ ๊ณ ๋ฅด๊ธฐ ์ „์— DataCamp์˜ Associate Data Engineer in SQL ์ปค๋ฆฌ์–ด ํŠธ๋ž™์œผ๋กœ SQL๊ณผ ETL/ELT์˜ ๊ธฐ์ดˆ๋ฅผ ๋‹ค์ง€์„ธ์š”. ์ด๋Š” ๋ชจ๋“  ๋งค๋‹ˆ์ง€๋“œ Spark ์„œ๋น„์Šค๊ฐ€ ์ „์ œํ•˜๋Š” ๋ถ€๋ถ„์ž…๋‹ˆ๋‹ค.

์š”์•ฝ

์ž๋ฃŒ์œ ํ˜•๋ ˆ๋ฒจ์ ํ•ฉ ๋Œ€์ƒ
DataCamp: Understanding Cloud Computing๊ฐ•์˜์ž…๋ฌธ์ฝ˜์†”์„ ๊ฑด๋“œ๋ฆฌ๊ธฐ ์ „์— ํด๋ผ์šฐ๋“œ ์šฉ์–ด ์ตํžˆ๊ธฐ
DataCamp: AWS Cloud Practitioner (CLF-C02)์Šคํ‚ฌ ํŠธ๋ž™์ž…๋ฌธAWS ์„œ๋น„์Šค์™€ ๊ณผ๊ธˆ์˜ ๊ธฐ์ดˆ ๋‹ค์ง€๊ธฐ
DataCamp: Microsoft Azure Fundamentals (AZ-900)์Šคํ‚ฌ ํŠธ๋ž™์ž…๋ฌธAzure ์ค‘์‹ฌ ํ•™์Šต์ž์™€ Microsoft ์Šคํƒ ์‚ฌ์šฉ ๊ธฐ์—…
John Savill's Technical Training (YouTube)๋ฌด๋ฃŒ ์˜์ƒ์ž…๋ฌธ๋น„์šฉ ์—†์ด Azure ์ธํ”„๋ผ ๊ธฐ์ดˆ ๋‹ค์ง€๊ธฐ
DataCamp: Introduction to GCP๊ฐ•์˜์ž…๋ฌธBigQuery์™€ Cloud Storage๋ฅผ ๋น ๋ฅด๊ฒŒ ๊ฒฝํ—˜
DataCamp: Google Cloud Data Engineer์Šคํ‚ฌ ํŠธ๋ž™์ค‘๊ธ‰GCP ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์œผ๋กœ ๊ฐ€์žฅ ๋น ๋ฅด๊ฒŒ ์ง„์ž…
Adrian Cantrill's AWS Solutions Architect Associate (SAA-C03)์œ ๋ฃŒ ๊ฐ•์˜์ค‘๊ธ‰๋ฐ์ดํ„ฐ ์ž‘์—…์˜ ๊ธฐ๋ฐ˜์ด ๋˜๋Š” IAM, VPC, ์Šคํ† ๋ฆฌ์ง€ ์‹ฌํ™”
Google Cloud Skills Boost ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๊ฒฝ๋กœ๋ฒค๋” ํŠธ๋ ˆ์ด๋‹ + ๋žฉ์ค‘๊ธ‰BigQuery, Dataflow, Pub/Sub ์‹ค์Šต ๋žฉ
Grow Data Skills ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ํŠธ๋ž™์ž๊ฐ€ ํ•™์Šต ๊ฐ•์˜ + ํ”„๋กœ์ ํŠธ์ค‘๊ธ‰์—”๋“œ ํˆฌ ์—”๋“œ ํŒŒ์ดํ”„๋ผ์ธ ํฌํŠธํด๋ฆฌ์˜ค ๊ตฌ์ถ•
Smart Data Learning: Data Engineering With Azure, AWS & GCP๋ผ์ด๋ธŒ ์ฝ”ํ˜ธํŠธ, 14์ฃผ์ค‘๊ธ‰๋งˆ๊ฐ์ผ๊ณผ ๋ผ์ด๋ธŒ ์ˆ˜์—…์ด ํ•„์š”ํ•œ ํ•™์Šต์ž
AWS Skill Builder ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ํ•™์Šต ๊ฒฝ๋กœ๋ฒค๋” ํŠธ๋ ˆ์ด๋‹๊ณ ๊ธ‰Glue, Redshift, EMR, Kinesis๋ฅผ ์‹œํ—˜ ์ˆ˜์ค€์œผ๋กœ
Microsoft Learn Azure ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง (DP-203) ๊ฒฝ๋กœ๋ฒค๋” ํŠธ๋ ˆ์ด๋‹๊ณ ๊ธ‰Synapse, Data Factory, Stream Analytics๋ฅผ ๋ฌด๋ฃŒ๋กœ
r/dataengineering ํด๋ผ์šฐ๋“œ ์„ ํƒ ์Šค๋ ˆ๋“œ์ปค๋ฎค๋‹ˆํ‹ฐ ํ† ๋ก ์ „์ฒด์ฒ˜์Œ์œผ๋กœ ์–ด๋–ค ํด๋ผ์šฐ๋“œ์— ์ „๋…ํ• ์ง€ ๊ฒฐ์ •

1. DataCamp: Understanding Cloud Computing ๊ฐ•์˜

Understanding Cloud Computing ๊ฐ•์˜๋Š” AWS, Azure, GCP ๊ณ„์ •์„ ํ•œ ๋ฒˆ๋„ ์จ๋ณธ ์  ์—†๊ณ , ์ฝ˜์†”์„ ํด๋ฆญํ•˜๊ธฐ ์ „์— ๊ณตํ†ต ์–ดํœ˜๋ฅผ ํ™•๋ณดํ•˜๊ณ  ์‹ถ์€ ๋ถ„์—๊ฒŒ ์ ํ•ฉํ•œ ์ถœ๋ฐœ์ ์ž…๋‹ˆ๋‹ค. ์ด ๊ฐ•์˜๋Š” ์‹ค์Šต๋ณด๋‹ค ๊ฐœ๋… ์ค‘์‹ฌ์ด๋ฉฐ, ๋ฐ”๋กœ ๊ทธ ์ ์ด ์‹œ์ž‘ ์‹œ์ ์— ํ•„์š”ํ•œ ์š”์†Œ์ž…๋‹ˆ๋‹ค.

์„œ๋น„์Šค ๋ชจ๋ธ(IaaS, PaaS, SaaS), ๋ฐฐํฌ ๋ชจ๋ธ(ํผ๋ธ”๋ฆญ, ํ”„๋ผ์ด๋น—, ํ•˜์ด๋ธŒ๋ฆฌ๋“œ), ์ฃผ์š” ์ œ๊ณต์—…์ฒด ๊ฐ„ ์ฐจ์ด, ๋ณด์•ˆ๊ณผ ๊ฑฐ๋ฒ„๋„Œ์Šค ์ฑ…์ž„์ด ์‚ฌ์šฉ์ž์™€ ๋ฒค๋” ์‚ฌ์ด์—์„œ ์–ด๋–ป๊ฒŒ ๋ถ„๋‹ด๋˜๋Š”์ง€๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๊ณต๊ธ‰์—…์ฒด ์ค‘๋ฆฝ์ ์ด๋ผ AWS Glue ํŠœํ† ๋ฆฌ์–ผ๊ณผ Azure Data Factory ํŠœํ† ๋ฆฌ์–ผ์„ ์ฝ์„ ๋•Œ, ์„œ๋กœ ๋‹ค๋ฅธ ๋ช…์นญ์„ ์“ธ ๋ฟ ๊ฐ™์€ ๋ฌธ์ œ๋ฅผ ํ‘ผ๋‹ค๋Š” ์‚ฌ์‹ค์„ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. #

๊ฐ•์˜๋Š” ๋ธŒ๋ผ์šฐ์ €์—์„œ ์ง„ํ–‰๋˜๋ฏ€๋กœ ๋กœ์ปฌ ์„ค์ •์ด ํ•„์š” ์—†๊ณ  ํ•™์Šต ์ค‘ ํด๋ผ์šฐ๋“œ ์š”๊ธˆ๋„ ๋ฐœ์ƒํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.ย ๊ฐœ์ธ ์š”๊ธˆ์ œ๋Š” ์—ฐ๊ฐ„ ๊ฒฐ์ œ ๊ธฐ์ค€ ์›” ์•ฝ 25~33๋‹ฌ๋Ÿฌ๋กœ, ์ด ๋ชฉ๋ก์— ์žˆ๋Š” ๋ชจ๋“  DataCamp ๊ฐ•์˜๋ฅผ ๋ฌด์ œํ•œ ์ˆ˜๊ฐ•ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ์ž…๋ฌธ, ํด๋ผ์šฐ๋“œ ๊ณ„์ • ๋ถˆํ•„์š”
  • ํ˜•์‹: ๋Œ€ํ™”ํ˜• ๊ฐ•์˜, ์ฝ”๋”ฉ ์„ ์ˆ˜ ์ง€์‹ ๋ถˆํ•„์š”
  • ์ ํ•ฉ ๋Œ€์ƒ: ์ฝ˜์†” ํ•™์Šต ์ „์— ํด๋ผ์šฐ๋“œ ๊ฐœ๋…์ด ํ•„์š”ํ•œ ์• ๋„๋ฆฌ์ŠคํŠธ์™€ ์ปค๋ฆฌ์–ด ์ „ํ™˜์ž

2. DataCamp: AWS Cloud Practitioner (CLF-C02) ์Šคํ‚ฌ ํŠธ๋ž™

r/dataengineering ํ•ฉ์˜๊ฐ€ ์•„๋งˆ์กด ํด๋ผ์šฐ๋“œ๋ฅผ ๊ฐ€๋ฆฌํ‚จ๋‹ค๋ฉด, AWS Cloud Practitioner (CLF-C02) ์Šคํ‚ฌ ํŠธ๋ž™์ด ํ•œ ๋ฒˆ์˜ ์ฒด๊ณ„์  ํ•™์Šต์œผ๋กœ ์„œ๋น„์Šค ์ง€ํ˜•์„ ๋จธ๋ฆฟ์†์— ๋„ฃ๋Š” ๊ฐ€์žฅ ์ €๋ ดํ•œ ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ์ฝ˜์†”์„ ์•„๋ฌด๋ ‡๊ฒŒ๋‚˜ ๋‘˜๋Ÿฌ๋ณด๋Š” ๋Œ€์‹  CLF-C02 ์‹œํ—˜ ์ฒญ์‚ฌ์ง„์„ ๋ฐ”ํƒ•์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

ํด๋ผ์šฐ๋“œ ๊ฐœ๋…, ํ•ต์‹ฌ AWS ์„œ๋น„์Šค(S3, EC2, IAM ํฌํ•จ), ๋ณด์•ˆ๊ณผ ๊ณต์œ  ์ฑ…์ž„ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ  ๋งŽ์€ ์ดˆ๋ณด์ž๊ฐ€ ๋ฌด์‹œํ•˜๋‹ค๊ฐ€ ์ฃผ๋ง ๋‚ด๋‚ด EMR ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ผœ๋‘๊ณ  ๋‚˜์„œ์•ผ ๊นจ๋‹ซ๋Š” ๊ณผ๊ธˆ๊ณผ ๊ฐ€๊ฒฉ ์ฑ…์ •๊นŒ์ง€ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด์—๊ฒŒ ๊ณผ๊ธˆ ํŒŒํŠธ๋Š” ๋ฐ˜๋“œ์‹œ ๋ฐฐ์›Œ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋น„์šฉ ํ†ต์ œ๋Š” ์ง๋ฌด์˜ ์ผ๋ถ€์ด์ง€ ์‚ฌํ›„ ๊ณ ๋ ค ์‚ฌํ•ญ์ด ์•„๋‹™๋‹ˆ๋‹ค.

CLF-C02๋Š” ๊ธฐ์ดˆ ์ž๊ฒฉ์ฆ์ด๋ฏ€๋กœ Glue ์žก์„ ์ž‘์„ฑํ•˜๊ฑฐ๋‚˜ Redshift ์Šคํ‚ค๋งˆ๋ฅผ ๋ชจ๋ธ๋งํ•˜๋Š” ๋ฒ•์€ ๊ฐ€๋ฅด์น˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ง€๋„๋กœ ์—ฌ๊ธฐ๊ณ , ์‹ค์ œ ํŒŒ์ดํ”„๋ผ์ธ ์ž‘์—…์€ 11๋ฒˆ ํ•ญ๋ชฉ์˜ AWS Skill Builder ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๊ฒฝ๋กœ์—์„œ ํ•™์Šตํ•˜์„ธ์š”.

  • ๋ ˆ๋ฒจ: ์ž…๋ฌธ, CLF-C02 ์‹œํ—˜ ์ฒญ์‚ฌ์ง„ ์ •๋ ฌ
  • ํ˜•์‹: ์Šคํ‚ฌ ํŠธ๋ž™, ๋‹ค์ˆ˜์˜ ๋Œ€ํ™”ํ˜• ๊ฐ•์˜
  • ์ ํ•ฉ ๋Œ€์ƒ: ๊ตฌ์ธ ์‹œ์žฅ์˜ ํญ๋„“์Œ์„ ์ด์œ ๋กœ AWS๋ฅผ ๋จผ์ € ์„ ํƒํ•œ ํ•™์Šต์ž

3. DataCamp: Microsoft Azure Fundamentals (AZ-900) ์Šคํ‚ฌ ํŠธ๋ž™

ํšŒ์‚ฌ์—์„œ ์ด๋ฏธ SQL Server, Power BI, Active Directory๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค๋ฉด AWS ํŠธ๋ž™ ๋Œ€์‹  ์—ฌ๊ธฐ์„œ ์‹œ์ž‘ํ•˜์„ธ์š”. ๋Œ€๊ธฐ์—… ๋ฐ์ดํ„ฐ ํŒ€์˜ ์ƒ๋‹น์ˆ˜๊ฐ€ ์ด๋Ÿฐ ํ™˜๊ฒฝ์ž…๋‹ˆ๋‹ค. AZ-900์€ ๋ฐ”๋กœ ์ด๋Ÿฐ ์ƒํ™ฉ์„ ์œ„ํ•œ ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ์˜ ์ž…๋ฌธ ์ง€์ ์ž…๋‹ˆ๋‹ค.

Microsoft Azure Fundamentals (AZ-900) ํŠธ๋ž™์€ Azure ํ•ต์‹ฌ ๊ฐœ๋…, ์ฃผ์š” ์„œ๋น„์Šค๊ตฐ, ๊ด€๋ฆฌ์™€ ๊ฑฐ๋ฒ„๋„Œ์Šค, ๊ฐ€๊ฒฉ ๋ฐ ์ง€์› ์˜ต์…˜์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ Azure Blob Storage์™€ Data Lake Storage๋ฅผ ์„œ๋น„์Šค ์ด๋ฆ„์œผ๋กœ ์ ‘ํ•˜๊ฒŒ ๋˜๋ฉฐ, ์ด๋Š” DP-203 ์ž๋ฃŒ๋ฅผ ๋‚œํ•ดํ•˜์ง€ ์•Š๊ฒŒ ์ฝ๋Š” ๋ฐ ํ•„์š”ํ•œ ๋งฅ๋ฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๋น„์šฉ์— ๋Œ€ํ•œ ์‹ค๋ฌด์ ์ธ ์ฐธ๊ณ ์‚ฌํ•ญ: ํ•™์Šต ๋น„์šฉ๊ณผ ์ž๊ฒฉ์ฆ ๋น„์šฉ์€ ๋ณ„๊ฐœ์ž…๋‹ˆ๋‹ค. AZ-900 ์‹œํ—˜์€ ์ง€์—ญ์— ๋”ฐ๋ผ ์•ฝ 99~120๋‹ฌ๋Ÿฌ์ด๋ฉฐ, ์ด ํŠธ๋ž™์—์„œ ๊ฐ€์น˜๋ฅผ ์–ป๋Š” ๋ฐ ์‹œํ—˜ ์‘์‹œ๋Š” ํ•„์ˆ˜ ์‚ฌํ•ญ์ด ์•„๋‹™๋‹ˆ๋‹ค. ๊ตฌ์ธ ๊ณต๊ณ ๋‚˜ ๋‚ด๋ถ€ ์Šน์ง„ ์ ˆ์ฐจ์—์„œ ๋ช…์‹œ์ ์œผ๋กœ ์š”๊ตฌํ•˜์ง€ ์•Š๋Š” ํ•œ ์‹œํ—˜ ๋น„์šฉ์„ ์ง€๋ถˆํ•  ํ•„์š”๋Š” ์—†์Šต๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ์ž…๋ฌธ, ์ตœ์†Œํ•œ์˜ ์„ ์ˆ˜ ์ง€์‹
  • ํ˜•์‹: AZ-900 ๋„๋ฉ”์ธ๊ณผ ๋งคํ•‘๋œ ์Šคํ‚ฌ ํŠธ๋ž™
  • ์ ํ•ฉ ๋Œ€์ƒ: Microsoft ์ค‘์‹ฌ ์กฐ์ง์˜ ๋ฐ์ดํ„ฐ ์ „๋ฌธ๊ฐ€

4. John Savill's Technical Training (YouTube)

Savill์˜ ๋ฌด๋ฃŒ YouTube ์žฌ์ƒ๋ชฉ๋ก ๋•๋ถ„์— Azure ๊ธฐ์ดˆ ๊ต์œก์— ๋ฐ˜๋“œ์‹œ ๋น„์šฉ์„ ์ง€์ถœํ•  ํ•„์š”๋Š” ์—†์Šต๋‹ˆ๋‹ค. ๊ทธ์˜ AZ-900 ๋ฐ AZ-104 ํ•™์Šต ์‹œ๋ฆฌ์ฆˆ๋Š” ๋ฌด๋ฃŒ์ด๋ฉด์„œ๋„ ํ›Œ๋ฅญํ•œ ์ถœ๋ฐœ์ ์œผ๋กœ ๋„๋ฆฌ ์–ธ๊ธ‰๋ฉ๋‹ˆ๋‹ค.

AZ-104 ์ž๋ฃŒ๋Š” ๊ด€๋ฆฌ์ž ์ค‘์‹ฌ์ด๋ฉฐ, ์ด๋Š” ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด์—๊ฒŒ๋„ ํ•ต์‹ฌ์ž…๋‹ˆ๋‹ค. Identity, ๋„คํŠธ์›Œํ‚น, ์Šคํ† ๋ฆฌ์ง€ ๊ณ„์ •, ๊ฑฐ๋ฒ„๋„Œ์Šค๋Š” Data Factory ํŒŒ์ดํ”„๋ผ์ธ์ด ํ”„๋ผ์ด๋น— ์—”๋“œํฌ์ธํŠธ์— ์—ฐ๊ฒฐ๋˜์ง€ ์•Š์„ ๋•Œ ๋งˆ์ฃผํ•˜๊ฒŒ ๋˜๋Š” ๋…ผ์Ÿ๊ฑฐ๋ฆฌ์ž…๋‹ˆ๋‹ค. ๋ผ์ด๋ธŒ ํ•™์Šต ์„ธ์…˜๊ณผ ํ™”์ดํŠธ๋ณด๋“œ ์„ค๋ช…๋„ ์œ ๋ฃŒ ์˜์ƒ ๋ชป์ง€์•Š๊ฒŒ ํƒ„ํƒ„ํ•ฉ๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์„œ ๊ธฐ๋Œ€ํ•˜๊ธฐ ์–ด๋ ค์šด ๊ฒƒ์€ ๋Œ€ํ™”ํ˜• ํ•™์Šต์ด๋‚˜ ํŒŒ์ดํ”„๋ผ์ธ ์„ค๊ณ„์ž…๋‹ˆ๋‹ค. Synapse ์ฐจ์› ๋ชจ๋ธ๋ง, ์ฆ๋ถ„ ์ ์žฌ ํŒจํ„ด, dbt๋Š” ๋‚˜์˜ค์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด ์žฌ์ƒ๋ชฉ๋ก์œผ๋กœ ์ธํ”„๋ผ ๋ ˆ์ด์–ด๋ฅผ ๋ณด๊ฐ•ํ•˜๊ณ , ํ•™์Šต ์‹œ๊ฐ„์€ DP-203 ๊ฒฝ๋กœ์— ํˆฌ์žํ•˜์„ธ์š”.

  • ๋ ˆ๋ฒจ: ์ž…๋ฌธ~์ค‘๊ธ‰
  • ํ˜•์‹: ๋ฌด๋ฃŒ YouTube ์žฌ์ƒ๋ชฉ๋ก๊ณผ ๋ผ์ด๋ธŒ ์Šคํ„ฐ๋”” ์„ธ์…˜
  • ์ ํ•ฉ ๋Œ€์ƒ: ์˜ˆ์‚ฐ์ด ์ „ํ˜€ ์—†๋Š” Azure ํ•™์Šต์ž ์ค‘ ์ธํ”„๋ผ ๊ธฐ์ดˆ๊ฐ€ ํ•„์š”ํ•œ ๋ถ„

5. DataCamp: Introduction to GCP ๊ฐ•์˜

๋ถ„์„ ์ค‘์‹ฌ์˜ ์—…๋ฌด๋ฅผ ๋ชฉํ‘œ๋กœ ํ•œ๋‹ค๋ฉด DataCamp์˜ Introduction to GCP ๊ฐ•์˜๋ฅผ ์„ ํƒํ•˜์„ธ์š”. GCP๋Š” ๋ฐ์ดํ„ฐ ๋„๊ตฌ์˜ ์™„์„ฑ๋„์™€, Redshift ํด๋Ÿฌ์Šคํ„ฐ ์„ค์ •์— ๋น„ํ•ด BigQuery๊ฐ€ ์š”๊ตฌํ•˜๋Š” ์ ˆ์ฐจ๊ฐ€ ์ ๋‹ค๋Š” ์ ์—์„œ r/dataengineering ์Šค๋ ˆ๋“œ์—์„œ ๊พธ์ค€ํžˆ ํ˜ธํ‰์„ ๋ฐ›์Šต๋‹ˆ๋‹ค.

๊ฐ•์˜๋Š” GCP ์„œ๋น„์Šค ์ง€ํ˜•, ์Šคํ† ๋ฆฌ์ง€์™€ ์ปดํ“จํŠธ ์˜ต์…˜, BigQuery๊ฐ€ ๋ถ„์„ ์Šคํƒ์—์„œ ์ฐจ์ง€ํ•˜๋Š” ์œ„์น˜๋ฅผ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. ๋ฒค๋” ์ž๋ฃŒ๋ณด๋‹ค ์ด ๊ฐ•์˜๋ฅผ ๋จผ์ € ๋‘” ์ด์œ ๋Š” ํ•™์Šต ์ˆœ์„œ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. Google Cloud Skills Boost ๋žฉ์€ ํ”„๋กœ์ ํŠธ, ์„œ๋น„์Šค ๊ณ„์ •, ๋ฆฌ์ „์ด ๋ฌด์—‡์ธ์ง€ ์ด๋ฏธ ์•Œ๊ณ  ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•˜๋ฉฐ, ์ด ๊ฐ•์˜๋Š” ๊ทธ ์ง€์‹์„ ๋ช‡ ์ฐจ๋ก€ ํ•™์Šต์œผ๋กœ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์†”์งํ•œ ํ•œ๊ณ„๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž…๋ฌธ ๊ฐ•์˜๋ฅผ ๋งˆ์ณค๋‹ค๊ณ  ํ•ด์„œ Pub/Sub๊ณผ Dataflow๋กœ ์ŠคํŠธ๋ฆฌ๋ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์„ค๊ณ„ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋˜์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ๊ทธ๊ฑด ๋‹ค์Œ ํ•ญ๋ชฉ์˜ ์—ญํ• ์ž…๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ์ž…๋ฌธ
  • ํ˜•์‹: ๋Œ€ํ™”ํ˜• ๊ฐ•์˜, ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜
  • ์ ํ•ฉ ๋Œ€์ƒ: BigQuery ์ค‘์‹ฌ ๋ฐ์ดํ„ฐ ์ž‘์—…์„ ์ง€ํ–ฅํ•˜๋Š” ์• ๋„๋ฆฌ์ŠคํŠธ์™€ ์—”์ง€๋‹ˆ์–ด

6. DataCamp: Google Cloud Data Engineer ์Šคํ‚ฌ ํŠธ๋ž™

DataCamp์˜ Google Cloud Data Engineer ์Šคํ‚ฌ ํŠธ๋ž™์€ ์ด ๋ชฉ๋ก์—์„œ "SQL์„ ์ข€ ์•ˆ๋‹ค"์—์„œ "GCP์— ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋‹ค"๊นŒ์ง€ ๊ฐ€์žฅ ์งํ–‰ํ•˜๋Š” ๊ฒฝ๋กœ์ด๋ฉฐ, ์ปค๋ฆฌ์–ด ์ „ํ™˜์ž ๋Œ€๋ถ€๋ถ„์—๊ฒŒ ์ถ”์ฒœํ•˜๊ณ  ์‹ถ์€ ํŠธ๋ž™์ž…๋‹ˆ๋‹ค. ์ผ๋ฐ˜ ํด๋ผ์šฐ๋“œ ์šด์˜์œผ๋กœ ์ƒˆ์ง€ ์•Š๊ณ  ๋ฐ์ดํ„ฐ ์„œ๋น„์Šค์— ์ง‘์ค‘ํ•ฉ๋‹ˆ๋‹ค.

์ดˆ์ ์€ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๊ด€์ ์˜ GCP์ž…๋‹ˆ๋‹ค. ์Šคํ† ๋ฆฌ์ง€, BigQuery, ๊ทธ๋ฆฌ๊ณ  ํŒŒ์ดํ”„๋ผ์ธ์„ ํ†ตํ•œ ๋ฐ์ดํ„ฐ ์ด๋™์œผ๋กœ, Google์˜ Professional Data Engineer ์ž๊ฒฉ์ฆ์ด ๋‹ค๋ฃจ๋Š” BigQuery, Dataflow, Pub/Sub, Cloud Composer, Dataproc๊ณผ ๊ฐ™์€ ์˜์—ญ์„ ์ปค๋ฒ„ํ•ฉ๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €์—์„œ ์ง„ํ–‰ํ•˜๋ฏ€๋กœ ๊ณผ๊ธˆ ์•Œ๋ฆผ๊ณผ IAM ์˜ค๋ฅ˜๋ฅผ ์ฒ˜๋ฆฌํ•˜๋ฉด์„œ ์œˆ๋„์šฐ ํ•จ์ˆ˜ ์ง‘๊ณ„๋ฅผ ์ฒ˜์Œ ๋ฐฐ์šฐ๋Š” ์ผ์„ ๋™์‹œ์— ํ•˜์ง€ ์•Š์•„๋„ ๋ฉ๋‹ˆ๋‹ค.

์•Œ์•„๋‘˜ ์  ํ•˜๋‚˜: Python๊ณผ SQL์„ ์ „์ œ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ๋‘˜ ์ค‘ ํ•˜๋‚˜๊ฐ€ ์•ฝํ•˜๋ฉด, ํŒŒ์ดํ”„๋ผ์ธ ์„ค๊ณ„๋ฅผ ๋ฐฐ์šฐ๊ธฐ๋ณด๋‹ค ๋ฌธ๋ฒ• ์˜ค๋ฅ˜๋ฅผ ๋””๋ฒ„๊น…ํ•˜๋Š” ๋ฐ ์‹œ๊ฐ„์„ ์“ฐ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. DataCamp์—๋Š” ์ด๋ฅผ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•œ Associate Data Engineer in SQL ์ปค๋ฆฌ์–ด ํŠธ๋ž™๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ์ค‘๊ธ‰, Python๊ณผ SQL ์ „์ œ
  • ํ˜•์‹: ์Šคํ‚ฌ ํŠธ๋ž™, ๋‹ค์ˆ˜์˜ ๋Œ€ํ™”ํ˜• ๊ฐ•์˜์™€ ํ”„๋กœ์ ํŠธ
  • ์ ํ•ฉ ๋Œ€์ƒ: ์Šฌ๋ผ์ด๋“œ๊ฐ€ ์•„๋‹Œ ์‹ค์Šต์„ ์›ํ•˜๋Š” GCP ์ง€๋ง ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด

7. Adrian Cantrill's AWS Certified Solutions Architect Associate (SAA-C03)

Cantrill์˜ SAA-C03 ๊ฐ•์˜๋Š” ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ๊ผฝ๋Š” ์ตœ๊ณ ์˜ AWS ๊ธฐ์ดˆ๋กœ ๊พธ์ค€ํžˆ ์–ธ๊ธ‰๋˜๋ฉฐ, ๋ˆˆ์— ๋„๋Š” ์„œ๋น„์Šค์˜ ํญ๋„“์Œ๋ณด๋‹ค ๊ธฐ๋ฐ˜ ์‹œ์„ค์˜ ๊นŠ์ด๋กœ ๊ทธ ๋ช…์„ฑ์„ ์–ป์—ˆ์Šต๋‹ˆ๋‹ค.ย 

๋ฐ์ดํ„ฐ ํด๋ผ์šฐ๋“œ ์—”์ง€๋‹ˆ์–ด์—๊ฒŒ ๊ฐ€์น˜๋Š” ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ๊ฐ•์˜๊ฐ€ ์Šค์น˜๊ณ  ์ง€๋‚˜๊ฐ€๋Š” ์„น์…˜์— ์ง‘์ค‘๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. IAM ์—ญํ• ๊ณผ ์ •์ฑ…, VPC ๋„คํŠธ์›Œํ‚น๊ณผ ์—”๋“œํฌ์ธํŠธ, ์Šคํ† ๋ฆฌ์ง€ ํด๋ž˜์Šค์™€ ์ˆ˜๋ช… ์ฃผ๊ธฐ ๊ทœ์น™, KMS ์•”ํ˜ธํ™” ๋“ฑ์ด ๊ทธ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๊ฐ•์˜๋Š” Cantrill์˜ ์ž์ฒด ์‚ฌ์ดํŠธ์—์„œ ํŒ๋งค๋˜๋Š” ์œ ๋ฃŒ ๊ณผ์ •์ด๋ฉฐ, ๊ฐ€๊ฒฉ์€ ํ•ด๋‹น ์‚ฌ์ดํŠธ์—์„œ ํŒ์ด‰์— ๋”ฐ๋ผ ๋ณ€๋™๋ฉ๋‹ˆ๋‹ค. ์ˆ˜ ์ฃผ ๋‹จ์œ„์˜ ๊ธด ์ปค๋ฐ‹์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ฐ•์˜๊ฐ€ ์•„๋‹ˆ๋ฏ€๋กœ, 11๋ฒˆ ํ•ญ๋ชฉ์˜ ํ•˜์œ„ ๋ ˆ์ด์–ด๋กœ ํ™œ์šฉํ•˜๊ณ  ๋Œ€์ฒด์žฌ๋กœ ๋ณด์ง€๋Š” ๋งˆ์„ธ์š”.

  • ๋ ˆ๋ฒจ: ์ค‘๊ธ‰, ๊ธฐ๋ณธ IT ๋ฐฐ๊ฒฝ ์ „์ œ
  • ํ˜•์‹: ์œ ๋ฃŒ ๋™์˜์ƒ ๊ฐ•์˜, ๋žฉ๊ณผ ์•„ํ‚คํ…์ฒ˜ ๋‹ค์ด์–ด๊ทธ๋žจ ํฌํ•จ
  • ์ ํ•ฉ ๋Œ€์ƒ: ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“œ๋Š” ๋ฒ•๋ฟ ์•„๋‹ˆ๋ผ AWS ํŒŒ์ดํ”„๋ผ์ธ์ด ์™œ ๊นจ์ง€๋Š”์ง€๋„ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ์—”์ง€๋‹ˆ์–ด

8. Google Cloud Skills Boost: ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ํ•™์Šต ๊ฒฝ๋กœ

๊ตฌ๊ธ€์˜ ์ž์ฒด ํŠธ๋ ˆ์ด๋‹ ํ”Œ๋žซํผ์€ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ํ•™์Šต ๊ฒฝ๋กœ์˜ ๋žฉ์—์„œ API๊ฐ€ ๋ฏธ๋ฆฌ ์ผœ์ง„ ์ž„์‹œ ํ”„๋กœ์ ํŠธ๋ฅผ ์ œ๊ณตํ•˜๋ฏ€๋กœ, ์ง์ ‘ ํ”„๋กœ๋น„์ €๋‹ ์—†์ด GCP ์‹ค์Šต์„ ํ•˜๊ธฐ์— ๊ฐ€์žฅ ์ข‹์Šต๋‹ˆ๋‹ค. ์ผ๋ถ€ ๊ฐ•์˜์™€ ๋žฉ์€ ๋ฌด๋ฃŒ์ž…๋‹ˆ๋‹ค.

์ด ๊ฒฝ๋กœ๋Š” ์ฐฝ๊ณ  ๋ฐ SQL ๋ถ„์„์„ ์œ„ํ•œ BigQuery, ๋ฐฐ์น˜์™€ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ณ€ํ™˜์„ ์œ„ํ•œ Dataflow, ์ด๋ฒคํŠธ ์ˆ˜์ง‘์„ ์œ„ํ•œ Pub/Sub, ์—์–ดํ”Œ๋กœ์šฐ ๊ธฐ๋ฐ˜ ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜์„ ์œ„ํ•œ Cloud Composer, ๋งค๋‹ˆ์ง€๋“œ Spark๋ฅผ ์œ„ํ•œ Dataproc์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ์ด ์„œ๋น„์Šค ๋ชฉ๋ก์€ ์‚ฌ์‹ค์ƒ Google Professional Data Engineer ์‹œํ—˜ ์ฒญ์‚ฌ์ง„์ด๋ฏ€๋กœ ์ž๊ฒฉ์ฆ ์ค€๋น„์—๋„ ๊ทธ๋Œ€๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋น„์šฉ์€ ๊ฒฝ๋กœ์— ๋”ฐ๋ผ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ๋ฌด๋ฃŒ ๋žฉ๊ณผ ํ€˜์ŠคํŠธ๋งŒ์œผ๋กœ๋„ ๋งŽ์€ ๋ถ€๋ถ„์„ ์ปค๋ฒ„ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋™์ผ ํŠธ๋ž™์˜ ํŒŒํŠธ๋„ˆ ํ˜ธ์ŠคํŒ… ๋ฒ„์ „์€ ๋ณดํ†ต ์›” 39~79๋‹ฌ๋Ÿฌ ๊ตฌ๋…๊ถŒ์— ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค. ๊ฐ™์€ ์ปค๋ฆฌํ˜๋Ÿผ์„ ๋‘ ๋ฒˆ ๊ฒฐ์ œํ•˜์ง€ ์•Š๋„๋ก ๋ฌด๋ฃŒ ๊ฒฝ๋กœ๊ฐ€ ํ•„์š”ํ•œ ๋ฒ”์œ„๋ฅผ ์ด๋ฏธ ์ถฉ์กฑํ•˜๋Š”์ง€ ๋จผ์ € ํ™•์ธํ•˜์„ธ์š”.

  • ๋ ˆ๋ฒจ: ์ค‘๊ธ‰
  • ํ˜•์‹: ๋ฒค๋” ๊ฐ•์˜ + ์ œํ•œ ์‹œ๊ฐ„ ์‹ค์Šต ๋žฉ, ๋ฌด๋ฃŒ/์œ ๋ฃŒ ํ‹ฐ์–ด
  • ์ ํ•ฉ ๋Œ€์ƒ: ๊ฐœ์ธ ๊ณผ๊ธˆ ๊ณ„์ • ์—†์ด ์ฝ˜์†” ์‹ค์Šต์„ ์›ํ•˜๋Š” GCP ํ•™์Šต์ž

9. Grow Data Skills: AWS, Azure, GCP์šฉ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ํŠธ๋ž™

Grow Data Skills๋Š” ํด๋ผ์šฐ๋“œ๋ณ„ ์ž๊ฐ€ ํ•™์Šต ํŠธ๋ž™์„ ์ œ๊ณตํ•˜๋ฉฐ, ๊ฐ•์ ์€ ๊ฐ•์˜ ์‹œ๊ฐ„๋ณด๋‹ค ํฌํŠธํด๋ฆฌ์˜ค ์‚ฐ์ถœ๋ฌผ์ž…๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ ์—…๋ฌด ์ด๋ ฅ์ด ์ „ํ˜€ ์—†๋Š” ์‚ฌ๋žŒ์—๊ฒŒ๋Š” ์ธ์ฆ์„œ๋ณด๋‹ค ํ”„๋กœ์ ํŠธ๊ฐ€ ๋” ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

๊ฐ ํŠธ๋ž™์€ ๋ฐ์ดํ„ฐ ๋ชจ๋ธ๋ง, ์›จ์–ดํ•˜์šฐ์ง•, ๋ฐฐ์น˜์™€ ์ŠคํŠธ๋ฆผ์˜ ๊ตฌ๋ถ„ ๊ฐ™์€ ๊ธฐ์ดˆ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•ด, ํด๋ผ์šฐ๋“œ๋ณ„ ์ˆ˜์ง‘, ์ €์žฅ, ๋ณ€ํ™˜, ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ๋ชจ๋“ˆ๋กœ ์ด์–ด์ง‘๋‹ˆ๋‹ค. ์ฐจ๋ณ„์ ์€ ํ”„๋กœ์ ํŠธ ์ž‘์—…์ž…๋‹ˆ๋‹ค. ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์— ๋‹ด๊ณ  ๋ฉด์ ‘์—์„œ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ๋Š” ์—”๋“œ ํˆฌ ์—”๋“œ ํŒŒ์ดํ”„๋ผ์ธ๊ณผ ๋ ˆ์ดํฌํ•˜์šฐ์Šค ์•„ํ‚คํ…์ฒ˜๋ฅผ ๊ตฌ์ถ•ํ•ฉ๋‹ˆ๋‹ค.

์œ ๋ฃŒ ํŠธ๋ž™์ด๋ฉฐ ๊ฐ€๊ฒฉ์€ ๊ฒฐ์ œ ๋‹จ๊ณ„์—์„œ ์ง€์—ญ๊ณผ ํ”„๋กœ๋ชจ์…˜์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค. Python๊ณผ SQL์˜ ๊ธฐ์ดˆ ๋ฐ ํด๋ผ์šฐ๋“œ์— ๋Œ€ํ•œ ์–ด๋А ์ •๋„์˜ ์นœ์ˆ™ํ•จ์„ ์ „์ œํ•ฉ๋‹ˆ๋‹ค. ์•„์ง ์ž…๋ฌธ ํŠธ๋ž™์„ ๋๋‚ด์ง€ ์•Š์•˜๋‹ค๋ฉด ์šฐ์„  ๊ทธ๊ฑธ ๋งˆ์น˜์„ธ์š”. ๊ทธ๋ ‡์ง€ ์•Š์œผ๋ฉด ์ดํ•ดํ•˜์ง€ ๋ชปํ•œ ๋ช…๋ น์„ ๊ทธ๋Œ€๋กœ ๋”ฐ๋ผ ์“ฐ๋Š” ๋ฐ ์‹œ๊ฐ„์„ ์“ฐ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ์ค‘๊ธ‰
  • ํ˜•์‹: ์ž๊ฐ€ ํ•™์Šต ์˜์ƒ + ๊ฐ€์ด๋“œํ˜• ํ”„๋กœ์ ํŠธ, ์œ ๋ฃŒ
  • ์ ํ•ฉ ๋Œ€์ƒ: ๋˜ ๋‹ค๋ฅธ ์ธ์ฆ์„œ๋ณด๋‹ค 3~4๊ฐœ์˜ ํฌํŠธํด๋ฆฌ์˜ค ํŒŒ์ดํ”„๋ผ์ธ์ด ํ•„์š”ํ•œ ์ปค๋ฆฌ์–ด ์ „ํ™˜์ž

10. Smart Data Learning: Data Engineering With Azure, AWS & GCP

์ด๋Š” ์„ธ ํด๋ผ์šฐ๋“œ๋ฅผ ํ•˜๋‚˜์˜ ์ปค๋ฆฌํ˜๋Ÿผ์—์„œ ๋‹ค๋ฃจ๋Š” 14์ฃผ ๋ผ์ด๋ธŒ ์˜จ๋ผ์ธ ํ”„๋กœ๊ทธ๋žจ์œผ๋กœ, ์ž๊ฐ€ ํ•™์Šต ์˜์ƒ์œผ๋กœ ๋‘ ๋ฒˆ์ด๋‚˜ ์‹คํŒจํ•œ ๊ฒฝํ—˜์ด ์žˆ๋‹ค๋ฉด ๊ณ ๋ คํ•  ๋งŒํ•œ ์„ ํƒ์ง€์ž…๋‹ˆ๋‹ค. ์ผ๋ถ€์—๊ฒŒ๋Š” ๋งˆ๊ฐ์ผ๊ณผ ์ฝ”ํ˜ธํŠธ๊ฐ€ ํšจ๊ณผ์ ์ด๋ฉฐ, ์ด๋ฅผ ๋ถ€์ •ํ•˜๋Š” ์กฐ์–ธ์€ ์ข‹์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๊ตฌ์„ฑ์€ ํ•ต์‹ฌ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ฐœ๋…์„ ๋จผ์ € ๋‹ค๋ฃจ๊ณ , ์ดํ›„ ํด๋ผ์šฐ๋“œ๋ณ„ ๊ตฌํ˜„์œผ๋กœ ์ด์–ด์ง‘๋‹ˆ๋‹ค. AWS์—์„œ๋Š” S3, Glue, Redshift, EMR; Azure์—์„œ๋Š” Data Lake, Data Factory, Synapse; GCP์—์„œ๋Š” BigQuery, Dataflow, Pub/Sub๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๋ผ์ด๋ธŒ ์„ธ์…˜๊ณผ ๋ณ‘ํ–‰ํ•ด ๊ณผ์ œ์™€ ๋žฉ์ด ์ง„ํ–‰๋˜์–ด, ์ˆ˜๋™ ์‹œ์ฒญ์ด ์•„๋‹Œ ํ‰๊ฐ€๊ฐ€ ๋™๋ฐ˜๋ฉ๋‹ˆ๋‹ค.

์‚ฌ์ „์— Python๊ณผ SQL ๊ฒฝํ—˜์ด ๊ถŒ์žฅ๋˜๋ฉฐ, ์‚ฌ์‹ค์ƒ ํ•„์ˆ˜์ž…๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉ์€ ์ฝ”์Šค ํŽ˜์ด์ง€์— ํ‘œ๊ธฐ๋œ ๊ณ ์ • ํ”„๋กœ๊ทธ๋žจ ์ˆ˜๊ฐ•๋ฃŒ์ด๋ฉฐ ์ง€์—ญ์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค. 14์ฃผ๋ฅผ ์ปค๋ฐ‹ํ•˜๊ธฐ ์ „์— ๋ฐ˜๋“œ์‹œ ์„œ๋ฉด์œผ๋กœ ๊ธˆ์•ก์„ ํ™•์ธํ•˜์„ธ์š”.

  • ๋ ˆ๋ฒจ: ์ค‘๊ธ‰; ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๊ฒฝํ—˜, Python, SQL ๊ถŒ์žฅ
  • ํ˜•์‹: 14์ฃผ ๋ผ์ด๋ธŒ ์ฝ”ํ˜ธํŠธ, ๊ณผ์ œ์™€ ๋žฉ ํฌํ•จ
  • ์ ํ•ฉ ๋Œ€์ƒ: ์ผ์ • ๊ธฐ๋ฐ˜ ์ˆ˜์—…์ด ํ•„์š”ํ•˜๊ณ  ์„ธ ํด๋ผ์šฐ๋“œ๋ฅผ ํ•œ ๋ฒˆ์— ํ›‘๊ณ  ์‹ถ์€ ํ•™์Šต์ž

11. AWS Skill Builder: AWS Certified Data Engineer โ€“ Associate ํ•™์Šต ๊ฒฝ๋กœ

AWS Skill Builder์˜ ์ด ํ•™์Šต ๊ฒฝ๋กœ๋Š” CLF-C02 ์ดํ›„ AWS ํ•™์Šต์ž๊ฐ€ ๊ฐ€์•ผ ํ•  ๊ณณ์ž…๋‹ˆ๋‹ค. ์ด ๋ชฉ๋ก์—์„œ ์œ ์ผํ•˜๊ฒŒ ์ผ๋ฐ˜ ์•„ํ‚คํ…์ฒ˜๊ฐ€ ์•„๋‹Œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์„œ๋น„์Šค์— ์ดˆ์ ์„ ๋งž์ถ˜ AWS ์ž๋ฃŒ์ด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์•„๋งˆ์กด์˜ ๊ณต์‹ ํŠธ๋ ˆ์ด๋‹ ํ”Œ๋žซํผ์ด๋ฏ€๋กœ ์ตœ์‹  ์‹œํ—˜ ๊ฐ€์ด๋“œ๋ฅผ ์ถฉ์‹คํžˆ ๋ฐ˜์˜ํ•ฉ๋‹ˆ๋‹ค.

๊ฒฝ๋กœ๋Š” ์‹ค๋ฌด์—์„œ ์šด์˜ํ•˜๊ฒŒ ๋  ์„œ๋น„์Šค ์ค‘์‹ฌ์ž…๋‹ˆ๋‹ค. ETL์„ ์œ„ํ•œ AWS Glue, ๊ฑฐ๋ฒ„๋„Œ์Šคํ˜• ๋ฐ์ดํ„ฐ ๋ ˆ์ดํฌ๋ฅผ ์œ„ํ•œ Lake Formation, ์›จ์–ดํ•˜์šฐ์ง•์„ ์œ„ํ•œ Amazon Redshift, Spark์™€ Hadoop ์›Œํฌ๋กœ๋“œ๋ฅผ ์œ„ํ•œ EMR, ์ŠคํŠธ๋ฆฌ๋ฐ ์ˆ˜์ง‘์„ ์œ„ํ•œ Kinesis์ž…๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉ์€ ํ˜ผํ•ฉํ˜•์œผ๋กœ, ๋””์ง€ํ„ธ ํŠธ๋ ˆ์ด๋‹์˜ ์ƒ๋‹น ๋ถ€๋ถ„์ด ๋ฌด๋ฃŒ์ด๋ฉฐ, ๋žฉ๊ณผ ์‹œํ—˜ ์ค€๋น„ ์ž๋ฃŒ๋ฅผ ์œ„ํ•œ Skill Builder ๊ฐœ์ธ ๊ตฌ๋…์€ ์›” ์•ฝ 29๋‹ฌ๋Ÿฌ ๋˜๋Š” ์—ฐ 299๋‹ฌ๋Ÿฌ ์ˆ˜์ค€์ž…๋‹ˆ๋‹ค.

CLF-C02์™€์˜ ๋‚œ์ด๋„ ์ฐจ์ด๋Š” ๋ถ„๋ช…ํ•ฉ๋‹ˆ๋‹ค. ์ด ์ž๋ฃŒ๋Š” ์‹œํ—˜ ์ˆ˜์ค€์˜ ๊นŠ์ด๋ฅผ ๋ชฉํ‘œ๋กœ ํ•˜๋ฉฐ, ์ด๋ฏธ ์ฝ˜์†”์„ ํƒ์ƒ‰ํ•˜๊ณ  IAM ์ •์ฑ…์„ ์ฝ๊ณ  VPC ๋ฐฐ์น˜๋ฅผ ํŒ๋‹จํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•ฉ๋‹ˆ๋‹ค. AWS ์ฒซ ์ž…๋ฌธ์œผ๋กœ ์—ฌ๊ธฐ์„œ ์‹œ์ž‘ํ•˜์ง€ ๋งˆ์„ธ์š”.

  • ๋ ˆ๋ฒจ: ๊ณ ๊ธ‰; CLF-C02์™€ ์ผ๋ถ€ ์‹ค์Šต ๊ฒฝํ—˜ ์ดํ›„ ๊ถŒ์žฅ
  • ํ˜•์‹: ๋ฒค๋” ํ•™์Šต ๊ฒฝ๋กœ, ๋ฌด๋ฃŒ ๊ฐ•์˜ + ์œ ๋ฃŒ ๊ตฌ๋… ํ‹ฐ์–ด
  • ์ ํ•ฉ ๋Œ€์ƒ: AWS Certified Data Engineer โ€“ Associate ์‹œํ—˜์„ ๋ชฉํ‘œ๋กœ ํ•˜๋Š” ์—”์ง€๋‹ˆ์–ด

12. Microsoft Learn: Azure Data Engineering (DP-203) ๊ฒฝ๋กœ

๊ณ ๊ธ‰ Azure ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์ปค๋ฆฌํ˜๋Ÿผ ์ค‘ ์ตœ๊ณ ์˜ ๋ฌด๋ฃŒ ์ž๋ฃŒ๋Š” ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ ๊ณต์‹ ์ž๋ฃŒ์ด๋ฉฐ, DP-203 ๊ฒฝ๋กœ๋Š” AZ-900 ๊ฐœ๋…์ด ์ž๋ฆฌ ์žก์€ ํ›„ ํ•™์Šตํ•˜๊ธฐ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋“  Learn ๋ชจ๋“ˆ์€ ๋ฌด๋ฃŒ๋กœ ์ฝ๊ณ  ์‹ค์Šตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ปค๋ฒ„๋ฆฌ์ง€๋Š” Azure ๋ฐ์ดํ„ฐ ์Šคํƒ ๋ณธ์ฒด์ž…๋‹ˆ๋‹ค. Azure Data Lake Storage, ์›จ์–ดํ•˜์šฐ์ง•๊ณผ Spark ํ’€์„ ์œ„ํ•œ Synapse Analytics, ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜๊ณผ ๋ณต์‚ฌ ์ž‘์—…์„ ์œ„ํ•œ Data Factory, ์ŠคํŠธ๋ฆฌ๋ฐ ์ฟผ๋ฆฌ๋ฅผ ์œ„ํ•œ Stream Analytics, ๋…ธํŠธ๋ถ ๊ธฐ๋ฐ˜ ๋ณ€ํ™˜์„ ์œ„ํ•œ Azure Databricks๊นŒ์ง€ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ํŒ€์ด Fabric ์‹œ๋Œ€์˜ Synapse ์›Œํฌ๋กœ๋“œ๋กœ ํ‘œ์ค€ํ™”ํ•˜๊ณ  ์žˆ๋‹ค๋ฉด, ์ด ์ž๋ฃŒ๊ฐ€ ์ผ๊ณผ ๊ฐ€์žฅ ๋ฐ€์ ‘ํ•ฉ๋‹ˆ๋‹ค.

์†”์งํ•œ ๋ฌธ์ œ ๋‘ ๊ฐ€์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. Microsoft Learn์€ ์ฝ๊ธฐ ์œ„์ฃผ๋ผ ์ง„ํ–‰ ํ‘œ์‹œ๊ฐ€ ์žˆ๋Š” ๋ฌธ์„œ์ฒ˜๋Ÿผ ๋А๊ปด์งˆ ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, ๊ฐœ์ธ ๊ตฌ๋…์œผ๋กœ ์ง์ ‘ ๋ฌด์–ธ๊ฐ€๋ฅผ ๋งŒ๋“ค์–ด ๋ณด๋ฉฐ ๋‹ค์Œ๋งŒ ํด๋ฆญํ•˜์ง€ ๋งˆ์„ธ์š”. ๋˜ํ•œ DP-203 ์‹œํ—˜ ์‘์‹œ๋ฃŒ๋Š” ์•ฝ 165๋‹ฌ๋Ÿฌ๋กœ, ์ด ๋ชฉ๋ก์—์„œ ํ•™์Šต ์‹œ๊ฐ„ ๋Œ€๋น„ ๊ฐ€์žฅ ๋น„์‹ผ ํ•ญ๋ชฉ์ž…๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ๊ณ ๊ธ‰; AZ-900์™€ ์ผ๋ถ€ ์‹ค์Šต ๊ฒฝํ—˜ ์ดํ›„ ๊ถŒ์žฅ
  • ํ˜•์‹: ๋ฌด๋ฃŒ ์ž๊ฐ€ ํ•™์Šต ๋ชจ๋“ˆ, ์œ ๋ฃŒ ์‹œํ—˜
  • ์ ํ•ฉ ๋Œ€์ƒ: ๊ฐ•์˜ ๋น„์šฉ ์—†์ด ๋ฒค๋” ์ •ํ™•๋„์˜ ์ปค๋ฒ„๋ฆฌ์ง€๋ฅผ ์›ํ•˜๋Š” Azure ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด

13. r/dataengineering ํด๋ผ์šฐ๋“œ ์„ ํƒ ์Šค๋ ˆ๋“œ

์ด ๋ชฉ๋ก์—์„œ ๊ฐ€์žฅ ์œ ์šฉํ•œ ๋ฌด๋ฃŒ ์ž๋ฃŒ๋Š” ๊ฐ•์˜๊ฐ€ ์•„๋‹ˆ๋ผ r/dataengineering ์„œ๋ธŒ๋ ˆ๋”ง์ž…๋‹ˆ๋‹ค. "๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์ž…๋ฌธ์ž๊ฐ€ ๋ฐฐ์šฐ๊ธฐ์— ๊ฐ€์žฅ ์ข‹์€ ํด๋ผ์šฐ๋“œ ์ œ๊ณต์—…์ฒด๋Š”?" "์—…์Šคํ‚ฌ๊ณผ ์ด์ง์— GCP, Azure, AWS ์ค‘ ๋ฌด์—‡์ด ์ตœ์„ ์ธ๊ฐ€" ๊ฐ™์€ ์Šค๋ ˆ๋“œ์—์„œ ์‹ค์ œ ๊ฒฐ์ •์ด ์ด๋ฃจ์–ด์ง€๋ฉฐ, ๋‹ต๋ณ€ํ•˜๋Š” ์‹ค๋ฌด์ž๋“ค์€ ์ฑ„์šฉ์œ„์›์œผ๋กœ๋„ ํ™œ๋™ํ•ฉ๋‹ˆ๋‹ค.

๋ฐ˜๋ณต๋˜๋Š” ์ž…์žฅ์€ ์š”์•ฝํ•  ๋งŒํผ ์ผ๊ด€๋ฉ๋‹ˆ๋‹ค. ์‹œ์žฅ ์ ์œ ์œจ ๋•๋ถ„์— AWS๊ฐ€ ๊ฐ€์žฅ ์•ˆ์ „ํ•œ ์ปค๋ฆฌ์–ด ํˆฌ์ž๋กœ ๋ถˆ๋ฆฌ๋ฉฐ, GCP๋Š” BigQuery์™€ Dataflow์˜ ๊ฐ•์ ์œผ๋กœ ๋ฐ์ดํ„ฐ ์ค‘์‹ฌ ๋ฐ ML ์›Œํฌ๋กœ๋“œ์— ์ถ”์ฒœ๋ฉ๋‹ˆ๋‹ค. Azure๋Š” ๊ณ ์šฉ์ฃผ๊ฐ€ Microsoft ์ค‘์‹ฌ์ด๊ฑฐ๋‚˜ ํ•ด๋‹น ์ง€์—ญ ์‹œ์žฅ์ด ๊ทธ๋ ‡๋‹ค๋ฉด ์šฐ์„ธํ•ฉ๋‹ˆ๋‹ค. ๋˜ ๋‹ค๋ฅธ ๋ฐ˜๋ณต ์กฐ์–ธ์€ ํ•˜๋‚˜๋ฅผ ์„ ํƒํ•ด ์ˆ™๋ จ๋„๋ฅผ ์Œ“์€ ๋’ค ๋‘ ๋ฒˆ์งธ๋ฅผ ์ถ”๊ฐ€ํ•˜๋ผ๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์ปค๋ฆฌํ˜๋Ÿผ ์–ด๋””์—๋„ ์—†๋Š” ์ง€์—ญ์  ๋””ํ…Œ์ผ์€ ์Šค๋ ˆ๋“œ์—์„œ ์ฝ์œผ์„ธ์š”. ์—ฌ๋Ÿฌ๋ถ„์ด ์‚ฌ๋Š” ๋„์‹œ์˜ ๊ตฌ์ธ ๊ณต๊ณ ๊ฐ€ Synapse๋ฅผ ๋งํ•˜๋Š”์ง€ Snowflake๋ฅผ ๋งํ•˜๋Š”์ง€๋Š” ํ˜„์ง€ ์‹ค๋ฌด์ž๋งŒ ๋‹ตํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์ด ๊ธ€์˜ ๋‹ค๋ฅธ ๋ชจ๋“  ์ถ”์ฒœ๋ณด๋‹ค ์šฐ์„ ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

  • ๋ ˆ๋ฒจ: ์ „์ฒด
  • ํ˜•์‹: ๋ฌด๋ฃŒ ์ปค๋ฎค๋‹ˆํ‹ฐ ํ† ๋ก 
  • ์ ํ•ฉ ๋Œ€์ƒ: ํ•™์Šต๋น„๋ฅผ ์“ฐ๊ธฐ ์ „์— ์–ด๋А ํด๋ผ์šฐ๋“œ์— ์ „๋…ํ• ์ง€ ๊ฒฐ์ •ํ•˜๋ ค๋Š” ๋ถ„

๋ฐ์ดํ„ฐ ํด๋ผ์šฐ๋“œ ์—”์ง€๋‹ˆ์–ด์—๊ฒŒ ํ•„์š”ํ•œ ๊ธฐ์ˆ 

๋ฐ์ดํ„ฐ ํด๋ผ์šฐ๋“œ ์—”์ง€๋‹ˆ์–ด๋Š” AWS, Azure, GCP์—์„œ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์„ค๊ณ„ยท๊ตฌ์ถ•ยท์šด์˜ํ•ฉ๋‹ˆ๋‹ค. ์‹ค๋ฌด์—์„œ๋Š” ๋ฐ์ดํ„ฐ ๋ ˆ์ดํฌ์™€ ์›จ์–ดํ•˜์šฐ์Šค๋กœ ์œ ์ž…๋˜๋Š” ETL/ELT ์ž‘์—…๊ณผ, ๊ทธ ์ฃผ๋ณ€์˜ ๋ณด์•ˆ ๋ฐ ๋น„์šฉ ํ†ต์ œ๊ฐ€ ํ•ต์‹ฌ์ž…๋‹ˆ๋‹ค. ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง๊ณผ ๋ถ„์„์˜ ์ค‘๊ฐ„์— ์œ„์น˜ํ•˜๋ฉฐ, ํ•„์š”ํ•œ ๊ธฐ์ˆ ๋„ ๊ทธ ์„ฑ๊ฒฉ์„ ๋ฐ˜์˜ํ•ฉ๋‹ˆ๋‹ค.

  • ํ”„๋กœ๊ทธ๋ž˜๋ฐ๊ณผ ์งˆ์˜: Python๊ณผ SQL์€ ํ•„์ˆ˜
  • ์˜ค๋ธŒ์ ํŠธ ์Šคํ† ๋ฆฌ์ง€: Amazon S3, Azure Blob ๋ฐ Data Lake Storage, ๋˜๋Š” Google Cloud Storage
  • ์›จ์–ดํ•˜์šฐ์Šค์™€ ๋ถ„์„ ์—”์ง„: Redshift, BigQuery, Synapse, ๊ทธ๋ฆฌ๊ณ  ๋ฉ€ํ‹ฐํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ๋Š” Snowflake
  • ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜: Airflow, ๊ทธ๋ฆฌ๊ณ  ๋„ค์ดํ‹ฐ๋ธŒ ์Šค์ผ€์ค„๋Ÿฌ(AWS Step Functions, Azure Data Factory ํŒŒ์ดํ”„๋ผ์ธ, Cloud Composer)
  • ์ŠคํŠธ๋ฆฌ๋ฐ: Kinesis, Azure Event Hubs, Pub/Sub, ์ž์ฒด ๋ธŒ๋กœ์ปค๋ฅผ ์šด์˜ํ•˜๋Š” ํŒ€์€ Kafka
  • ์ฝ”๋“œํ˜• ์ธํ”„๋ผ: Terraform, CloudFormation, Bicep
  • ์šด์˜ ๊ธฐ์ดˆ: Linux, ๋„คํŠธ์›Œํ‚น, Git, ์…ธ ํ™˜๊ฒฝ ์ˆ™๋ จ

์ด ๋ชฉ๋ก์˜ ์ž๊ฒฉ์ฆ ์ˆ˜์ค€ ์ž๋ฃŒ๋ฅผ ์œ„ํ•ด์„œ๋Š” ์ตœ์†Œ 6~12๊ฐœ์›”์˜ ํด๋ผ์šฐ๋“œ ์‹ค์Šต ๊ฒฝํ—˜์„ ์ „์ œ๋กœ ํ•˜์„ธ์š”. DP-203๊ณผ AWS ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๊ฒฝ๋กœ๋Š” ๊ทธ ์ด์ „ ๋‹จ๊ณ„์—์„œ ์นœ์ ˆํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์ถ”์ฒœ ํ•™์Šต ๊ฒฝ๋กœ

์ง€๊ธˆ ์• ๋„๋ฆฌ์ŠคํŠธ๋กœ ์ถœ๋ฐœํ•ด 1๋…„ ๋‚ด ํด๋ผ์šฐ๋“œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๋ฉด์ ‘์„ ๋ณด๊ณ ์ž ํ•œ๋‹ค๋ฉด, ์ œ๊ฐ€ ๋”ฐ๋ฅผ ์ˆœ์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

1๋‹จ๊ณ„: ์šฉ์–ด๋ฅผ ์ตํžˆ๊ณ  ํ•˜๋‚˜์˜ ํด๋ผ์šฐ๋“œ๋ฅผ ๊ณ ๋ฅด๊ธฐ

Understanding Cloud Computing์„ ํ•™์Šตํ•˜๊ณ , ๋กœ์ปฌ ๊ตฌ์ธ ๊ณต๊ณ ๋ฅผ ์˜†์— ๋„์šด ์ฑ„ r/dataengineering์˜ ํด๋ผ์šฐ๋“œ ์„ ํƒ ์Šค๋ ˆ๋“œ๋ฅผ ๋ช‡ ๊ฐœ ์ฝ์–ด๋ณด์„ธ์š”. ๋‹ค๋ฅธ ๊ฒƒ์„ ์‚ฌ๊ธฐ ์ „์— ํ•œ ์ œ๊ณต์—…์ฒด์— ์ „๋…ํ•˜์„ธ์š”.

2๋‹จ๊ณ„: ์„ ํƒํ•œ ์ œ๊ณต์—…์ฒด์˜ ๊ธฐ์ดˆ๋ฅผ ์ œ๋Œ€๋กœ ํ•™์Šต

AWS Cloud Practitioner (CLF-C02) ํŠธ๋ž™, Microsoft Azure Fundamentals (AZ-900) ํŠธ๋ž™, ๋˜๋Š” Introduction to GCP์™€ Google Cloud Data Engineer ํŠธ๋ž™์˜ ์ดˆ๋ฐ˜ ๊ณผ์ •์„ 1๋‹จ๊ณ„ ์„ ํƒ์— ๋งž์ถฐ ์ˆ˜๊ฐ•ํ•˜์„ธ์š”. Azure๋ฅผ ์„ ํƒํ–ˆ๊ณ  ์˜ˆ์‚ฐ์ด ์ „ํ˜€ ์—†์œผ๋ฉฐ ๋Œ€ํ™”ํ˜• ์ฝ˜ํ…์ธ ๊ฐ€ ํ•„์š” ์—†๋‹ค๋ฉด John Savill์˜ AZ-900 ๋ฐ AZ-104 ์žฌ์ƒ๋ชฉ๋ก์œผ๋กœ ๋™์ผ ๋ฒ”์œ„๋ฅผ ๋ฌด๋ฃŒ๋กœ ์ปค๋ฒ„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

3๋‹จ๊ณ„: ํ•ด๋‹น ํด๋ผ์šฐ๋“œ์˜ ๋ฐ์ดํ„ฐ ์„œ๋น„์Šค๋ฅผ ๊นŠ๊ฒŒ ํŒŒ๊ธฐ

์ด ๋‹จ๊ณ„์—์„œ ๊ณ ์šฉ ๊ฐ€๋Šฅ์„ฑ์ด ์ƒ๊น๋‹ˆ๋‹ค.

4๋‹จ๊ณ„: ํ”„๋กœ์ ํŠธ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ  ์ธํ”„๋ผ ๋ ˆ์ด์–ด ๋ณด๊ฐ•

Grow Data Skills ํ”„๋กœ์ ํŠธ ๋ชจ๋“ˆ์„ ํ™œ์šฉํ•˜๊ฑฐ๋‚˜ Terraform๊ณผ Airflow๋กœ ์ง์ ‘ ์ง„ํ–‰ํ•ด, ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ๋Š” ์—”๋“œ ํˆฌ ์—”๋“œ ํŒŒ์ดํ”„๋ผ์ธ์„ ๋‘์„ธ ๊ฐœ ๊ตฌ์ถ•ํ•˜์„ธ์š”. ๋™์‹œ์— Cantrill์˜ SAA-C03 ๊ฐ•์˜๋กœ ๋ฐ์ดํ„ฐ ์ „์šฉ ๊ฐ•์˜์—์„œ ๋‚จ๊ฒจ๋‘” IAM, VPC, ์•”ํ˜ธํ™”์˜ ๋นˆํ‹ˆ์„ ๋ฉ”์šฐ์„ธ์š”. ๋ฌธ์ œ๊ฐ€ ๋‚ด์šฉ์ด ์•„๋‹ˆ๋ผ ๋งˆ๊ฐ์ผ์ด๋ผ๋ฉด ์ด ๋‹จ๊ณ„๋ฅผ Smart Data Learning 14์ฃผ ์ฝ”ํ˜ธํŠธ๋กœ ๋Œ€์ฒดํ•˜์„ธ์š”.

๋งˆ๋ฌด๋ฆฌ

๋Œ€๋ถ€๋ถ„์˜ ๋…์ž์—๊ฒŒ ์ถ”์ฒœํ•˜๋Š” ์ˆœ์„œ๋Š” Understanding Cloud Computing์œผ๋กœ ๊ฐœ๋…์„ ์žก๊ณ , ํ•œ ์ œ๊ณต์—…์ฒด์˜ ๊ธฐ์ดˆ ํŠธ๋ž™์„ ์ˆ˜๊ฐ•ํ•œ ๋’ค, ํ•ด๋‹น ์ œ๊ณต์—…์ฒด์˜ ๋ฐ์ดํ„ฐ ์„œ๋น„์Šค ๊ฒฝ๋กœ๋กœ ๋„˜์–ด๊ฐ€๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊ฐœ๋…์— 2์ฃผ๋ฅผ ํˆฌ์žํ•˜๋ฉด ์ดํ›„์˜ ํ•œ ๋‹ฌ์งœ๋ฆฌ ํ˜ผ๋ž€์„ ์ค„์ผ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์„ธ ๊ฐ€์ง€๋ฅผ ๋ง›๋ณด๊ธฐ๋ณด๋‹ค ํ•˜๋‚˜๋ฅผ ์ œ๋Œ€๋กœ ํŒŒ๋Š” ํŽธ์ด ๋‚ซ์Šต๋‹ˆ๋‹ค.

ํ•œ ๊ฐ€์ง€ ์•Œ์•„๋‘˜ ์ : ์‹œํ—˜ ๋น„์šฉ์€ ๋ณ€๋™๋ฉ๋‹ˆ๋‹ค. AZ-900์˜ 99~120๋‹ฌ๋Ÿฌ, DP-203์˜ 165๋‹ฌ๋Ÿฌ, AWS Skill Builder ์—ฐ 299๋‹ฌ๋Ÿฌ๋Š” ์ž‘์„ฑ ์‹œ์ ์˜ ์ˆ˜์น˜์ผ ๋ฟ ํ™•์•ฝ์ด ์•„๋‹™๋‹ˆ๋‹ค.

๋˜ ํ•˜๋‚˜ ์ค‘์š”ํ•œ ๋‹จ์„œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ˆ„๊ตฌ๋„ ํฐ ์†Œ๋ฆฌ๋กœ ๋งํ•˜๊ณ  ์‹ถ์–ด ํ•˜์ง€ ์•Š๋Š” ์‚ฌ์‹ค์ž…๋‹ˆ๋‹ค. ์ด ์ž๋ฃŒ๋“ค๋งŒ์œผ๋กœ๋Š” ์ฑ„์šฉ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฉด์ ‘ ๊ธฐํšŒ๋ฅผ ๊ฐ€์ ธ๋‹ค์ฃผ๋Š” ๊ฒƒ์€ ์—ฌ๋Ÿฌ๋ถ„์ด ์ง์ ‘ ๋งŒ๋“ค๊ณ  ๋ง๊ฐ€๋œจ๋ ค ๋ณด์•˜์œผ๋ฉฐ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ๋Š” ๋‘์„ธ ๊ฐœ์˜ ํŒŒ์ดํ”„๋ผ์ธ, ๊ฐ€๋Šฅํ•˜๋ฉด ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์— Terraform์ด ํฌํ•จ๋œ ์ž‘์—…๋ฌผ์ž…๋‹ˆ๋‹ค. ์ž๊ฒฉ์ฆ์€ ์Šคํฌ๋ฆฌ๋‹ ์ฝœ์„ ํ†ต๊ณผ์‹œํ‚ค๊ณ , ํ”„๋กœ์ ํŠธ๊ฐ€ ๊ธฐ์ˆ  ๋ฉด์ ‘์„ ์ด๊น๋‹ˆ๋‹ค.

FAQs

๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ์ง€๋ง์ƒ์œผ๋กœ์„œ AWS, Azure, GCP ์ค‘ ๋ฌด์—‡์„ ๋จผ์ € ๋ฐฐ์›Œ์•ผ ํ•˜๋‚˜์š”?

ํ•˜๋‚˜๋ฅผ ์„ ํƒํ•ด ์ •๋ง ์ž˜ํ•˜๊ฒŒ ๋œ ํ›„์—๋งŒ ๋‘ ๋ฒˆ์งธ ํด๋ผ์šฐ๋“œ๋ฅผ ์ถ”๊ฐ€ํ•˜์„ธ์š”. ๊ตฌ์ธ ๊ณต๊ณ  ์ˆ˜๊ฐ€ ์ตœ์šฐ์„ ์ด๋ผ๋ฉด AWS๋ฅผ ๋จผ์ € ๋ฐฐ์šฐ์„ธ์š”. ์‹œ์žฅ ์ ์œ ์œจ ๋•Œ๋ฌธ์— r/dataengineering ์Šค๋ ˆ๋“œ์—์„œ ๋ฐ˜๋ณต์ ์œผ๋กœ ๊ฐ€์žฅ ์•ˆ์ „ํ•œ ์ปค๋ฆฌ์–ด ํˆฌ์ž๋กœ ๊ผฝํž™๋‹ˆ๋‹ค. ์›ํ•˜๋Š” ์ž‘์—…์ด ๋ถ„์„ ์ค‘์‹ฌ์ด๋ผ๋ฉด GCP๋ฅผ ๋จผ์ € ๋ฐฐ์šฐ์„ธ์š”. BigQuery์™€ Dataflow ๋•๋ถ„์— ํŒŒ์ดํ”„๋ผ์ธ์„ ๋น ๋ฅด๊ฒŒ ๊ฐ€๋™ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ํ˜ธํ‰์ด ๊พธ์ค€ํ•ฉ๋‹ˆ๋‹ค. ํšŒ์‚ฌ๋‚˜ ์ง€์—ญ ์‹œ์žฅ์ด SQL Server, Power BI, Active Directory๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค๋ฉด Azure๋ฅผ ๋จผ์ € ๋ฐฐ์šฐ์„ธ์š”.

ํด๋ผ์šฐ๋“œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ฐ•์˜๋ฅผ ์‹œ์ž‘ํ•˜๊ธฐ ์ „์— Python๊ณผ SQL์ด ํ•„์š”ํ•œ๊ฐ€์š”?

์ž…๋ฌธ ๋‹จ๊ณ„๋ฅผ ๋„˜์–ด์„œ๋ฉด ์˜ˆ, ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. Understanding Cloud Computing, AZ-900, CLF-C02 ๊ฐ™์€ ์ž…๋ฌธ ์ž๋ฃŒ๋Š” ์ฝ”๋”ฉ์ด ํ•„์š” ์—†์ง€๋งŒ, Google Cloud Data Engineer ํŠธ๋ž™, AWS Skill Builder ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๊ฒฝ๋กœ, DP-203 ๋ชจ๋“ˆ์€ ๋ชจ๋‘ SQL์„ ์ž‘์„ฑํ•˜๊ณ  Python์„ ์ฝ์„ ์ˆ˜ ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์— Linux ๊ธฐ์ดˆ, Git, ์…ธ ํ™˜๊ฒฝ ์ˆ™๋ จ๋„ ์ถ”๊ฐ€ํ•˜์„ธ์š”. ์ด๋“ค์ด ์—†์œผ๋ฉด ํŒŒ์ดํ”„๋ผ์ธ ์„ค๊ณ„ ๋Œ€์‹  ๋ฌธ๋ฒ• ์˜ค๋ฅ˜๋ฅผ ์žก๋Š” ๋ฐ ํ•™์Šต ์‹œ๊ฐ„์„ ์“ฐ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

AWS, Azure, GCP ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์ž๊ฒฉ์ฆ ๋น„์šฉ์€ ์–ผ๋งˆ๋‚˜ ๋“œ๋‚˜์š”?

ํ•™์Šต๊ณผ ์‹œํ—˜์€ ๋ณ„๋„ ๊ณผ๊ธˆ์ž…๋‹ˆ๋‹ค. Microsoft Learn ์ฝ˜ํ…์ธ ๋Š” ๋ฌด๋ฃŒ์ด๋ฉฐ DP-203 ์‹œํ—˜ ์‘์‹œ๋ฃŒ๋Š” ์•ฝ 165๋‹ฌ๋Ÿฌ, AZ-900์€ ์ง€์—ญ์— ๋”ฐ๋ผ ์•ฝ 99~120๋‹ฌ๋Ÿฌ์ž…๋‹ˆ๋‹ค. AWS Skill Builder๋Š” ์ƒ๋‹น๋Ÿ‰์˜ ๋ฌด๋ฃŒ ๋””์ง€ํ„ธ ํŠธ๋ ˆ์ด๋‹์„ ์ œ๊ณตํ•˜๋ฉฐ, ๊ฐœ์ธ ๊ตฌ๋…์€ ์›” ์•ฝ 29๋‹ฌ๋Ÿฌ ๋˜๋Š” ์—ฐ 299๋‹ฌ๋Ÿฌ์ž…๋‹ˆ๋‹ค. Google Cloud Skills Boost์—๋Š” ๋ฌด๋ฃŒ ๋žฉ์ด ํฌํ•จ๋˜์–ด ์žˆ๊ณ , ํŒŒํŠธ๋„ˆ ํ˜ธ์ŠคํŒ… ํŠธ๋ž™์€ ๋ณดํ†ต ์›” 39~79๋‹ฌ๋Ÿฌ์ž…๋‹ˆ๋‹ค. DataCamp๋Š” ๊ฐ ํ”Œ๋žซํผ์šฉ ํ•™์Šต ๊ฒฝ๋กœ์™€ ๋ฒค๋” ์ž๊ฒฉ์ฆ ํ• ์ธ ํ˜œํƒ์„ ์›” 25~33๋‹ฌ๋Ÿฌ์— ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.ย ๊ตฌ์ธ ๊ณต๊ณ ๋‚˜ ์Šน์ง„ ์ ˆ์ฐจ์—์„œ ์ž๊ฒฉ์ฆ์„ ๋ช…์‹œ์ ์œผ๋กœ ์š”๊ตฌํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด ์‹œํ—˜ ๋น„์šฉ์„ ์ง€๋ถˆํ•˜์ง€ ๋งˆ์„ธ์š”.

ํด๋ผ์šฐ๋“œ ์ž๊ฒฉ์ฆ๋งŒ์œผ๋กœ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์ง๋ฌด์— ์ทจ์—…ํ•  ์ˆ˜ ์žˆ๋‚˜์š”?

๋งŽ์€ ๊ฒฝ์šฐ ์ถฉ๋ถ„ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. CLF-C02์™€ AZ-900์€ ๊ธฐ์ดˆ ์‹œํ—˜์œผ๋กœ, ์ปค๋ฆฌํ˜๋Ÿผ ์ƒ๋‹น ๋ถ€๋ถ„์ด ์ผ๋ฐ˜ ํด๋ผ์šฐ๋“œ ๊ฐœ๋…, ๊ณผ๊ธˆ, ๊ฑฐ๋ฒ„๋„Œ์Šค์— ์ง‘์ค‘ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋‘˜ ์ค‘ ํ•˜๋‚˜๋ฅผ ํ†ต๊ณผํ–ˆ๋‹ค๊ณ  ํ•ด์„œ Glue ์žก์„ ๋งŒ๋“ค๊ฑฐ๋‚˜ Dataflow ํŒŒ์ดํ”„๋ผ์ธ์„ ๋””๋ฒ„๊น…ํ•ด ๋ดค๋‹ค๋Š” ์ฆ๊ฑฐ๋Š” ์•„๋‹™๋‹ˆ๋‹ค. ๋ฉด์ ‘์„ ํ†ต๊ณผํ•˜๊ฒŒ ํ•ด ์ฃผ๋Š” ๊ฒƒ์€ ์—ฌ๋Ÿฌ๋ถ„์ด ์ง์ ‘ ๋งŒ๋“  ์—”๋“œ ํˆฌ ์—”๋“œ ํŒŒ์ดํ”„๋ผ์ธ ๋‘์„ธ ๊ฐœ์ด๋ฉฐ, ๊ฐ€๋Šฅํ•˜๋ฉด Terraform์œผ๋กœ ํ”„๋กœ๋น„์ €๋‹ํ•˜๊ณ  ๊ณต๊ฐœ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์— ์ปค๋ฐ‹ํ•œ ์ž‘์—…๋ฌผ์ž…๋‹ˆ๋‹ค. ์ž๊ฒฉ์ฆ์€ ์Šคํฌ๋ฆฌ๋‹ ์ฝœ์„ ํ†ต๊ณผ์‹œํ‚ค๊ณ , ํ”„๋กœ์ ํŠธ๊ฐ€ ๊ธฐ์ˆ  ๋ฉด์ ‘์„ ์ด๊น๋‹ˆ๋‹ค.

์ฃผ์ œ