ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ณผ์ ์ ์ฐพ์๋ณด๋ฉด ์๋ฃ๊ฐ ๋๋ฌด ๋ง์ ์๋๋๊ณ , ๋น
3 ์ ๊ณต์
์ฒด ์ค ์ด๋ค ๊ฒ(ํน์ ๋ช ๊ฐ)์ ๋ฐฐ์์ผ ํ ์ง ๋ง๋งํ ์ ์์ต๋๋ค. ์ปค๋ฎค๋ํฐ์ ์ผ๊ด๋ ๋ต์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. ํ๋๋ก ์์ํ๊ณ , ์ฒซ ๋ฒ์งธ ํด๋ผ์ฐ๋๊ฐ ์ง๋ฃจํ๋ค๊ณ ๋๊ปด์ง ๋์๋ง ๋ ๋ฒ์งธ๋ฅผ ์ถ๊ฐํ์ธ์. ๊ทธ๋ ๋ค๋ฉด ์ง๊ธ ์ด๋ค ๊ฒ์ ๊ณ ๋ฅผ์ง ์ค์ค๋ก์๊ฒ ๋ฌป๊ณ ์๋ค๋ฉด, ๋ค์์ ์์ฌ๊ฒฐ์ ํ๋ ์์ํฌ๋ฅผ ์ฐธ๊ณ ํ์ธ์:
- AWS๋ฅผ ๋จผ์ ๋ฐฐ์ฐ์ธ์: ๊ฐ์ฅ ํญ๋์ ๊ตฌ์ธ ์์๋ฅผ ๋
ธ๋ฆด ์ ์์ต๋๋ค.
- GCP๋ฅผ ๋จผ์ ๋ฐฐ์ฐ์ธ์: ์ํ๋ ์ผ์ด BigQuery์ Dataflow ์ค์ฌ์ด๋ผ๋ฉด ์ ํฉํฉ๋๋ค.
- Azure๋ฅผ ๋จผ์ ๋ฐฐ์ฐ์ธ์: ํ์ฌ ํ์ฌ๊ฐ ์ด๋ฏธ SQL Server์ Power BI๋ฅผ ์ฌ์ฉํ๋ค๋ฉด ์ ๋ฆฌํฉ๋๋ค.
์ด ๋ชฉ๋ก์ ๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด ์ญํ ๋ก ์ ํํ๋ ค๋ ๋ถ๋ค์ ์ํ ๊ฒ์
๋๋ค. ํ์ดํ๋ผ์ธ์ ์์ ํ๊ณ ์ถ์ ์ ๋๋ฆฌ์คํธ, ๋ฐ์ดํฐ ํ๋ซํผ ์ชฝ์ผ๋ก ์ด๋ํ๋ ์ํํธ์จ์ด ์์ง๋์ด, ์จํ๋ ๋ฏธ์ค Spark๋ฅผ ์ด์ํ๋ค๊ฐ ์ด์ Glue, Synapse, Dataflow๊ฐ ํ์ํ ๋ฐ์ดํฐ ์์ง๋์ด๋ฅผ ํฌํจํฉ๋๋ค. ์ ๋ ๋ค์ ๊ธฐ์ค์ผ๋ก ์๋ฃ๋ฅผ ์ ์ ํ์ต๋๋ค. wํด๋น ์ปค๋ฆฌํ๋ผ์ด ์ค์ ์๊ฒฉ์ฆ ์ฒญ์ฌ์ง(CLF-C02, AZ-900, DP-203, Google Professional Data Engineer)๊ณผ ๋งคํ๋๋์ง, ์ผ๋ฐ ํด๋ผ์ฐ๋ ์ด์์ด ์๋ ๋ฐ์ดํฐ ์๋น์ค๋ฅผ ๋ค๋ฃจ๋์ง, ๊ทธ๋ฆฌ๊ณ ์ค๋ฌด์ ์ถ์ฒ์ด ์๋์ง ์ฌ๋ถ์
๋๋ค.
Python๊ณผ SQL์ ์ด๋ ์ ๋ ์๊ณ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. ๋ง์ฝ ์๋๋ผ๋ฉด, ์ด๋ค ํด๋ผ์ฐ๋๋ฅผ ๊ณ ๋ฅผ์ง๋ณด๋ค ๊ทธ ๊ฒฉ์ฐจ๋ฅผ ๋ฉ์ฐ๋ ์ผ์ด ๋ ์ค์ํฉ๋๋ค.ย ํด๋ผ์ฐ๋๋ฅผ ๊ณ ๋ฅด๊ธฐ ์ ์ DataCamp์ Associate Data Engineer in SQL ์ปค๋ฆฌ์ด ํธ๋์ผ๋ก SQL๊ณผ ETL/ELT์ ๊ธฐ์ด๋ฅผ ๋ค์ง์ธ์. ์ด๋ ๋ชจ๋ ๋งค๋์ง๋ Spark ์๋น์ค๊ฐ ์ ์ ํ๋ ๋ถ๋ถ์
๋๋ค.
์์ฝ
| ์๋ฃ | ์ ํ | ๋ ๋ฒจ | ์ ํฉ ๋์ |
|---|
| DataCamp: Understanding Cloud Computing | ๊ฐ์ | ์
๋ฌธ | ์ฝ์์ ๊ฑด๋๋ฆฌ๊ธฐ ์ ์ ํด๋ผ์ฐ๋ ์ฉ์ด ์ตํ๊ธฐ |
| DataCamp: AWS Cloud Practitioner (CLF-C02) | ์คํฌ ํธ๋ | ์
๋ฌธ | AWS ์๋น์ค์ ๊ณผ๊ธ์ ๊ธฐ์ด ๋ค์ง๊ธฐ |
| DataCamp: Microsoft Azure Fundamentals (AZ-900) | ์คํฌ ํธ๋ | ์
๋ฌธ | Azure ์ค์ฌ ํ์ต์์ Microsoft ์คํ ์ฌ์ฉ ๊ธฐ์
|
| John Savill's Technical Training (YouTube) | ๋ฌด๋ฃ ์์ | ์
๋ฌธ | ๋น์ฉ ์์ด Azure ์ธํ๋ผ ๊ธฐ์ด ๋ค์ง๊ธฐ |
| DataCamp: Introduction to GCP | ๊ฐ์ | ์
๋ฌธ | BigQuery์ Cloud Storage๋ฅผ ๋น ๋ฅด๊ฒ ๊ฒฝํ |
| DataCamp: Google Cloud Data Engineer | ์คํฌ ํธ๋ | ์ค๊ธ | GCP ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ผ๋ก ๊ฐ์ฅ ๋น ๋ฅด๊ฒ ์ง์
|
| Adrian Cantrill's AWS Solutions Architect Associate (SAA-C03) | ์ ๋ฃ ๊ฐ์ | ์ค๊ธ | ๋ฐ์ดํฐ ์์
์ ๊ธฐ๋ฐ์ด ๋๋ IAM, VPC, ์คํ ๋ฆฌ์ง ์ฌํ |
| Google Cloud Skills Boost ๋ฐ์ดํฐ ์์ง๋์ด ๊ฒฝ๋ก | ๋ฒค๋ ํธ๋ ์ด๋ + ๋ฉ | ์ค๊ธ | BigQuery, Dataflow, Pub/Sub ์ค์ต ๋ฉ |
| Grow Data Skills ๋ฐ์ดํฐ ์์ง๋์ด๋ง ํธ๋ | ์๊ฐ ํ์ต ๊ฐ์ + ํ๋ก์ ํธ | ์ค๊ธ | ์๋ ํฌ ์๋ ํ์ดํ๋ผ์ธ ํฌํธํด๋ฆฌ์ค ๊ตฌ์ถ |
| Smart Data Learning: Data Engineering With Azure, AWS & GCP | ๋ผ์ด๋ธ ์ฝํธํธ, 14์ฃผ | ์ค๊ธ | ๋ง๊ฐ์ผ๊ณผ ๋ผ์ด๋ธ ์์
์ด ํ์ํ ํ์ต์ |
| AWS Skill Builder ๋ฐ์ดํฐ ์์ง๋์ด ํ์ต ๊ฒฝ๋ก | ๋ฒค๋ ํธ๋ ์ด๋ | ๊ณ ๊ธ | Glue, Redshift, EMR, Kinesis๋ฅผ ์ํ ์์ค์ผ๋ก |
| Microsoft Learn Azure ๋ฐ์ดํฐ ์์ง๋์ด๋ง (DP-203) ๊ฒฝ๋ก | ๋ฒค๋ ํธ๋ ์ด๋ | ๊ณ ๊ธ | Synapse, Data Factory, Stream Analytics๋ฅผ ๋ฌด๋ฃ๋ก |
| r/dataengineering ํด๋ผ์ฐ๋ ์ ํ ์ค๋ ๋ | ์ปค๋ฎค๋ํฐ ํ ๋ก | ์ ์ฒด | ์ฒ์์ผ๋ก ์ด๋ค ํด๋ผ์ฐ๋์ ์ ๋
ํ ์ง ๊ฒฐ์ |
1. DataCamp: Understanding Cloud Computing ๊ฐ์
Understanding Cloud Computing ๊ฐ์๋ AWS, Azure, GCP ๊ณ์ ์ ํ ๋ฒ๋ ์จ๋ณธ ์ ์๊ณ , ์ฝ์์ ํด๋ฆญํ๊ธฐ ์ ์ ๊ณตํต ์ดํ๋ฅผ ํ๋ณดํ๊ณ ์ถ์ ๋ถ์๊ฒ ์ ํฉํ ์ถ๋ฐ์ ์
๋๋ค. ์ด ๊ฐ์๋ ์ค์ต๋ณด๋ค ๊ฐ๋
์ค์ฌ์ด๋ฉฐ, ๋ฐ๋ก ๊ทธ ์ ์ด ์์ ์์ ์ ํ์ํ ์์์
๋๋ค.
์๋น์ค ๋ชจ๋ธ(IaaS, PaaS, SaaS), ๋ฐฐํฌ ๋ชจ๋ธ(ํผ๋ธ๋ฆญ, ํ๋ผ์ด๋น, ํ์ด๋ธ๋ฆฌ๋), ์ฃผ์ ์ ๊ณต์
์ฒด ๊ฐ ์ฐจ์ด, ๋ณด์๊ณผ ๊ฑฐ๋ฒ๋์ค ์ฑ
์์ด ์ฌ์ฉ์์ ๋ฒค๋ ์ฌ์ด์์ ์ด๋ป๊ฒ ๋ถ๋ด๋๋์ง๋ฅผ ๋ค๋ฃน๋๋ค. ๊ณต๊ธ์
์ฒด ์ค๋ฆฝ์ ์ด๋ผ AWS Glue ํํ ๋ฆฌ์ผ๊ณผ Azure Data Factory ํํ ๋ฆฌ์ผ์ ์ฝ์ ๋, ์๋ก ๋ค๋ฅธ ๋ช
์นญ์ ์ธ ๋ฟ ๊ฐ์ ๋ฌธ์ ๋ฅผ ํผ๋ค๋ ์ฌ์ค์ ํ์
ํ ์ ์์ต๋๋ค. #
๊ฐ์๋ ๋ธ๋ผ์ฐ์ ์์ ์งํ๋๋ฏ๋ก ๋ก์ปฌ ์ค์ ์ด ํ์ ์๊ณ ํ์ต ์ค ํด๋ผ์ฐ๋ ์๊ธ๋ ๋ฐ์ํ์ง ์์ต๋๋ค.ย ๊ฐ์ธ ์๊ธ์ ๋ ์ฐ๊ฐ ๊ฒฐ์ ๊ธฐ์ค ์ ์ฝ 25~33๋ฌ๋ฌ๋ก, ์ด ๋ชฉ๋ก์ ์๋ ๋ชจ๋ DataCamp ๊ฐ์๋ฅผ ๋ฌด์ ํ ์๊ฐํ ์ ์์ต๋๋ค.
- ๋ ๋ฒจ: ์
๋ฌธ, ํด๋ผ์ฐ๋ ๊ณ์ ๋ถํ์
- ํ์: ๋ํํ ๊ฐ์, ์ฝ๋ฉ ์ ์ ์ง์ ๋ถํ์
- ์ ํฉ ๋์: ์ฝ์ ํ์ต ์ ์ ํด๋ผ์ฐ๋ ๊ฐ๋
์ด ํ์ํ ์ ๋๋ฆฌ์คํธ์ ์ปค๋ฆฌ์ด ์ ํ์
2. DataCamp: AWS Cloud Practitioner (CLF-C02) ์คํฌ ํธ๋
r/dataengineering ํฉ์๊ฐ ์๋ง์กด ํด๋ผ์ฐ๋๋ฅผ ๊ฐ๋ฆฌํจ๋ค๋ฉด, AWS Cloud Practitioner (CLF-C02) ์คํฌ ํธ๋์ด ํ ๋ฒ์ ์ฒด๊ณ์ ํ์ต์ผ๋ก ์๋น์ค ์งํ์ ๋จธ๋ฆฟ์์ ๋ฃ๋ ๊ฐ์ฅ ์ ๋ ดํ ๋ฐฉ๋ฒ์
๋๋ค. ์ฝ์์ ์๋ฌด๋ ๊ฒ๋ ๋๋ฌ๋ณด๋ ๋์ CLF-C02 ์ํ ์ฒญ์ฌ์ง์ ๋ฐํ์ผ๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค.
ํด๋ผ์ฐ๋ ๊ฐ๋
, ํต์ฌ AWS ์๋น์ค(S3, EC2, IAM ํฌํจ), ๋ณด์๊ณผ ๊ณต์ ์ฑ
์ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ ๋ง์ ์ด๋ณด์๊ฐ ๋ฌด์ํ๋ค๊ฐ ์ฃผ๋ง ๋ด๋ด EMR ํด๋ฌ์คํฐ๋ฅผ ์ผ๋๊ณ ๋์์ผ ๊นจ๋ซ๋ ๊ณผ๊ธ๊ณผ ๊ฐ๊ฒฉ ์ฑ
์ ๊น์ง ๋ค๋ฃน๋๋ค. ๋ฐ์ดํฐ ์์ง๋์ด์๊ฒ ๊ณผ๊ธ ํํธ๋ ๋ฐ๋์ ๋ฐฐ์์ผ ํฉ๋๋ค. ๋น์ฉ ํต์ ๋ ์ง๋ฌด์ ์ผ๋ถ์ด์ง ์ฌํ ๊ณ ๋ ค ์ฌํญ์ด ์๋๋๋ค.
CLF-C02๋ ๊ธฐ์ด ์๊ฒฉ์ฆ์ด๋ฏ๋ก Glue ์ก์ ์์ฑํ๊ฑฐ๋ Redshift ์คํค๋ง๋ฅผ ๋ชจ๋ธ๋งํ๋ ๋ฒ์ ๊ฐ๋ฅด์น์ง ์์ต๋๋ค. ์ง๋๋ก ์ฌ๊ธฐ๊ณ , ์ค์ ํ์ดํ๋ผ์ธ ์์
์ 11๋ฒ ํญ๋ชฉ์ AWS Skill Builder ๋ฐ์ดํฐ ์์ง๋์ด ๊ฒฝ๋ก์์ ํ์ตํ์ธ์.
- ๋ ๋ฒจ: ์
๋ฌธ, CLF-C02 ์ํ ์ฒญ์ฌ์ง ์ ๋ ฌ
- ํ์: ์คํฌ ํธ๋, ๋ค์์ ๋ํํ ๊ฐ์
- ์ ํฉ ๋์: ๊ตฌ์ธ ์์ฅ์ ํญ๋์์ ์ด์ ๋ก AWS๋ฅผ ๋จผ์ ์ ํํ ํ์ต์
3. DataCamp: Microsoft Azure Fundamentals (AZ-900) ์คํฌ ํธ๋
ํ์ฌ์์ ์ด๋ฏธ SQL Server, Power BI, Active Directory๋ฅผ ์ฌ์ฉํ๋ค๋ฉด AWS ํธ๋ ๋์ ์ฌ๊ธฐ์ ์์ํ์ธ์. ๋๊ธฐ์
๋ฐ์ดํฐ ํ์ ์๋น์๊ฐ ์ด๋ฐ ํ๊ฒฝ์
๋๋ค. AZ-900์ ๋ฐ๋ก ์ด๋ฐ ์ํฉ์ ์ํ ๋ง์ดํฌ๋ก์ํํธ์ ์
๋ฌธ ์ง์ ์
๋๋ค.
Microsoft Azure Fundamentals (AZ-900) ํธ๋์ Azure ํต์ฌ ๊ฐ๋
, ์ฃผ์ ์๋น์ค๊ตฐ, ๊ด๋ฆฌ์ ๊ฑฐ๋ฒ๋์ค, ๊ฐ๊ฒฉ ๋ฐ ์ง์ ์ต์
์ ๋ค๋ฃน๋๋ค. ์ฌ๊ธฐ์ Azure Blob Storage์ Data Lake Storage๋ฅผ ์๋น์ค ์ด๋ฆ์ผ๋ก ์ ํ๊ฒ ๋๋ฉฐ, ์ด๋ DP-203 ์๋ฃ๋ฅผ ๋ํดํ์ง ์๊ฒ ์ฝ๋ ๋ฐ ํ์ํ ๋งฅ๋ฝ์ ์ ๊ณตํฉ๋๋ค.
๋น์ฉ์ ๋ํ ์ค๋ฌด์ ์ธ ์ฐธ๊ณ ์ฌํญ: ํ์ต ๋น์ฉ๊ณผ ์๊ฒฉ์ฆ ๋น์ฉ์ ๋ณ๊ฐ์
๋๋ค. AZ-900 ์ํ์ ์ง์ญ์ ๋ฐ๋ผ ์ฝ 99~120๋ฌ๋ฌ์ด๋ฉฐ, ์ด ํธ๋์์ ๊ฐ์น๋ฅผ ์ป๋ ๋ฐ ์ํ ์์๋ ํ์ ์ฌํญ์ด ์๋๋๋ค. ๊ตฌ์ธ ๊ณต๊ณ ๋ ๋ด๋ถ ์น์ง ์ ์ฐจ์์ ๋ช
์์ ์ผ๋ก ์๊ตฌํ์ง ์๋ ํ ์ํ ๋น์ฉ์ ์ง๋ถํ ํ์๋ ์์ต๋๋ค.
- ๋ ๋ฒจ: ์
๋ฌธ, ์ต์ํ์ ์ ์ ์ง์
- ํ์: AZ-900 ๋๋ฉ์ธ๊ณผ ๋งคํ๋ ์คํฌ ํธ๋
- ์ ํฉ ๋์: Microsoft ์ค์ฌ ์กฐ์ง์ ๋ฐ์ดํฐ ์ ๋ฌธ๊ฐ
4. John Savill's Technical Training (YouTube)
Savill์ ๋ฌด๋ฃ YouTube ์ฌ์๋ชฉ๋ก ๋๋ถ์ Azure ๊ธฐ์ด ๊ต์ก์ ๋ฐ๋์ ๋น์ฉ์ ์ง์ถํ ํ์๋ ์์ต๋๋ค. ๊ทธ์ AZ-900 ๋ฐ AZ-104 ํ์ต ์๋ฆฌ์ฆ๋ ๋ฌด๋ฃ์ด๋ฉด์๋ ํ๋ฅญํ ์ถ๋ฐ์ ์ผ๋ก ๋๋ฆฌ ์ธ๊ธ๋ฉ๋๋ค.
AZ-104 ์๋ฃ๋ ๊ด๋ฆฌ์ ์ค์ฌ์ด๋ฉฐ, ์ด๋ ๋ฐ์ดํฐ ์์ง๋์ด์๊ฒ๋ ํต์ฌ์
๋๋ค. Identity, ๋คํธ์ํน, ์คํ ๋ฆฌ์ง ๊ณ์ , ๊ฑฐ๋ฒ๋์ค๋ Data Factory ํ์ดํ๋ผ์ธ์ด ํ๋ผ์ด๋น ์๋ํฌ์ธํธ์ ์ฐ๊ฒฐ๋์ง ์์ ๋ ๋ง์ฃผํ๊ฒ ๋๋ ๋
ผ์๊ฑฐ๋ฆฌ์
๋๋ค. ๋ผ์ด๋ธ ํ์ต ์ธ์
๊ณผ ํ์ดํธ๋ณด๋ ์ค๋ช
๋ ์ ๋ฃ ์์ ๋ชป์ง์๊ฒ ํํํฉ๋๋ค.
์ฌ๊ธฐ์ ๊ธฐ๋ํ๊ธฐ ์ด๋ ค์ด ๊ฒ์ ๋ํํ ํ์ต์ด๋ ํ์ดํ๋ผ์ธ ์ค๊ณ์
๋๋ค. Synapse ์ฐจ์ ๋ชจ๋ธ๋ง, ์ฆ๋ถ ์ ์ฌ ํจํด, dbt๋ ๋์ค์ง ์์ต๋๋ค. ์ด ์ฌ์๋ชฉ๋ก์ผ๋ก ์ธํ๋ผ ๋ ์ด์ด๋ฅผ ๋ณด๊ฐํ๊ณ , ํ์ต ์๊ฐ์ DP-203 ๊ฒฝ๋ก์ ํฌ์ํ์ธ์.
- ๋ ๋ฒจ: ์
๋ฌธ~์ค๊ธ
- ํ์: ๋ฌด๋ฃ YouTube ์ฌ์๋ชฉ๋ก๊ณผ ๋ผ์ด๋ธ ์คํฐ๋ ์ธ์
- ์ ํฉ ๋์: ์์ฐ์ด ์ ํ ์๋ Azure ํ์ต์ ์ค ์ธํ๋ผ ๊ธฐ์ด๊ฐ ํ์ํ ๋ถ
5. DataCamp: Introduction to GCP ๊ฐ์
๋ถ์ ์ค์ฌ์ ์
๋ฌด๋ฅผ ๋ชฉํ๋ก ํ๋ค๋ฉด DataCamp์ Introduction to GCP ๊ฐ์๋ฅผ ์ ํํ์ธ์. GCP๋ ๋ฐ์ดํฐ ๋๊ตฌ์ ์์ฑ๋์, Redshift ํด๋ฌ์คํฐ ์ค์ ์ ๋นํด BigQuery๊ฐ ์๊ตฌํ๋ ์ ์ฐจ๊ฐ ์ ๋ค๋ ์ ์์ r/dataengineering ์ค๋ ๋์์ ๊พธ์คํ ํธํ์ ๋ฐ์ต๋๋ค.
๊ฐ์๋ GCP ์๋น์ค ์งํ, ์คํ ๋ฆฌ์ง์ ์ปดํจํธ ์ต์
, BigQuery๊ฐ ๋ถ์ ์คํ์์ ์ฐจ์งํ๋ ์์น๋ฅผ ์๊ฐํฉ๋๋ค. ๋ฒค๋ ์๋ฃ๋ณด๋ค ์ด ๊ฐ์๋ฅผ ๋จผ์ ๋ ์ด์ ๋ ํ์ต ์์ ๋๋ฌธ์
๋๋ค. Google Cloud Skills Boost ๋ฉ์ ํ๋ก์ ํธ, ์๋น์ค ๊ณ์ , ๋ฆฌ์ ์ด ๋ฌด์์ธ์ง ์ด๋ฏธ ์๊ณ ์๋ค๊ณ ๊ฐ์ ํ๋ฉฐ, ์ด ๊ฐ์๋ ๊ทธ ์ง์์ ๋ช ์ฐจ๋ก ํ์ต์ผ๋ก ์ ๊ณตํฉ๋๋ค.
์์งํ ํ๊ณ๋ ์์ต๋๋ค. ์
๋ฌธ ๊ฐ์๋ฅผ ๋ง์ณค๋ค๊ณ ํด์ Pub/Sub๊ณผ Dataflow๋ก ์คํธ๋ฆฌ๋ฐ ํ์ดํ๋ผ์ธ์ ์ค๊ณํ ์ ์๊ฒ ๋์ง๋ ์์ต๋๋ค. ๊ทธ๊ฑด ๋ค์ ํญ๋ชฉ์ ์ญํ ์
๋๋ค.
- ๋ ๋ฒจ: ์
๋ฌธ
- ํ์: ๋ํํ ๊ฐ์, ๋ธ๋ผ์ฐ์ ๊ธฐ๋ฐ
- ์ ํฉ ๋์: BigQuery ์ค์ฌ ๋ฐ์ดํฐ ์์
์ ์งํฅํ๋ ์ ๋๋ฆฌ์คํธ์ ์์ง๋์ด
6. DataCamp: Google Cloud Data Engineer ์คํฌ ํธ๋
DataCamp์ Google Cloud Data Engineer ์คํฌ ํธ๋์ ์ด ๋ชฉ๋ก์์ "SQL์ ์ข ์๋ค"์์ "GCP์ ํ์ดํ๋ผ์ธ์ ๋ง๋ค ์ ์๋ค"๊น์ง ๊ฐ์ฅ ์งํํ๋ ๊ฒฝ๋ก์ด๋ฉฐ, ์ปค๋ฆฌ์ด ์ ํ์ ๋๋ถ๋ถ์๊ฒ ์ถ์ฒํ๊ณ ์ถ์ ํธ๋์
๋๋ค. ์ผ๋ฐ ํด๋ผ์ฐ๋ ์ด์์ผ๋ก ์์ง ์๊ณ ๋ฐ์ดํฐ ์๋น์ค์ ์ง์คํฉ๋๋ค.
์ด์ ์ ๋ฐ์ดํฐ ์์ง๋์ด ๊ด์ ์ GCP์
๋๋ค. ์คํ ๋ฆฌ์ง, BigQuery, ๊ทธ๋ฆฌ๊ณ ํ์ดํ๋ผ์ธ์ ํตํ ๋ฐ์ดํฐ ์ด๋์ผ๋ก, Google์ Professional Data Engineer ์๊ฒฉ์ฆ์ด ๋ค๋ฃจ๋ BigQuery, Dataflow, Pub/Sub, Cloud Composer, Dataproc๊ณผ ๊ฐ์ ์์ญ์ ์ปค๋ฒํฉ๋๋ค. ๋ธ๋ผ์ฐ์ ์์ ์งํํ๋ฏ๋ก ๊ณผ๊ธ ์๋ฆผ๊ณผ IAM ์ค๋ฅ๋ฅผ ์ฒ๋ฆฌํ๋ฉด์ ์๋์ฐ ํจ์ ์ง๊ณ๋ฅผ ์ฒ์ ๋ฐฐ์ฐ๋ ์ผ์ ๋์์ ํ์ง ์์๋ ๋ฉ๋๋ค.
์์๋ ์ ํ๋: Python๊ณผ SQL์ ์ ์ ๋ก ํฉ๋๋ค. ๋ ์ค ํ๋๊ฐ ์ฝํ๋ฉด, ํ์ดํ๋ผ์ธ ์ค๊ณ๋ฅผ ๋ฐฐ์ฐ๊ธฐ๋ณด๋ค ๋ฌธ๋ฒ ์ค๋ฅ๋ฅผ ๋๋ฒ๊น
ํ๋ ๋ฐ ์๊ฐ์ ์ฐ๊ฒ ๋ฉ๋๋ค. DataCamp์๋ ์ด๋ฅผ ๋ณด์ํ๊ธฐ ์ํ Associate Data Engineer in SQL ์ปค๋ฆฌ์ด ํธ๋๋ ์์ต๋๋ค.
- ๋ ๋ฒจ: ์ค๊ธ, Python๊ณผ SQL ์ ์
- ํ์: ์คํฌ ํธ๋, ๋ค์์ ๋ํํ ๊ฐ์์ ํ๋ก์ ํธ
- ์ ํฉ ๋์: ์ฌ๋ผ์ด๋๊ฐ ์๋ ์ค์ต์ ์ํ๋ GCP ์ง๋ง ๋ฐ์ดํฐ ์์ง๋์ด
7. Adrian Cantrill's AWS Certified Solutions Architect Associate (SAA-C03)
Cantrill์ SAA-C03 ๊ฐ์๋ ์ปค๋ฎค๋ํฐ๊ฐ ๊ผฝ๋ ์ต๊ณ ์ AWS ๊ธฐ์ด๋ก ๊พธ์คํ ์ธ๊ธ๋๋ฉฐ, ๋์ ๋๋ ์๋น์ค์ ํญ๋์๋ณด๋ค ๊ธฐ๋ฐ ์์ค์ ๊น์ด๋ก ๊ทธ ๋ช
์ฑ์ ์ป์์ต๋๋ค.ย
๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด์๊ฒ ๊ฐ์น๋ ๋ค๋ฅธ ๋ฐ์ดํฐ ๊ฐ์๊ฐ ์ค์น๊ณ ์ง๋๊ฐ๋ ์น์
์ ์ง์ค๋์ด ์์ต๋๋ค. IAM ์ญํ ๊ณผ ์ ์ฑ
, VPC ๋คํธ์ํน๊ณผ ์๋ํฌ์ธํธ, ์คํ ๋ฆฌ์ง ํด๋์ค์ ์๋ช
์ฃผ๊ธฐ ๊ท์น, KMS ์ํธํ ๋ฑ์ด ๊ทธ๊ฒ์
๋๋ค.
๊ฐ์๋ Cantrill์ ์์ฒด ์ฌ์ดํธ์์ ํ๋งค๋๋ ์ ๋ฃ ๊ณผ์ ์ด๋ฉฐ, ๊ฐ๊ฒฉ์ ํด๋น ์ฌ์ดํธ์์ ํ์ด์ ๋ฐ๋ผ ๋ณ๋๋ฉ๋๋ค. ์ ์ฃผ ๋จ์์ ๊ธด ์ปค๋ฐ์ด ํ์ํฉ๋๋ค. ๋ํ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ฐ์๊ฐ ์๋๋ฏ๋ก, 11๋ฒ ํญ๋ชฉ์ ํ์ ๋ ์ด์ด๋ก ํ์ฉํ๊ณ ๋์ฒด์ฌ๋ก ๋ณด์ง๋ ๋ง์ธ์.
- ๋ ๋ฒจ: ์ค๊ธ, ๊ธฐ๋ณธ IT ๋ฐฐ๊ฒฝ ์ ์
- ํ์: ์ ๋ฃ ๋์์ ๊ฐ์, ๋ฉ๊ณผ ์ํคํ
์ฒ ๋ค์ด์ด๊ทธ๋จ ํฌํจ
- ์ ํฉ ๋์: ํ์ดํ๋ผ์ธ์ ๋ง๋๋ ๋ฒ๋ฟ ์๋๋ผ AWS ํ์ดํ๋ผ์ธ์ด ์ ๊นจ์ง๋์ง๋ ์ดํดํ๊ณ ์ถ์ ์์ง๋์ด
8. Google Cloud Skills Boost: ๋ฐ์ดํฐ ์์ง๋์ด ํ์ต ๊ฒฝ๋ก
๊ตฌ๊ธ์ ์์ฒด ํธ๋ ์ด๋ ํ๋ซํผ์ ๋ฐ์ดํฐ ์์ง๋์ด ํ์ต ๊ฒฝ๋ก์ ๋ฉ์์ API๊ฐ ๋ฏธ๋ฆฌ ์ผ์ง ์์ ํ๋ก์ ํธ๋ฅผ ์ ๊ณตํ๋ฏ๋ก, ์ง์ ํ๋ก๋น์ ๋ ์์ด GCP ์ค์ต์ ํ๊ธฐ์ ๊ฐ์ฅ ์ข์ต๋๋ค. ์ผ๋ถ ๊ฐ์์ ๋ฉ์ ๋ฌด๋ฃ์
๋๋ค.
์ด ๊ฒฝ๋ก๋ ์ฐฝ๊ณ ๋ฐ SQL ๋ถ์์ ์ํ BigQuery, ๋ฐฐ์น์ ์คํธ๋ฆฌ๋ฐ ๋ณํ์ ์ํ Dataflow, ์ด๋ฒคํธ ์์ง์ ์ํ Pub/Sub, ์์ดํ๋ก์ฐ ๊ธฐ๋ฐ ์ค์ผ์คํธ๋ ์ด์
์ ์ํ Cloud Composer, ๋งค๋์ง๋ Spark๋ฅผ ์ํ Dataproc์ ๋ค๋ฃน๋๋ค. ์ด ์๋น์ค ๋ชฉ๋ก์ ์ฌ์ค์ Google Professional Data Engineer ์ํ ์ฒญ์ฌ์ง์ด๋ฏ๋ก ์๊ฒฉ์ฆ ์ค๋น์๋ ๊ทธ๋๋ก ํ์ฉํ ์ ์์ต๋๋ค.
๋น์ฉ์ ๊ฒฝ๋ก์ ๋ฐ๋ผ ๋ค๋ฆ
๋๋ค. ๋ฌด๋ฃ ๋ฉ๊ณผ ํ์คํธ๋ง์ผ๋ก๋ ๋ง์ ๋ถ๋ถ์ ์ปค๋ฒํ ์ ์์ผ๋ฉฐ, ๋์ผ ํธ๋์ ํํธ๋ ํธ์คํ
๋ฒ์ ์ ๋ณดํต ์ 39~79๋ฌ๋ฌ ๊ตฌ๋
๊ถ์ ํด๋นํฉ๋๋ค. ๊ฐ์ ์ปค๋ฆฌํ๋ผ์ ๋ ๋ฒ ๊ฒฐ์ ํ์ง ์๋๋ก ๋ฌด๋ฃ ๊ฒฝ๋ก๊ฐ ํ์ํ ๋ฒ์๋ฅผ ์ด๋ฏธ ์ถฉ์กฑํ๋์ง ๋จผ์ ํ์ธํ์ธ์.
- ๋ ๋ฒจ: ์ค๊ธ
- ํ์: ๋ฒค๋ ๊ฐ์ + ์ ํ ์๊ฐ ์ค์ต ๋ฉ, ๋ฌด๋ฃ/์ ๋ฃ ํฐ์ด
- ์ ํฉ ๋์: ๊ฐ์ธ ๊ณผ๊ธ ๊ณ์ ์์ด ์ฝ์ ์ค์ต์ ์ํ๋ GCP ํ์ต์
9. Grow Data Skills: AWS, Azure, GCP์ฉ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ํธ๋
Grow Data Skills๋ ํด๋ผ์ฐ๋๋ณ ์๊ฐ ํ์ต ํธ๋์ ์ ๊ณตํ๋ฉฐ, ๊ฐ์ ์ ๊ฐ์ ์๊ฐ๋ณด๋ค ํฌํธํด๋ฆฌ์ค ์ฐ์ถ๋ฌผ์
๋๋ค. ํด๋ผ์ฐ๋ ์
๋ฌด ์ด๋ ฅ์ด ์ ํ ์๋ ์ฌ๋์๊ฒ๋ ์ธ์ฆ์๋ณด๋ค ํ๋ก์ ํธ๊ฐ ๋ ์ค์ํฉ๋๋ค.
๊ฐ ํธ๋์ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง, ์จ์ดํ์ฐ์ง, ๋ฐฐ์น์ ์คํธ๋ฆผ์ ๊ตฌ๋ถ ๊ฐ์ ๊ธฐ์ด๋ถํฐ ์์ํด, ํด๋ผ์ฐ๋๋ณ ์์ง, ์ ์ฅ, ๋ณํ, ์ค์ผ์คํธ๋ ์ด์
๋ชจ๋๋ก ์ด์ด์ง๋๋ค. ์ฐจ๋ณ์ ์ ํ๋ก์ ํธ ์์
์
๋๋ค. ๋ฆฌํฌ์งํ ๋ฆฌ์ ๋ด๊ณ ๋ฉด์ ์์ ์ค๋ช
ํ ์ ์๋ ์๋ ํฌ ์๋ ํ์ดํ๋ผ์ธ๊ณผ ๋ ์ดํฌํ์ฐ์ค ์ํคํ
์ฒ๋ฅผ ๊ตฌ์ถํฉ๋๋ค.
์ ๋ฃ ํธ๋์ด๋ฉฐ ๊ฐ๊ฒฉ์ ๊ฒฐ์ ๋จ๊ณ์์ ์ง์ญ๊ณผ ํ๋ก๋ชจ์
์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. Python๊ณผ SQL์ ๊ธฐ์ด ๋ฐ ํด๋ผ์ฐ๋์ ๋ํ ์ด๋ ์ ๋์ ์น์ํจ์ ์ ์ ํฉ๋๋ค. ์์ง ์
๋ฌธ ํธ๋์ ๋๋ด์ง ์์๋ค๋ฉด ์ฐ์ ๊ทธ๊ฑธ ๋ง์น์ธ์. ๊ทธ๋ ์ง ์์ผ๋ฉด ์ดํดํ์ง ๋ชปํ ๋ช
๋ น์ ๊ทธ๋๋ก ๋ฐ๋ผ ์ฐ๋ ๋ฐ ์๊ฐ์ ์ฐ๊ฒ ๋ฉ๋๋ค.
- ๋ ๋ฒจ: ์ค๊ธ
- ํ์: ์๊ฐ ํ์ต ์์ + ๊ฐ์ด๋ํ ํ๋ก์ ํธ, ์ ๋ฃ
- ์ ํฉ ๋์: ๋ ๋ค๋ฅธ ์ธ์ฆ์๋ณด๋ค 3~4๊ฐ์ ํฌํธํด๋ฆฌ์ค ํ์ดํ๋ผ์ธ์ด ํ์ํ ์ปค๋ฆฌ์ด ์ ํ์
10. Smart Data Learning: Data Engineering With Azure, AWS & GCP
์ด๋ ์ธ ํด๋ผ์ฐ๋๋ฅผ ํ๋์ ์ปค๋ฆฌํ๋ผ์์ ๋ค๋ฃจ๋ 14์ฃผ ๋ผ์ด๋ธ ์จ๋ผ์ธ ํ๋ก๊ทธ๋จ์ผ๋ก, ์๊ฐ ํ์ต ์์์ผ๋ก ๋ ๋ฒ์ด๋ ์คํจํ ๊ฒฝํ์ด ์๋ค๋ฉด ๊ณ ๋ คํ ๋งํ ์ ํ์ง์
๋๋ค. ์ผ๋ถ์๊ฒ๋ ๋ง๊ฐ์ผ๊ณผ ์ฝํธํธ๊ฐ ํจ๊ณผ์ ์ด๋ฉฐ, ์ด๋ฅผ ๋ถ์ ํ๋ ์กฐ์ธ์ ์ข์ง ์์ต๋๋ค.
๊ตฌ์ฑ์ ํต์ฌ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ฐ๋
์ ๋จผ์ ๋ค๋ฃจ๊ณ , ์ดํ ํด๋ผ์ฐ๋๋ณ ๊ตฌํ์ผ๋ก ์ด์ด์ง๋๋ค. AWS์์๋ S3, Glue, Redshift, EMR; Azure์์๋ Data Lake, Data Factory, Synapse; GCP์์๋ BigQuery, Dataflow, Pub/Sub๋ฅผ ๋ค๋ฃน๋๋ค. ๋ผ์ด๋ธ ์ธ์
๊ณผ ๋ณํํด ๊ณผ์ ์ ๋ฉ์ด ์งํ๋์ด, ์๋ ์์ฒญ์ด ์๋ ํ๊ฐ๊ฐ ๋๋ฐ๋ฉ๋๋ค.
์ฌ์ ์ Python๊ณผ SQL ๊ฒฝํ์ด ๊ถ์ฅ๋๋ฉฐ, ์ฌ์ค์ ํ์์
๋๋ค. ๊ฐ๊ฒฉ์ ์ฝ์ค ํ์ด์ง์ ํ๊ธฐ๋ ๊ณ ์ ํ๋ก๊ทธ๋จ ์๊ฐ๋ฃ์ด๋ฉฐ ์ง์ญ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. 14์ฃผ๋ฅผ ์ปค๋ฐํ๊ธฐ ์ ์ ๋ฐ๋์ ์๋ฉด์ผ๋ก ๊ธ์ก์ ํ์ธํ์ธ์.
- ๋ ๋ฒจ: ์ค๊ธ; ํ๋ก๊ทธ๋๋ฐ ๊ฒฝํ, Python, SQL ๊ถ์ฅ
- ํ์: 14์ฃผ ๋ผ์ด๋ธ ์ฝํธํธ, ๊ณผ์ ์ ๋ฉ ํฌํจ
- ์ ํฉ ๋์: ์ผ์ ๊ธฐ๋ฐ ์์
์ด ํ์ํ๊ณ ์ธ ํด๋ผ์ฐ๋๋ฅผ ํ ๋ฒ์ ํ๊ณ ์ถ์ ํ์ต์
11. AWS Skill Builder: AWS Certified Data Engineer โ Associate ํ์ต ๊ฒฝ๋ก
AWS Skill Builder์ ์ด ํ์ต ๊ฒฝ๋ก๋ CLF-C02 ์ดํ AWS ํ์ต์๊ฐ ๊ฐ์ผ ํ ๊ณณ์
๋๋ค. ์ด ๋ชฉ๋ก์์ ์ ์ผํ๊ฒ ์ผ๋ฐ ์ํคํ
์ฒ๊ฐ ์๋ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ์๋น์ค์ ์ด์ ์ ๋ง์ถ AWS ์๋ฃ์ด๊ธฐ ๋๋ฌธ์
๋๋ค. ์๋ง์กด์ ๊ณต์ ํธ๋ ์ด๋ ํ๋ซํผ์ด๋ฏ๋ก ์ต์ ์ํ ๊ฐ์ด๋๋ฅผ ์ถฉ์คํ ๋ฐ์ํฉ๋๋ค.
๊ฒฝ๋ก๋ ์ค๋ฌด์์ ์ด์ํ๊ฒ ๋ ์๋น์ค ์ค์ฌ์
๋๋ค. ETL์ ์ํ AWS Glue, ๊ฑฐ๋ฒ๋์คํ ๋ฐ์ดํฐ ๋ ์ดํฌ๋ฅผ ์ํ Lake Formation, ์จ์ดํ์ฐ์ง์ ์ํ Amazon Redshift, Spark์ Hadoop ์ํฌ๋ก๋๋ฅผ ์ํ EMR, ์คํธ๋ฆฌ๋ฐ ์์ง์ ์ํ Kinesis์
๋๋ค. ๊ฐ๊ฒฉ์ ํผํฉํ์ผ๋ก, ๋์งํธ ํธ๋ ์ด๋์ ์๋น ๋ถ๋ถ์ด ๋ฌด๋ฃ์ด๋ฉฐ, ๋ฉ๊ณผ ์ํ ์ค๋น ์๋ฃ๋ฅผ ์ํ Skill Builder ๊ฐ์ธ ๊ตฌ๋
์ ์ ์ฝ 29๋ฌ๋ฌ ๋๋ ์ฐ 299๋ฌ๋ฌ ์์ค์
๋๋ค.
CLF-C02์์ ๋์ด๋ ์ฐจ์ด๋ ๋ถ๋ช
ํฉ๋๋ค. ์ด ์๋ฃ๋ ์ํ ์์ค์ ๊น์ด๋ฅผ ๋ชฉํ๋ก ํ๋ฉฐ, ์ด๋ฏธ ์ฝ์์ ํ์ํ๊ณ IAM ์ ์ฑ
์ ์ฝ๊ณ VPC ๋ฐฐ์น๋ฅผ ํ๋จํ ์ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. AWS ์ฒซ ์
๋ฌธ์ผ๋ก ์ฌ๊ธฐ์ ์์ํ์ง ๋ง์ธ์.
- ๋ ๋ฒจ: ๊ณ ๊ธ; CLF-C02์ ์ผ๋ถ ์ค์ต ๊ฒฝํ ์ดํ ๊ถ์ฅ
- ํ์: ๋ฒค๋ ํ์ต ๊ฒฝ๋ก, ๋ฌด๋ฃ ๊ฐ์ + ์ ๋ฃ ๊ตฌ๋
ํฐ์ด
- ์ ํฉ ๋์: AWS Certified Data Engineer โ Associate ์ํ์ ๋ชฉํ๋ก ํ๋ ์์ง๋์ด
12. Microsoft Learn: Azure Data Engineering (DP-203) ๊ฒฝ๋ก
๊ณ ๊ธ Azure ๋ฐ์ดํฐ ์์ง๋์ด๋ง ์ปค๋ฆฌํ๋ผ ์ค ์ต๊ณ ์ ๋ฌด๋ฃ ์๋ฃ๋ ๋ง์ดํฌ๋ก์ํํธ ๊ณต์ ์๋ฃ์ด๋ฉฐ, DP-203 ๊ฒฝ๋ก๋ AZ-900 ๊ฐ๋
์ด ์๋ฆฌ ์ก์ ํ ํ์ตํ๊ธฐ์ ์ ํฉํฉ๋๋ค. ๋ชจ๋ Learn ๋ชจ๋์ ๋ฌด๋ฃ๋ก ์ฝ๊ณ ์ค์ตํ ์ ์์ต๋๋ค.
์ปค๋ฒ๋ฆฌ์ง๋ Azure ๋ฐ์ดํฐ ์คํ ๋ณธ์ฒด์
๋๋ค. Azure Data Lake Storage, ์จ์ดํ์ฐ์ง๊ณผ Spark ํ์ ์ํ Synapse Analytics, ์ค์ผ์คํธ๋ ์ด์
๊ณผ ๋ณต์ฌ ์์
์ ์ํ Data Factory, ์คํธ๋ฆฌ๋ฐ ์ฟผ๋ฆฌ๋ฅผ ์ํ Stream Analytics, ๋
ธํธ๋ถ ๊ธฐ๋ฐ ๋ณํ์ ์ํ Azure Databricks๊น์ง ๋ค๋ฃน๋๋ค. ํ์ด Fabric ์๋์ Synapse ์ํฌ๋ก๋๋ก ํ์คํํ๊ณ ์๋ค๋ฉด, ์ด ์๋ฃ๊ฐ ์ผ๊ณผ ๊ฐ์ฅ ๋ฐ์ ํฉ๋๋ค.
์์งํ ๋ฌธ์ ๋ ๊ฐ์ง๊ฐ ์์ต๋๋ค. Microsoft Learn์ ์ฝ๊ธฐ ์์ฃผ๋ผ ์งํ ํ์๊ฐ ์๋ ๋ฌธ์์ฒ๋ผ ๋๊ปด์ง ์ ์์ผ๋ฏ๋ก, ๊ฐ์ธ ๊ตฌ๋
์ผ๋ก ์ง์ ๋ฌด์ธ๊ฐ๋ฅผ ๋ง๋ค์ด ๋ณด๋ฉฐ ๋ค์๋ง ํด๋ฆญํ์ง ๋ง์ธ์. ๋ํ DP-203 ์ํ ์์๋ฃ๋ ์ฝ 165๋ฌ๋ฌ๋ก, ์ด ๋ชฉ๋ก์์ ํ์ต ์๊ฐ ๋๋น ๊ฐ์ฅ ๋น์ผ ํญ๋ชฉ์
๋๋ค.
- ๋ ๋ฒจ: ๊ณ ๊ธ; AZ-900์ ์ผ๋ถ ์ค์ต ๊ฒฝํ ์ดํ ๊ถ์ฅ
- ํ์: ๋ฌด๋ฃ ์๊ฐ ํ์ต ๋ชจ๋, ์ ๋ฃ ์ํ
- ์ ํฉ ๋์: ๊ฐ์ ๋น์ฉ ์์ด ๋ฒค๋ ์ ํ๋์ ์ปค๋ฒ๋ฆฌ์ง๋ฅผ ์ํ๋ Azure ๋ฐ์ดํฐ ์์ง๋์ด
13. r/dataengineering ํด๋ผ์ฐ๋ ์ ํ ์ค๋ ๋
์ด ๋ชฉ๋ก์์ ๊ฐ์ฅ ์ ์ฉํ ๋ฌด๋ฃ ์๋ฃ๋ ๊ฐ์๊ฐ ์๋๋ผ r/dataengineering ์๋ธ๋ ๋ง์
๋๋ค. "๋ฐ์ดํฐ ์์ง๋์ด๋ง ์
๋ฌธ์๊ฐ ๋ฐฐ์ฐ๊ธฐ์ ๊ฐ์ฅ ์ข์ ํด๋ผ์ฐ๋ ์ ๊ณต์
์ฒด๋?" "์
์คํฌ๊ณผ ์ด์ง์ GCP, Azure, AWS ์ค ๋ฌด์์ด ์ต์ ์ธ๊ฐ" ๊ฐ์ ์ค๋ ๋์์ ์ค์ ๊ฒฐ์ ์ด ์ด๋ฃจ์ด์ง๋ฉฐ, ๋ต๋ณํ๋ ์ค๋ฌด์๋ค์ ์ฑ์ฉ์์์ผ๋ก๋ ํ๋ํฉ๋๋ค.
๋ฐ๋ณต๋๋ ์
์ฅ์ ์์ฝํ ๋งํผ ์ผ๊ด๋ฉ๋๋ค. ์์ฅ ์ ์ ์จ ๋๋ถ์ AWS๊ฐ ๊ฐ์ฅ ์์ ํ ์ปค๋ฆฌ์ด ํฌ์๋ก ๋ถ๋ฆฌ๋ฉฐ, GCP๋ BigQuery์ Dataflow์ ๊ฐ์ ์ผ๋ก ๋ฐ์ดํฐ ์ค์ฌ ๋ฐ ML ์ํฌ๋ก๋์ ์ถ์ฒ๋ฉ๋๋ค. Azure๋ ๊ณ ์ฉ์ฃผ๊ฐ Microsoft ์ค์ฌ์ด๊ฑฐ๋ ํด๋น ์ง์ญ ์์ฅ์ด ๊ทธ๋ ๋ค๋ฉด ์ฐ์ธํฉ๋๋ค. ๋ ๋ค๋ฅธ ๋ฐ๋ณต ์กฐ์ธ์ ํ๋๋ฅผ ์ ํํด ์๋ จ๋๋ฅผ ์์ ๋ค ๋ ๋ฒ์งธ๋ฅผ ์ถ๊ฐํ๋ผ๋ ๊ฒ์
๋๋ค.
์ปค๋ฆฌํ๋ผ ์ด๋์๋ ์๋ ์ง์ญ์ ๋ํ
์ผ์ ์ค๋ ๋์์ ์ฝ์ผ์ธ์. ์ฌ๋ฌ๋ถ์ด ์ฌ๋ ๋์์ ๊ตฌ์ธ ๊ณต๊ณ ๊ฐ Synapse๋ฅผ ๋งํ๋์ง Snowflake๋ฅผ ๋งํ๋์ง๋ ํ์ง ์ค๋ฌด์๋ง ๋ตํ ์ ์์ผ๋ฉฐ, ์ด ๊ธ์ ๋ค๋ฅธ ๋ชจ๋ ์ถ์ฒ๋ณด๋ค ์ฐ์ ํด์ผ ํฉ๋๋ค.
- ๋ ๋ฒจ: ์ ์ฒด
- ํ์: ๋ฌด๋ฃ ์ปค๋ฎค๋ํฐ ํ ๋ก
- ์ ํฉ ๋์: ํ์ต๋น๋ฅผ ์ฐ๊ธฐ ์ ์ ์ด๋ ํด๋ผ์ฐ๋์ ์ ๋
ํ ์ง ๊ฒฐ์ ํ๋ ค๋ ๋ถ
๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด์๊ฒ ํ์ํ ๊ธฐ์
๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด๋ AWS, Azure, GCP์์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์ค๊ณยท๊ตฌ์ถยท์ด์ํฉ๋๋ค. ์ค๋ฌด์์๋ ๋ฐ์ดํฐ ๋ ์ดํฌ์ ์จ์ดํ์ฐ์ค๋ก ์ ์
๋๋ ETL/ELT ์์
๊ณผ, ๊ทธ ์ฃผ๋ณ์ ๋ณด์ ๋ฐ ๋น์ฉ ํต์ ๊ฐ ํต์ฌ์
๋๋ค. ์ํํธ์จ์ด ์์ง๋์ด๋ง๊ณผ ๋ถ์์ ์ค๊ฐ์ ์์นํ๋ฉฐ, ํ์ํ ๊ธฐ์ ๋ ๊ทธ ์ฑ๊ฒฉ์ ๋ฐ์ํฉ๋๋ค.
- ํ๋ก๊ทธ๋๋ฐ๊ณผ ์ง์: Python๊ณผ SQL์ ํ์
- ์ค๋ธ์ ํธ ์คํ ๋ฆฌ์ง: Amazon S3, Azure Blob ๋ฐ Data Lake Storage, ๋๋ Google Cloud Storage
- ์จ์ดํ์ฐ์ค์ ๋ถ์ ์์ง: Redshift, BigQuery, Synapse, ๊ทธ๋ฆฌ๊ณ ๋ฉํฐํด๋ผ์ฐ๋ ํ๊ฒฝ์์๋ Snowflake
- ์ค์ผ์คํธ๋ ์ด์
: Airflow, ๊ทธ๋ฆฌ๊ณ ๋ค์ดํฐ๋ธ ์ค์ผ์ค๋ฌ(AWS Step Functions, Azure Data Factory ํ์ดํ๋ผ์ธ, Cloud Composer)
- ์คํธ๋ฆฌ๋ฐ: Kinesis, Azure Event Hubs, Pub/Sub, ์์ฒด ๋ธ๋ก์ปค๋ฅผ ์ด์ํ๋ ํ์ Kafka
- ์ฝ๋ํ ์ธํ๋ผ: Terraform, CloudFormation, Bicep
- ์ด์ ๊ธฐ์ด: Linux, ๋คํธ์ํน, Git, ์
ธ ํ๊ฒฝ ์๋ จ
์ด ๋ชฉ๋ก์ ์๊ฒฉ์ฆ ์์ค ์๋ฃ๋ฅผ ์ํด์๋ ์ต์ 6~12๊ฐ์์ ํด๋ผ์ฐ๋ ์ค์ต ๊ฒฝํ์ ์ ์ ๋ก ํ์ธ์. DP-203๊ณผ AWS ๋ฐ์ดํฐ ์์ง๋์ด ๊ฒฝ๋ก๋ ๊ทธ ์ด์ ๋จ๊ณ์์ ์น์ ํ์ง ์์ต๋๋ค.
์ถ์ฒ ํ์ต ๊ฒฝ๋ก
์ง๊ธ ์ ๋๋ฆฌ์คํธ๋ก ์ถ๋ฐํด 1๋
๋ด ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ์์ง๋์ด ๋ฉด์ ์ ๋ณด๊ณ ์ ํ๋ค๋ฉด, ์ ๊ฐ ๋ฐ๋ฅผ ์์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
1๋จ๊ณ: ์ฉ์ด๋ฅผ ์ตํ๊ณ ํ๋์ ํด๋ผ์ฐ๋๋ฅผ ๊ณ ๋ฅด๊ธฐ
Understanding Cloud Computing์ ํ์ตํ๊ณ , ๋ก์ปฌ ๊ตฌ์ธ ๊ณต๊ณ ๋ฅผ ์์ ๋์ด ์ฑ r/dataengineering์ ํด๋ผ์ฐ๋ ์ ํ ์ค๋ ๋๋ฅผ ๋ช ๊ฐ ์ฝ์ด๋ณด์ธ์. ๋ค๋ฅธ ๊ฒ์ ์ฌ๊ธฐ ์ ์ ํ ์ ๊ณต์
์ฒด์ ์ ๋
ํ์ธ์.
2๋จ๊ณ: ์ ํํ ์ ๊ณต์
์ฒด์ ๊ธฐ์ด๋ฅผ ์ ๋๋ก ํ์ต
AWS Cloud Practitioner (CLF-C02) ํธ๋, Microsoft Azure Fundamentals (AZ-900) ํธ๋, ๋๋ Introduction to GCP์ Google Cloud Data Engineer ํธ๋์ ์ด๋ฐ ๊ณผ์ ์ 1๋จ๊ณ ์ ํ์ ๋ง์ถฐ ์๊ฐํ์ธ์. Azure๋ฅผ ์ ํํ๊ณ ์์ฐ์ด ์ ํ ์์ผ๋ฉฐ ๋ํํ ์ฝํ
์ธ ๊ฐ ํ์ ์๋ค๋ฉด John Savill์ AZ-900 ๋ฐ AZ-104 ์ฌ์๋ชฉ๋ก์ผ๋ก ๋์ผ ๋ฒ์๋ฅผ ๋ฌด๋ฃ๋ก ์ปค๋ฒํ ์ ์์ต๋๋ค.
3๋จ๊ณ: ํด๋น ํด๋ผ์ฐ๋์ ๋ฐ์ดํฐ ์๋น์ค๋ฅผ ๊น๊ฒ ํ๊ธฐ
์ด ๋จ๊ณ์์ ๊ณ ์ฉ ๊ฐ๋ฅ์ฑ์ด ์๊น๋๋ค.
4๋จ๊ณ: ํ๋ก์ ํธ๋ฅผ ๊ตฌ์ถํ๊ณ ์ธํ๋ผ ๋ ์ด์ด ๋ณด๊ฐ
Grow Data Skills ํ๋ก์ ํธ ๋ชจ๋์ ํ์ฉํ๊ฑฐ๋ Terraform๊ณผ Airflow๋ก ์ง์ ์งํํด, ์ค๋ช
ํ ์ ์๋ ์๋ ํฌ ์๋ ํ์ดํ๋ผ์ธ์ ๋์ธ ๊ฐ ๊ตฌ์ถํ์ธ์. ๋์์ Cantrill์ SAA-C03 ๊ฐ์๋ก ๋ฐ์ดํฐ ์ ์ฉ ๊ฐ์์์ ๋จ๊ฒจ๋ IAM, VPC, ์ํธํ์ ๋นํ์ ๋ฉ์ฐ์ธ์. ๋ฌธ์ ๊ฐ ๋ด์ฉ์ด ์๋๋ผ ๋ง๊ฐ์ผ์ด๋ผ๋ฉด ์ด ๋จ๊ณ๋ฅผ Smart Data Learning 14์ฃผ ์ฝํธํธ๋ก ๋์ฒดํ์ธ์.
๋ง๋ฌด๋ฆฌ
๋๋ถ๋ถ์ ๋
์์๊ฒ ์ถ์ฒํ๋ ์์๋ Understanding Cloud Computing์ผ๋ก ๊ฐ๋
์ ์ก๊ณ , ํ ์ ๊ณต์
์ฒด์ ๊ธฐ์ด ํธ๋์ ์๊ฐํ ๋ค, ํด๋น ์ ๊ณต์
์ฒด์ ๋ฐ์ดํฐ ์๋น์ค ๊ฒฝ๋ก๋ก ๋์ด๊ฐ๋ ๊ฒ์
๋๋ค. ๊ฐ๋
์ 2์ฃผ๋ฅผ ํฌ์ํ๋ฉด ์ดํ์ ํ ๋ฌ์ง๋ฆฌ ํผ๋์ ์ค์ผ ์ ์์ผ๋ฉฐ, ์ธ ๊ฐ์ง๋ฅผ ๋ง๋ณด๊ธฐ๋ณด๋ค ํ๋๋ฅผ ์ ๋๋ก ํ๋ ํธ์ด ๋ซ์ต๋๋ค.
ํ ๊ฐ์ง ์์๋ ์ : ์ํ ๋น์ฉ์ ๋ณ๋๋ฉ๋๋ค. AZ-900์ 99~120๋ฌ๋ฌ, DP-203์ 165๋ฌ๋ฌ, AWS Skill Builder ์ฐ 299๋ฌ๋ฌ๋ ์์ฑ ์์ ์ ์์น์ผ ๋ฟ ํ์ฝ์ด ์๋๋๋ค.
๋ ํ๋ ์ค์ํ ๋จ์๊ฐ ์์ต๋๋ค. ๋๊ตฌ๋ ํฐ ์๋ฆฌ๋ก ๋งํ๊ณ ์ถ์ด ํ์ง ์๋ ์ฌ์ค์
๋๋ค. ์ด ์๋ฃ๋ค๋ง์ผ๋ก๋ ์ฑ์ฉ๋์ง ์์ต๋๋ค. ๋ฉด์ ๊ธฐํ๋ฅผ ๊ฐ์ ธ๋ค์ฃผ๋ ๊ฒ์ ์ฌ๋ฌ๋ถ์ด ์ง์ ๋ง๋ค๊ณ ๋ง๊ฐ๋จ๋ ค ๋ณด์์ผ๋ฉฐ ์ค๋ช
ํ ์ ์๋ ๋์ธ ๊ฐ์ ํ์ดํ๋ผ์ธ, ๊ฐ๋ฅํ๋ฉด ๋ฆฌํฌ์งํ ๋ฆฌ์ Terraform์ด ํฌํจ๋ ์์
๋ฌผ์
๋๋ค. ์๊ฒฉ์ฆ์ ์คํฌ๋ฆฌ๋ ์ฝ์ ํต๊ณผ์ํค๊ณ , ํ๋ก์ ํธ๊ฐ ๊ธฐ์ ๋ฉด์ ์ ์ด๊น๋๋ค.
ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ณผ์ ์ ์ฐพ์๋ณด๋ฉด ์๋ฃ๊ฐ ๋๋ฌด ๋ง์ ์๋๋๊ณ , ๋น 3 ์ ๊ณต์ ์ฒด ์ค ์ด๋ค ๊ฒ(ํน์ ๋ช ๊ฐ)์ ๋ฐฐ์์ผ ํ ์ง ๋ง๋งํ ์ ์์ต๋๋ค. ์ปค๋ฎค๋ํฐ์ ์ผ๊ด๋ ๋ต์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. ํ๋๋ก ์์ํ๊ณ , ์ฒซ ๋ฒ์งธ ํด๋ผ์ฐ๋๊ฐ ์ง๋ฃจํ๋ค๊ณ ๋๊ปด์ง ๋์๋ง ๋ ๋ฒ์งธ๋ฅผ ์ถ๊ฐํ์ธ์. ๊ทธ๋ ๋ค๋ฉด ์ง๊ธ ์ด๋ค ๊ฒ์ ๊ณ ๋ฅผ์ง ์ค์ค๋ก์๊ฒ ๋ฌป๊ณ ์๋ค๋ฉด, ๋ค์์ ์์ฌ๊ฒฐ์ ํ๋ ์์ํฌ๋ฅผ ์ฐธ๊ณ ํ์ธ์:
์ด ๋ชฉ๋ก์ ๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด ์ญํ ๋ก ์ ํํ๋ ค๋ ๋ถ๋ค์ ์ํ ๊ฒ์ ๋๋ค. ํ์ดํ๋ผ์ธ์ ์์ ํ๊ณ ์ถ์ ์ ๋๋ฆฌ์คํธ, ๋ฐ์ดํฐ ํ๋ซํผ ์ชฝ์ผ๋ก ์ด๋ํ๋ ์ํํธ์จ์ด ์์ง๋์ด, ์จํ๋ ๋ฏธ์ค Spark๋ฅผ ์ด์ํ๋ค๊ฐ ์ด์ Glue, Synapse, Dataflow๊ฐ ํ์ํ ๋ฐ์ดํฐ ์์ง๋์ด๋ฅผ ํฌํจํฉ๋๋ค. ์ ๋ ๋ค์ ๊ธฐ์ค์ผ๋ก ์๋ฃ๋ฅผ ์ ์ ํ์ต๋๋ค. wํด๋น ์ปค๋ฆฌํ๋ผ์ด ์ค์ ์๊ฒฉ์ฆ ์ฒญ์ฌ์ง(CLF-C02, AZ-900, DP-203, Google Professional Data Engineer)๊ณผ ๋งคํ๋๋์ง, ์ผ๋ฐ ํด๋ผ์ฐ๋ ์ด์์ด ์๋ ๋ฐ์ดํฐ ์๋น์ค๋ฅผ ๋ค๋ฃจ๋์ง, ๊ทธ๋ฆฌ๊ณ ์ค๋ฌด์ ์ถ์ฒ์ด ์๋์ง ์ฌ๋ถ์ ๋๋ค.
Python๊ณผ SQL์ ์ด๋ ์ ๋ ์๊ณ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. ๋ง์ฝ ์๋๋ผ๋ฉด, ์ด๋ค ํด๋ผ์ฐ๋๋ฅผ ๊ณ ๋ฅผ์ง๋ณด๋ค ๊ทธ ๊ฒฉ์ฐจ๋ฅผ ๋ฉ์ฐ๋ ์ผ์ด ๋ ์ค์ํฉ๋๋ค.ย ํด๋ผ์ฐ๋๋ฅผ ๊ณ ๋ฅด๊ธฐ ์ ์ DataCamp์ Associate Data Engineer in SQL ์ปค๋ฆฌ์ด ํธ๋์ผ๋ก SQL๊ณผ ETL/ELT์ ๊ธฐ์ด๋ฅผ ๋ค์ง์ธ์. ์ด๋ ๋ชจ๋ ๋งค๋์ง๋ Spark ์๋น์ค๊ฐ ์ ์ ํ๋ ๋ถ๋ถ์ ๋๋ค.
์์ฝ
1. DataCamp: Understanding Cloud Computing ๊ฐ์
Understanding Cloud Computing ๊ฐ์๋ AWS, Azure, GCP ๊ณ์ ์ ํ ๋ฒ๋ ์จ๋ณธ ์ ์๊ณ , ์ฝ์์ ํด๋ฆญํ๊ธฐ ์ ์ ๊ณตํต ์ดํ๋ฅผ ํ๋ณดํ๊ณ ์ถ์ ๋ถ์๊ฒ ์ ํฉํ ์ถ๋ฐ์ ์ ๋๋ค. ์ด ๊ฐ์๋ ์ค์ต๋ณด๋ค ๊ฐ๋ ์ค์ฌ์ด๋ฉฐ, ๋ฐ๋ก ๊ทธ ์ ์ด ์์ ์์ ์ ํ์ํ ์์์ ๋๋ค.
์๋น์ค ๋ชจ๋ธ(IaaS, PaaS, SaaS), ๋ฐฐํฌ ๋ชจ๋ธ(ํผ๋ธ๋ฆญ, ํ๋ผ์ด๋น, ํ์ด๋ธ๋ฆฌ๋), ์ฃผ์ ์ ๊ณต์ ์ฒด ๊ฐ ์ฐจ์ด, ๋ณด์๊ณผ ๊ฑฐ๋ฒ๋์ค ์ฑ ์์ด ์ฌ์ฉ์์ ๋ฒค๋ ์ฌ์ด์์ ์ด๋ป๊ฒ ๋ถ๋ด๋๋์ง๋ฅผ ๋ค๋ฃน๋๋ค. ๊ณต๊ธ์ ์ฒด ์ค๋ฆฝ์ ์ด๋ผ AWS Glue ํํ ๋ฆฌ์ผ๊ณผ Azure Data Factory ํํ ๋ฆฌ์ผ์ ์ฝ์ ๋, ์๋ก ๋ค๋ฅธ ๋ช ์นญ์ ์ธ ๋ฟ ๊ฐ์ ๋ฌธ์ ๋ฅผ ํผ๋ค๋ ์ฌ์ค์ ํ์ ํ ์ ์์ต๋๋ค. #
๊ฐ์๋ ๋ธ๋ผ์ฐ์ ์์ ์งํ๋๋ฏ๋ก ๋ก์ปฌ ์ค์ ์ด ํ์ ์๊ณ ํ์ต ์ค ํด๋ผ์ฐ๋ ์๊ธ๋ ๋ฐ์ํ์ง ์์ต๋๋ค.ย ๊ฐ์ธ ์๊ธ์ ๋ ์ฐ๊ฐ ๊ฒฐ์ ๊ธฐ์ค ์ ์ฝ 25~33๋ฌ๋ฌ๋ก, ์ด ๋ชฉ๋ก์ ์๋ ๋ชจ๋ DataCamp ๊ฐ์๋ฅผ ๋ฌด์ ํ ์๊ฐํ ์ ์์ต๋๋ค.
2. DataCamp: AWS Cloud Practitioner (CLF-C02) ์คํฌ ํธ๋
r/dataengineering ํฉ์๊ฐ ์๋ง์กด ํด๋ผ์ฐ๋๋ฅผ ๊ฐ๋ฆฌํจ๋ค๋ฉด, AWS Cloud Practitioner (CLF-C02) ์คํฌ ํธ๋์ด ํ ๋ฒ์ ์ฒด๊ณ์ ํ์ต์ผ๋ก ์๋น์ค ์งํ์ ๋จธ๋ฆฟ์์ ๋ฃ๋ ๊ฐ์ฅ ์ ๋ ดํ ๋ฐฉ๋ฒ์ ๋๋ค. ์ฝ์์ ์๋ฌด๋ ๊ฒ๋ ๋๋ฌ๋ณด๋ ๋์ CLF-C02 ์ํ ์ฒญ์ฌ์ง์ ๋ฐํ์ผ๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค.
ํด๋ผ์ฐ๋ ๊ฐ๋ , ํต์ฌ AWS ์๋น์ค(S3, EC2, IAM ํฌํจ), ๋ณด์๊ณผ ๊ณต์ ์ฑ ์ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ ๋ง์ ์ด๋ณด์๊ฐ ๋ฌด์ํ๋ค๊ฐ ์ฃผ๋ง ๋ด๋ด EMR ํด๋ฌ์คํฐ๋ฅผ ์ผ๋๊ณ ๋์์ผ ๊นจ๋ซ๋ ๊ณผ๊ธ๊ณผ ๊ฐ๊ฒฉ ์ฑ ์ ๊น์ง ๋ค๋ฃน๋๋ค. ๋ฐ์ดํฐ ์์ง๋์ด์๊ฒ ๊ณผ๊ธ ํํธ๋ ๋ฐ๋์ ๋ฐฐ์์ผ ํฉ๋๋ค. ๋น์ฉ ํต์ ๋ ์ง๋ฌด์ ์ผ๋ถ์ด์ง ์ฌํ ๊ณ ๋ ค ์ฌํญ์ด ์๋๋๋ค.
CLF-C02๋ ๊ธฐ์ด ์๊ฒฉ์ฆ์ด๋ฏ๋ก Glue ์ก์ ์์ฑํ๊ฑฐ๋ Redshift ์คํค๋ง๋ฅผ ๋ชจ๋ธ๋งํ๋ ๋ฒ์ ๊ฐ๋ฅด์น์ง ์์ต๋๋ค. ์ง๋๋ก ์ฌ๊ธฐ๊ณ , ์ค์ ํ์ดํ๋ผ์ธ ์์ ์ 11๋ฒ ํญ๋ชฉ์ AWS Skill Builder ๋ฐ์ดํฐ ์์ง๋์ด ๊ฒฝ๋ก์์ ํ์ตํ์ธ์.
3. DataCamp: Microsoft Azure Fundamentals (AZ-900) ์คํฌ ํธ๋
ํ์ฌ์์ ์ด๋ฏธ SQL Server, Power BI, Active Directory๋ฅผ ์ฌ์ฉํ๋ค๋ฉด AWS ํธ๋ ๋์ ์ฌ๊ธฐ์ ์์ํ์ธ์. ๋๊ธฐ์ ๋ฐ์ดํฐ ํ์ ์๋น์๊ฐ ์ด๋ฐ ํ๊ฒฝ์ ๋๋ค. AZ-900์ ๋ฐ๋ก ์ด๋ฐ ์ํฉ์ ์ํ ๋ง์ดํฌ๋ก์ํํธ์ ์ ๋ฌธ ์ง์ ์ ๋๋ค.
Microsoft Azure Fundamentals (AZ-900) ํธ๋์ Azure ํต์ฌ ๊ฐ๋ , ์ฃผ์ ์๋น์ค๊ตฐ, ๊ด๋ฆฌ์ ๊ฑฐ๋ฒ๋์ค, ๊ฐ๊ฒฉ ๋ฐ ์ง์ ์ต์ ์ ๋ค๋ฃน๋๋ค. ์ฌ๊ธฐ์ Azure Blob Storage์ Data Lake Storage๋ฅผ ์๋น์ค ์ด๋ฆ์ผ๋ก ์ ํ๊ฒ ๋๋ฉฐ, ์ด๋ DP-203 ์๋ฃ๋ฅผ ๋ํดํ์ง ์๊ฒ ์ฝ๋ ๋ฐ ํ์ํ ๋งฅ๋ฝ์ ์ ๊ณตํฉ๋๋ค.
๋น์ฉ์ ๋ํ ์ค๋ฌด์ ์ธ ์ฐธ๊ณ ์ฌํญ: ํ์ต ๋น์ฉ๊ณผ ์๊ฒฉ์ฆ ๋น์ฉ์ ๋ณ๊ฐ์ ๋๋ค. AZ-900 ์ํ์ ์ง์ญ์ ๋ฐ๋ผ ์ฝ 99~120๋ฌ๋ฌ์ด๋ฉฐ, ์ด ํธ๋์์ ๊ฐ์น๋ฅผ ์ป๋ ๋ฐ ์ํ ์์๋ ํ์ ์ฌํญ์ด ์๋๋๋ค. ๊ตฌ์ธ ๊ณต๊ณ ๋ ๋ด๋ถ ์น์ง ์ ์ฐจ์์ ๋ช ์์ ์ผ๋ก ์๊ตฌํ์ง ์๋ ํ ์ํ ๋น์ฉ์ ์ง๋ถํ ํ์๋ ์์ต๋๋ค.
4. John Savill's Technical Training (YouTube)
Savill์ ๋ฌด๋ฃ YouTube ์ฌ์๋ชฉ๋ก ๋๋ถ์ Azure ๊ธฐ์ด ๊ต์ก์ ๋ฐ๋์ ๋น์ฉ์ ์ง์ถํ ํ์๋ ์์ต๋๋ค. ๊ทธ์ AZ-900 ๋ฐ AZ-104 ํ์ต ์๋ฆฌ์ฆ๋ ๋ฌด๋ฃ์ด๋ฉด์๋ ํ๋ฅญํ ์ถ๋ฐ์ ์ผ๋ก ๋๋ฆฌ ์ธ๊ธ๋ฉ๋๋ค.
AZ-104 ์๋ฃ๋ ๊ด๋ฆฌ์ ์ค์ฌ์ด๋ฉฐ, ์ด๋ ๋ฐ์ดํฐ ์์ง๋์ด์๊ฒ๋ ํต์ฌ์ ๋๋ค. Identity, ๋คํธ์ํน, ์คํ ๋ฆฌ์ง ๊ณ์ , ๊ฑฐ๋ฒ๋์ค๋ Data Factory ํ์ดํ๋ผ์ธ์ด ํ๋ผ์ด๋น ์๋ํฌ์ธํธ์ ์ฐ๊ฒฐ๋์ง ์์ ๋ ๋ง์ฃผํ๊ฒ ๋๋ ๋ ผ์๊ฑฐ๋ฆฌ์ ๋๋ค. ๋ผ์ด๋ธ ํ์ต ์ธ์ ๊ณผ ํ์ดํธ๋ณด๋ ์ค๋ช ๋ ์ ๋ฃ ์์ ๋ชป์ง์๊ฒ ํํํฉ๋๋ค.
์ฌ๊ธฐ์ ๊ธฐ๋ํ๊ธฐ ์ด๋ ค์ด ๊ฒ์ ๋ํํ ํ์ต์ด๋ ํ์ดํ๋ผ์ธ ์ค๊ณ์ ๋๋ค. Synapse ์ฐจ์ ๋ชจ๋ธ๋ง, ์ฆ๋ถ ์ ์ฌ ํจํด, dbt๋ ๋์ค์ง ์์ต๋๋ค. ์ด ์ฌ์๋ชฉ๋ก์ผ๋ก ์ธํ๋ผ ๋ ์ด์ด๋ฅผ ๋ณด๊ฐํ๊ณ , ํ์ต ์๊ฐ์ DP-203 ๊ฒฝ๋ก์ ํฌ์ํ์ธ์.
5. DataCamp: Introduction to GCP ๊ฐ์
๋ถ์ ์ค์ฌ์ ์ ๋ฌด๋ฅผ ๋ชฉํ๋ก ํ๋ค๋ฉด DataCamp์ Introduction to GCP ๊ฐ์๋ฅผ ์ ํํ์ธ์. GCP๋ ๋ฐ์ดํฐ ๋๊ตฌ์ ์์ฑ๋์, Redshift ํด๋ฌ์คํฐ ์ค์ ์ ๋นํด BigQuery๊ฐ ์๊ตฌํ๋ ์ ์ฐจ๊ฐ ์ ๋ค๋ ์ ์์ r/dataengineering ์ค๋ ๋์์ ๊พธ์คํ ํธํ์ ๋ฐ์ต๋๋ค.
๊ฐ์๋ GCP ์๋น์ค ์งํ, ์คํ ๋ฆฌ์ง์ ์ปดํจํธ ์ต์ , BigQuery๊ฐ ๋ถ์ ์คํ์์ ์ฐจ์งํ๋ ์์น๋ฅผ ์๊ฐํฉ๋๋ค. ๋ฒค๋ ์๋ฃ๋ณด๋ค ์ด ๊ฐ์๋ฅผ ๋จผ์ ๋ ์ด์ ๋ ํ์ต ์์ ๋๋ฌธ์ ๋๋ค. Google Cloud Skills Boost ๋ฉ์ ํ๋ก์ ํธ, ์๋น์ค ๊ณ์ , ๋ฆฌ์ ์ด ๋ฌด์์ธ์ง ์ด๋ฏธ ์๊ณ ์๋ค๊ณ ๊ฐ์ ํ๋ฉฐ, ์ด ๊ฐ์๋ ๊ทธ ์ง์์ ๋ช ์ฐจ๋ก ํ์ต์ผ๋ก ์ ๊ณตํฉ๋๋ค.
์์งํ ํ๊ณ๋ ์์ต๋๋ค. ์ ๋ฌธ ๊ฐ์๋ฅผ ๋ง์ณค๋ค๊ณ ํด์ Pub/Sub๊ณผ Dataflow๋ก ์คํธ๋ฆฌ๋ฐ ํ์ดํ๋ผ์ธ์ ์ค๊ณํ ์ ์๊ฒ ๋์ง๋ ์์ต๋๋ค. ๊ทธ๊ฑด ๋ค์ ํญ๋ชฉ์ ์ญํ ์ ๋๋ค.
6. DataCamp: Google Cloud Data Engineer ์คํฌ ํธ๋
DataCamp์ Google Cloud Data Engineer ์คํฌ ํธ๋์ ์ด ๋ชฉ๋ก์์ "SQL์ ์ข ์๋ค"์์ "GCP์ ํ์ดํ๋ผ์ธ์ ๋ง๋ค ์ ์๋ค"๊น์ง ๊ฐ์ฅ ์งํํ๋ ๊ฒฝ๋ก์ด๋ฉฐ, ์ปค๋ฆฌ์ด ์ ํ์ ๋๋ถ๋ถ์๊ฒ ์ถ์ฒํ๊ณ ์ถ์ ํธ๋์ ๋๋ค. ์ผ๋ฐ ํด๋ผ์ฐ๋ ์ด์์ผ๋ก ์์ง ์๊ณ ๋ฐ์ดํฐ ์๋น์ค์ ์ง์คํฉ๋๋ค.
์ด์ ์ ๋ฐ์ดํฐ ์์ง๋์ด ๊ด์ ์ GCP์ ๋๋ค. ์คํ ๋ฆฌ์ง, BigQuery, ๊ทธ๋ฆฌ๊ณ ํ์ดํ๋ผ์ธ์ ํตํ ๋ฐ์ดํฐ ์ด๋์ผ๋ก, Google์ Professional Data Engineer ์๊ฒฉ์ฆ์ด ๋ค๋ฃจ๋ BigQuery, Dataflow, Pub/Sub, Cloud Composer, Dataproc๊ณผ ๊ฐ์ ์์ญ์ ์ปค๋ฒํฉ๋๋ค. ๋ธ๋ผ์ฐ์ ์์ ์งํํ๋ฏ๋ก ๊ณผ๊ธ ์๋ฆผ๊ณผ IAM ์ค๋ฅ๋ฅผ ์ฒ๋ฆฌํ๋ฉด์ ์๋์ฐ ํจ์ ์ง๊ณ๋ฅผ ์ฒ์ ๋ฐฐ์ฐ๋ ์ผ์ ๋์์ ํ์ง ์์๋ ๋ฉ๋๋ค.
์์๋ ์ ํ๋: Python๊ณผ SQL์ ์ ์ ๋ก ํฉ๋๋ค. ๋ ์ค ํ๋๊ฐ ์ฝํ๋ฉด, ํ์ดํ๋ผ์ธ ์ค๊ณ๋ฅผ ๋ฐฐ์ฐ๊ธฐ๋ณด๋ค ๋ฌธ๋ฒ ์ค๋ฅ๋ฅผ ๋๋ฒ๊น ํ๋ ๋ฐ ์๊ฐ์ ์ฐ๊ฒ ๋ฉ๋๋ค. DataCamp์๋ ์ด๋ฅผ ๋ณด์ํ๊ธฐ ์ํ Associate Data Engineer in SQL ์ปค๋ฆฌ์ด ํธ๋๋ ์์ต๋๋ค.
7. Adrian Cantrill's AWS Certified Solutions Architect Associate (SAA-C03)
Cantrill์ SAA-C03 ๊ฐ์๋ ์ปค๋ฎค๋ํฐ๊ฐ ๊ผฝ๋ ์ต๊ณ ์ AWS ๊ธฐ์ด๋ก ๊พธ์คํ ์ธ๊ธ๋๋ฉฐ, ๋์ ๋๋ ์๋น์ค์ ํญ๋์๋ณด๋ค ๊ธฐ๋ฐ ์์ค์ ๊น์ด๋ก ๊ทธ ๋ช ์ฑ์ ์ป์์ต๋๋ค.ย
๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด์๊ฒ ๊ฐ์น๋ ๋ค๋ฅธ ๋ฐ์ดํฐ ๊ฐ์๊ฐ ์ค์น๊ณ ์ง๋๊ฐ๋ ์น์ ์ ์ง์ค๋์ด ์์ต๋๋ค. IAM ์ญํ ๊ณผ ์ ์ฑ , VPC ๋คํธ์ํน๊ณผ ์๋ํฌ์ธํธ, ์คํ ๋ฆฌ์ง ํด๋์ค์ ์๋ช ์ฃผ๊ธฐ ๊ท์น, KMS ์ํธํ ๋ฑ์ด ๊ทธ๊ฒ์ ๋๋ค.
๊ฐ์๋ Cantrill์ ์์ฒด ์ฌ์ดํธ์์ ํ๋งค๋๋ ์ ๋ฃ ๊ณผ์ ์ด๋ฉฐ, ๊ฐ๊ฒฉ์ ํด๋น ์ฌ์ดํธ์์ ํ์ด์ ๋ฐ๋ผ ๋ณ๋๋ฉ๋๋ค. ์ ์ฃผ ๋จ์์ ๊ธด ์ปค๋ฐ์ด ํ์ํฉ๋๋ค. ๋ํ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ฐ์๊ฐ ์๋๋ฏ๋ก, 11๋ฒ ํญ๋ชฉ์ ํ์ ๋ ์ด์ด๋ก ํ์ฉํ๊ณ ๋์ฒด์ฌ๋ก ๋ณด์ง๋ ๋ง์ธ์.
8. Google Cloud Skills Boost: ๋ฐ์ดํฐ ์์ง๋์ด ํ์ต ๊ฒฝ๋ก
๊ตฌ๊ธ์ ์์ฒด ํธ๋ ์ด๋ ํ๋ซํผ์ ๋ฐ์ดํฐ ์์ง๋์ด ํ์ต ๊ฒฝ๋ก์ ๋ฉ์์ API๊ฐ ๋ฏธ๋ฆฌ ์ผ์ง ์์ ํ๋ก์ ํธ๋ฅผ ์ ๊ณตํ๋ฏ๋ก, ์ง์ ํ๋ก๋น์ ๋ ์์ด GCP ์ค์ต์ ํ๊ธฐ์ ๊ฐ์ฅ ์ข์ต๋๋ค. ์ผ๋ถ ๊ฐ์์ ๋ฉ์ ๋ฌด๋ฃ์ ๋๋ค.
์ด ๊ฒฝ๋ก๋ ์ฐฝ๊ณ ๋ฐ SQL ๋ถ์์ ์ํ BigQuery, ๋ฐฐ์น์ ์คํธ๋ฆฌ๋ฐ ๋ณํ์ ์ํ Dataflow, ์ด๋ฒคํธ ์์ง์ ์ํ Pub/Sub, ์์ดํ๋ก์ฐ ๊ธฐ๋ฐ ์ค์ผ์คํธ๋ ์ด์ ์ ์ํ Cloud Composer, ๋งค๋์ง๋ Spark๋ฅผ ์ํ Dataproc์ ๋ค๋ฃน๋๋ค. ์ด ์๋น์ค ๋ชฉ๋ก์ ์ฌ์ค์ Google Professional Data Engineer ์ํ ์ฒญ์ฌ์ง์ด๋ฏ๋ก ์๊ฒฉ์ฆ ์ค๋น์๋ ๊ทธ๋๋ก ํ์ฉํ ์ ์์ต๋๋ค.
๋น์ฉ์ ๊ฒฝ๋ก์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. ๋ฌด๋ฃ ๋ฉ๊ณผ ํ์คํธ๋ง์ผ๋ก๋ ๋ง์ ๋ถ๋ถ์ ์ปค๋ฒํ ์ ์์ผ๋ฉฐ, ๋์ผ ํธ๋์ ํํธ๋ ํธ์คํ ๋ฒ์ ์ ๋ณดํต ์ 39~79๋ฌ๋ฌ ๊ตฌ๋ ๊ถ์ ํด๋นํฉ๋๋ค. ๊ฐ์ ์ปค๋ฆฌํ๋ผ์ ๋ ๋ฒ ๊ฒฐ์ ํ์ง ์๋๋ก ๋ฌด๋ฃ ๊ฒฝ๋ก๊ฐ ํ์ํ ๋ฒ์๋ฅผ ์ด๋ฏธ ์ถฉ์กฑํ๋์ง ๋จผ์ ํ์ธํ์ธ์.
9. Grow Data Skills: AWS, Azure, GCP์ฉ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ํธ๋
Grow Data Skills๋ ํด๋ผ์ฐ๋๋ณ ์๊ฐ ํ์ต ํธ๋์ ์ ๊ณตํ๋ฉฐ, ๊ฐ์ ์ ๊ฐ์ ์๊ฐ๋ณด๋ค ํฌํธํด๋ฆฌ์ค ์ฐ์ถ๋ฌผ์ ๋๋ค. ํด๋ผ์ฐ๋ ์ ๋ฌด ์ด๋ ฅ์ด ์ ํ ์๋ ์ฌ๋์๊ฒ๋ ์ธ์ฆ์๋ณด๋ค ํ๋ก์ ํธ๊ฐ ๋ ์ค์ํฉ๋๋ค.
๊ฐ ํธ๋์ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง, ์จ์ดํ์ฐ์ง, ๋ฐฐ์น์ ์คํธ๋ฆผ์ ๊ตฌ๋ถ ๊ฐ์ ๊ธฐ์ด๋ถํฐ ์์ํด, ํด๋ผ์ฐ๋๋ณ ์์ง, ์ ์ฅ, ๋ณํ, ์ค์ผ์คํธ๋ ์ด์ ๋ชจ๋๋ก ์ด์ด์ง๋๋ค. ์ฐจ๋ณ์ ์ ํ๋ก์ ํธ ์์ ์ ๋๋ค. ๋ฆฌํฌ์งํ ๋ฆฌ์ ๋ด๊ณ ๋ฉด์ ์์ ์ค๋ช ํ ์ ์๋ ์๋ ํฌ ์๋ ํ์ดํ๋ผ์ธ๊ณผ ๋ ์ดํฌํ์ฐ์ค ์ํคํ ์ฒ๋ฅผ ๊ตฌ์ถํฉ๋๋ค.
์ ๋ฃ ํธ๋์ด๋ฉฐ ๊ฐ๊ฒฉ์ ๊ฒฐ์ ๋จ๊ณ์์ ์ง์ญ๊ณผ ํ๋ก๋ชจ์ ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. Python๊ณผ SQL์ ๊ธฐ์ด ๋ฐ ํด๋ผ์ฐ๋์ ๋ํ ์ด๋ ์ ๋์ ์น์ํจ์ ์ ์ ํฉ๋๋ค. ์์ง ์ ๋ฌธ ํธ๋์ ๋๋ด์ง ์์๋ค๋ฉด ์ฐ์ ๊ทธ๊ฑธ ๋ง์น์ธ์. ๊ทธ๋ ์ง ์์ผ๋ฉด ์ดํดํ์ง ๋ชปํ ๋ช ๋ น์ ๊ทธ๋๋ก ๋ฐ๋ผ ์ฐ๋ ๋ฐ ์๊ฐ์ ์ฐ๊ฒ ๋ฉ๋๋ค.
10. Smart Data Learning: Data Engineering With Azure, AWS & GCP
์ด๋ ์ธ ํด๋ผ์ฐ๋๋ฅผ ํ๋์ ์ปค๋ฆฌํ๋ผ์์ ๋ค๋ฃจ๋ 14์ฃผ ๋ผ์ด๋ธ ์จ๋ผ์ธ ํ๋ก๊ทธ๋จ์ผ๋ก, ์๊ฐ ํ์ต ์์์ผ๋ก ๋ ๋ฒ์ด๋ ์คํจํ ๊ฒฝํ์ด ์๋ค๋ฉด ๊ณ ๋ คํ ๋งํ ์ ํ์ง์ ๋๋ค. ์ผ๋ถ์๊ฒ๋ ๋ง๊ฐ์ผ๊ณผ ์ฝํธํธ๊ฐ ํจ๊ณผ์ ์ด๋ฉฐ, ์ด๋ฅผ ๋ถ์ ํ๋ ์กฐ์ธ์ ์ข์ง ์์ต๋๋ค.
๊ตฌ์ฑ์ ํต์ฌ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ฐ๋ ์ ๋จผ์ ๋ค๋ฃจ๊ณ , ์ดํ ํด๋ผ์ฐ๋๋ณ ๊ตฌํ์ผ๋ก ์ด์ด์ง๋๋ค. AWS์์๋ S3, Glue, Redshift, EMR; Azure์์๋ Data Lake, Data Factory, Synapse; GCP์์๋ BigQuery, Dataflow, Pub/Sub๋ฅผ ๋ค๋ฃน๋๋ค. ๋ผ์ด๋ธ ์ธ์ ๊ณผ ๋ณํํด ๊ณผ์ ์ ๋ฉ์ด ์งํ๋์ด, ์๋ ์์ฒญ์ด ์๋ ํ๊ฐ๊ฐ ๋๋ฐ๋ฉ๋๋ค.
์ฌ์ ์ Python๊ณผ SQL ๊ฒฝํ์ด ๊ถ์ฅ๋๋ฉฐ, ์ฌ์ค์ ํ์์ ๋๋ค. ๊ฐ๊ฒฉ์ ์ฝ์ค ํ์ด์ง์ ํ๊ธฐ๋ ๊ณ ์ ํ๋ก๊ทธ๋จ ์๊ฐ๋ฃ์ด๋ฉฐ ์ง์ญ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. 14์ฃผ๋ฅผ ์ปค๋ฐํ๊ธฐ ์ ์ ๋ฐ๋์ ์๋ฉด์ผ๋ก ๊ธ์ก์ ํ์ธํ์ธ์.
11. AWS Skill Builder: AWS Certified Data Engineer โ Associate ํ์ต ๊ฒฝ๋ก
AWS Skill Builder์ ์ด ํ์ต ๊ฒฝ๋ก๋ CLF-C02 ์ดํ AWS ํ์ต์๊ฐ ๊ฐ์ผ ํ ๊ณณ์ ๋๋ค. ์ด ๋ชฉ๋ก์์ ์ ์ผํ๊ฒ ์ผ๋ฐ ์ํคํ ์ฒ๊ฐ ์๋ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ์๋น์ค์ ์ด์ ์ ๋ง์ถ AWS ์๋ฃ์ด๊ธฐ ๋๋ฌธ์ ๋๋ค. ์๋ง์กด์ ๊ณต์ ํธ๋ ์ด๋ ํ๋ซํผ์ด๋ฏ๋ก ์ต์ ์ํ ๊ฐ์ด๋๋ฅผ ์ถฉ์คํ ๋ฐ์ํฉ๋๋ค.
๊ฒฝ๋ก๋ ์ค๋ฌด์์ ์ด์ํ๊ฒ ๋ ์๋น์ค ์ค์ฌ์ ๋๋ค. ETL์ ์ํ AWS Glue, ๊ฑฐ๋ฒ๋์คํ ๋ฐ์ดํฐ ๋ ์ดํฌ๋ฅผ ์ํ Lake Formation, ์จ์ดํ์ฐ์ง์ ์ํ Amazon Redshift, Spark์ Hadoop ์ํฌ๋ก๋๋ฅผ ์ํ EMR, ์คํธ๋ฆฌ๋ฐ ์์ง์ ์ํ Kinesis์ ๋๋ค. ๊ฐ๊ฒฉ์ ํผํฉํ์ผ๋ก, ๋์งํธ ํธ๋ ์ด๋์ ์๋น ๋ถ๋ถ์ด ๋ฌด๋ฃ์ด๋ฉฐ, ๋ฉ๊ณผ ์ํ ์ค๋น ์๋ฃ๋ฅผ ์ํ Skill Builder ๊ฐ์ธ ๊ตฌ๋ ์ ์ ์ฝ 29๋ฌ๋ฌ ๋๋ ์ฐ 299๋ฌ๋ฌ ์์ค์ ๋๋ค.
CLF-C02์์ ๋์ด๋ ์ฐจ์ด๋ ๋ถ๋ช ํฉ๋๋ค. ์ด ์๋ฃ๋ ์ํ ์์ค์ ๊น์ด๋ฅผ ๋ชฉํ๋ก ํ๋ฉฐ, ์ด๋ฏธ ์ฝ์์ ํ์ํ๊ณ IAM ์ ์ฑ ์ ์ฝ๊ณ VPC ๋ฐฐ์น๋ฅผ ํ๋จํ ์ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. AWS ์ฒซ ์ ๋ฌธ์ผ๋ก ์ฌ๊ธฐ์ ์์ํ์ง ๋ง์ธ์.
12. Microsoft Learn: Azure Data Engineering (DP-203) ๊ฒฝ๋ก
๊ณ ๊ธ Azure ๋ฐ์ดํฐ ์์ง๋์ด๋ง ์ปค๋ฆฌํ๋ผ ์ค ์ต๊ณ ์ ๋ฌด๋ฃ ์๋ฃ๋ ๋ง์ดํฌ๋ก์ํํธ ๊ณต์ ์๋ฃ์ด๋ฉฐ, DP-203 ๊ฒฝ๋ก๋ AZ-900 ๊ฐ๋ ์ด ์๋ฆฌ ์ก์ ํ ํ์ตํ๊ธฐ์ ์ ํฉํฉ๋๋ค. ๋ชจ๋ Learn ๋ชจ๋์ ๋ฌด๋ฃ๋ก ์ฝ๊ณ ์ค์ตํ ์ ์์ต๋๋ค.
์ปค๋ฒ๋ฆฌ์ง๋ Azure ๋ฐ์ดํฐ ์คํ ๋ณธ์ฒด์ ๋๋ค. Azure Data Lake Storage, ์จ์ดํ์ฐ์ง๊ณผ Spark ํ์ ์ํ Synapse Analytics, ์ค์ผ์คํธ๋ ์ด์ ๊ณผ ๋ณต์ฌ ์์ ์ ์ํ Data Factory, ์คํธ๋ฆฌ๋ฐ ์ฟผ๋ฆฌ๋ฅผ ์ํ Stream Analytics, ๋ ธํธ๋ถ ๊ธฐ๋ฐ ๋ณํ์ ์ํ Azure Databricks๊น์ง ๋ค๋ฃน๋๋ค. ํ์ด Fabric ์๋์ Synapse ์ํฌ๋ก๋๋ก ํ์คํํ๊ณ ์๋ค๋ฉด, ์ด ์๋ฃ๊ฐ ์ผ๊ณผ ๊ฐ์ฅ ๋ฐ์ ํฉ๋๋ค.
์์งํ ๋ฌธ์ ๋ ๊ฐ์ง๊ฐ ์์ต๋๋ค. Microsoft Learn์ ์ฝ๊ธฐ ์์ฃผ๋ผ ์งํ ํ์๊ฐ ์๋ ๋ฌธ์์ฒ๋ผ ๋๊ปด์ง ์ ์์ผ๋ฏ๋ก, ๊ฐ์ธ ๊ตฌ๋ ์ผ๋ก ์ง์ ๋ฌด์ธ๊ฐ๋ฅผ ๋ง๋ค์ด ๋ณด๋ฉฐ ๋ค์๋ง ํด๋ฆญํ์ง ๋ง์ธ์. ๋ํ DP-203 ์ํ ์์๋ฃ๋ ์ฝ 165๋ฌ๋ฌ๋ก, ์ด ๋ชฉ๋ก์์ ํ์ต ์๊ฐ ๋๋น ๊ฐ์ฅ ๋น์ผ ํญ๋ชฉ์ ๋๋ค.
13. r/dataengineering ํด๋ผ์ฐ๋ ์ ํ ์ค๋ ๋
์ด ๋ชฉ๋ก์์ ๊ฐ์ฅ ์ ์ฉํ ๋ฌด๋ฃ ์๋ฃ๋ ๊ฐ์๊ฐ ์๋๋ผ r/dataengineering ์๋ธ๋ ๋ง์ ๋๋ค. "๋ฐ์ดํฐ ์์ง๋์ด๋ง ์ ๋ฌธ์๊ฐ ๋ฐฐ์ฐ๊ธฐ์ ๊ฐ์ฅ ์ข์ ํด๋ผ์ฐ๋ ์ ๊ณต์ ์ฒด๋?" "์ ์คํฌ๊ณผ ์ด์ง์ GCP, Azure, AWS ์ค ๋ฌด์์ด ์ต์ ์ธ๊ฐ" ๊ฐ์ ์ค๋ ๋์์ ์ค์ ๊ฒฐ์ ์ด ์ด๋ฃจ์ด์ง๋ฉฐ, ๋ต๋ณํ๋ ์ค๋ฌด์๋ค์ ์ฑ์ฉ์์์ผ๋ก๋ ํ๋ํฉ๋๋ค.
๋ฐ๋ณต๋๋ ์ ์ฅ์ ์์ฝํ ๋งํผ ์ผ๊ด๋ฉ๋๋ค. ์์ฅ ์ ์ ์จ ๋๋ถ์ AWS๊ฐ ๊ฐ์ฅ ์์ ํ ์ปค๋ฆฌ์ด ํฌ์๋ก ๋ถ๋ฆฌ๋ฉฐ, GCP๋ BigQuery์ Dataflow์ ๊ฐ์ ์ผ๋ก ๋ฐ์ดํฐ ์ค์ฌ ๋ฐ ML ์ํฌ๋ก๋์ ์ถ์ฒ๋ฉ๋๋ค. Azure๋ ๊ณ ์ฉ์ฃผ๊ฐ Microsoft ์ค์ฌ์ด๊ฑฐ๋ ํด๋น ์ง์ญ ์์ฅ์ด ๊ทธ๋ ๋ค๋ฉด ์ฐ์ธํฉ๋๋ค. ๋ ๋ค๋ฅธ ๋ฐ๋ณต ์กฐ์ธ์ ํ๋๋ฅผ ์ ํํด ์๋ จ๋๋ฅผ ์์ ๋ค ๋ ๋ฒ์งธ๋ฅผ ์ถ๊ฐํ๋ผ๋ ๊ฒ์ ๋๋ค.
์ปค๋ฆฌํ๋ผ ์ด๋์๋ ์๋ ์ง์ญ์ ๋ํ ์ผ์ ์ค๋ ๋์์ ์ฝ์ผ์ธ์. ์ฌ๋ฌ๋ถ์ด ์ฌ๋ ๋์์ ๊ตฌ์ธ ๊ณต๊ณ ๊ฐ Synapse๋ฅผ ๋งํ๋์ง Snowflake๋ฅผ ๋งํ๋์ง๋ ํ์ง ์ค๋ฌด์๋ง ๋ตํ ์ ์์ผ๋ฉฐ, ์ด ๊ธ์ ๋ค๋ฅธ ๋ชจ๋ ์ถ์ฒ๋ณด๋ค ์ฐ์ ํด์ผ ํฉ๋๋ค.
๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด์๊ฒ ํ์ํ ๊ธฐ์
๋ฐ์ดํฐ ํด๋ผ์ฐ๋ ์์ง๋์ด๋ AWS, Azure, GCP์์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์ค๊ณยท๊ตฌ์ถยท์ด์ํฉ๋๋ค. ์ค๋ฌด์์๋ ๋ฐ์ดํฐ ๋ ์ดํฌ์ ์จ์ดํ์ฐ์ค๋ก ์ ์ ๋๋ ETL/ELT ์์ ๊ณผ, ๊ทธ ์ฃผ๋ณ์ ๋ณด์ ๋ฐ ๋น์ฉ ํต์ ๊ฐ ํต์ฌ์ ๋๋ค. ์ํํธ์จ์ด ์์ง๋์ด๋ง๊ณผ ๋ถ์์ ์ค๊ฐ์ ์์นํ๋ฉฐ, ํ์ํ ๊ธฐ์ ๋ ๊ทธ ์ฑ๊ฒฉ์ ๋ฐ์ํฉ๋๋ค.
์ด ๋ชฉ๋ก์ ์๊ฒฉ์ฆ ์์ค ์๋ฃ๋ฅผ ์ํด์๋ ์ต์ 6~12๊ฐ์์ ํด๋ผ์ฐ๋ ์ค์ต ๊ฒฝํ์ ์ ์ ๋ก ํ์ธ์. DP-203๊ณผ AWS ๋ฐ์ดํฐ ์์ง๋์ด ๊ฒฝ๋ก๋ ๊ทธ ์ด์ ๋จ๊ณ์์ ์น์ ํ์ง ์์ต๋๋ค.
์ถ์ฒ ํ์ต ๊ฒฝ๋ก
์ง๊ธ ์ ๋๋ฆฌ์คํธ๋ก ์ถ๋ฐํด 1๋ ๋ด ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ์์ง๋์ด ๋ฉด์ ์ ๋ณด๊ณ ์ ํ๋ค๋ฉด, ์ ๊ฐ ๋ฐ๋ฅผ ์์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
1๋จ๊ณ: ์ฉ์ด๋ฅผ ์ตํ๊ณ ํ๋์ ํด๋ผ์ฐ๋๋ฅผ ๊ณ ๋ฅด๊ธฐ
Understanding Cloud Computing์ ํ์ตํ๊ณ , ๋ก์ปฌ ๊ตฌ์ธ ๊ณต๊ณ ๋ฅผ ์์ ๋์ด ์ฑ r/dataengineering์ ํด๋ผ์ฐ๋ ์ ํ ์ค๋ ๋๋ฅผ ๋ช ๊ฐ ์ฝ์ด๋ณด์ธ์. ๋ค๋ฅธ ๊ฒ์ ์ฌ๊ธฐ ์ ์ ํ ์ ๊ณต์ ์ฒด์ ์ ๋ ํ์ธ์.
2๋จ๊ณ: ์ ํํ ์ ๊ณต์ ์ฒด์ ๊ธฐ์ด๋ฅผ ์ ๋๋ก ํ์ต
AWS Cloud Practitioner (CLF-C02) ํธ๋, Microsoft Azure Fundamentals (AZ-900) ํธ๋, ๋๋ Introduction to GCP์ Google Cloud Data Engineer ํธ๋์ ์ด๋ฐ ๊ณผ์ ์ 1๋จ๊ณ ์ ํ์ ๋ง์ถฐ ์๊ฐํ์ธ์. Azure๋ฅผ ์ ํํ๊ณ ์์ฐ์ด ์ ํ ์์ผ๋ฉฐ ๋ํํ ์ฝํ ์ธ ๊ฐ ํ์ ์๋ค๋ฉด John Savill์ AZ-900 ๋ฐ AZ-104 ์ฌ์๋ชฉ๋ก์ผ๋ก ๋์ผ ๋ฒ์๋ฅผ ๋ฌด๋ฃ๋ก ์ปค๋ฒํ ์ ์์ต๋๋ค.
3๋จ๊ณ: ํด๋น ํด๋ผ์ฐ๋์ ๋ฐ์ดํฐ ์๋น์ค๋ฅผ ๊น๊ฒ ํ๊ธฐ
์ด ๋จ๊ณ์์ ๊ณ ์ฉ ๊ฐ๋ฅ์ฑ์ด ์๊น๋๋ค.
4๋จ๊ณ: ํ๋ก์ ํธ๋ฅผ ๊ตฌ์ถํ๊ณ ์ธํ๋ผ ๋ ์ด์ด ๋ณด๊ฐ
Grow Data Skills ํ๋ก์ ํธ ๋ชจ๋์ ํ์ฉํ๊ฑฐ๋ Terraform๊ณผ Airflow๋ก ์ง์ ์งํํด, ์ค๋ช ํ ์ ์๋ ์๋ ํฌ ์๋ ํ์ดํ๋ผ์ธ์ ๋์ธ ๊ฐ ๊ตฌ์ถํ์ธ์. ๋์์ Cantrill์ SAA-C03 ๊ฐ์๋ก ๋ฐ์ดํฐ ์ ์ฉ ๊ฐ์์์ ๋จ๊ฒจ๋ IAM, VPC, ์ํธํ์ ๋นํ์ ๋ฉ์ฐ์ธ์. ๋ฌธ์ ๊ฐ ๋ด์ฉ์ด ์๋๋ผ ๋ง๊ฐ์ผ์ด๋ผ๋ฉด ์ด ๋จ๊ณ๋ฅผ Smart Data Learning 14์ฃผ ์ฝํธํธ๋ก ๋์ฒดํ์ธ์.
๋ง๋ฌด๋ฆฌ
๋๋ถ๋ถ์ ๋ ์์๊ฒ ์ถ์ฒํ๋ ์์๋ Understanding Cloud Computing์ผ๋ก ๊ฐ๋ ์ ์ก๊ณ , ํ ์ ๊ณต์ ์ฒด์ ๊ธฐ์ด ํธ๋์ ์๊ฐํ ๋ค, ํด๋น ์ ๊ณต์ ์ฒด์ ๋ฐ์ดํฐ ์๋น์ค ๊ฒฝ๋ก๋ก ๋์ด๊ฐ๋ ๊ฒ์ ๋๋ค. ๊ฐ๋ ์ 2์ฃผ๋ฅผ ํฌ์ํ๋ฉด ์ดํ์ ํ ๋ฌ์ง๋ฆฌ ํผ๋์ ์ค์ผ ์ ์์ผ๋ฉฐ, ์ธ ๊ฐ์ง๋ฅผ ๋ง๋ณด๊ธฐ๋ณด๋ค ํ๋๋ฅผ ์ ๋๋ก ํ๋ ํธ์ด ๋ซ์ต๋๋ค.
ํ ๊ฐ์ง ์์๋ ์ : ์ํ ๋น์ฉ์ ๋ณ๋๋ฉ๋๋ค. AZ-900์ 99~120๋ฌ๋ฌ, DP-203์ 165๋ฌ๋ฌ, AWS Skill Builder ์ฐ 299๋ฌ๋ฌ๋ ์์ฑ ์์ ์ ์์น์ผ ๋ฟ ํ์ฝ์ด ์๋๋๋ค.
๋ ํ๋ ์ค์ํ ๋จ์๊ฐ ์์ต๋๋ค. ๋๊ตฌ๋ ํฐ ์๋ฆฌ๋ก ๋งํ๊ณ ์ถ์ด ํ์ง ์๋ ์ฌ์ค์ ๋๋ค. ์ด ์๋ฃ๋ค๋ง์ผ๋ก๋ ์ฑ์ฉ๋์ง ์์ต๋๋ค. ๋ฉด์ ๊ธฐํ๋ฅผ ๊ฐ์ ธ๋ค์ฃผ๋ ๊ฒ์ ์ฌ๋ฌ๋ถ์ด ์ง์ ๋ง๋ค๊ณ ๋ง๊ฐ๋จ๋ ค ๋ณด์์ผ๋ฉฐ ์ค๋ช ํ ์ ์๋ ๋์ธ ๊ฐ์ ํ์ดํ๋ผ์ธ, ๊ฐ๋ฅํ๋ฉด ๋ฆฌํฌ์งํ ๋ฆฌ์ Terraform์ด ํฌํจ๋ ์์ ๋ฌผ์ ๋๋ค. ์๊ฒฉ์ฆ์ ์คํฌ๋ฆฌ๋ ์ฝ์ ํต๊ณผ์ํค๊ณ , ํ๋ก์ ํธ๊ฐ ๊ธฐ์ ๋ฉด์ ์ ์ด๊น๋๋ค.