Build your ultimate AI agent
코스 설명
Polars 실력을 프로덕션 수준으로 끌어올리세요. 쿼리 플랜을 읽고 옵티마이저의 잠재력을 최대한 활용하는 방법, Parquet, CSV, 데이터베이스 소스를 효율적으로 다루는 방법, 그리고 List, Struct, Categorical, Enum 등 고급 데이터 타입을 활용하는 방법을 학습합니다. 또한 대용량 쿼리를 디스크로 스트리밍하고, 데이터를 배치로 처리하며, 내장 어설션으로 테스트 가능한 파이프라인을 구축하는 방법도 배웁니다. 강의를 마치면 어떤 크기의 데이터셋도 처리할 수 있는 고성능 데이터 워크플로를 구축할 수 있게 됩니다.
사전 요구 사항
커리큘럼
코스 개요
1
쿼리 최적화 심화
최적화 효과를 극대화하기 위해 쿼리를 지연 실행 상태로 유지하는 방법, 쿼리 플랜을 읽고 해석하는 방법, 그리고 프로파일링과 정렬된 데이터를 활용해 빠른 실행 경로를 확보하는 방법을 학습합니다.
2
효율적인 데이터 입출력
Parquet 파일을 읽고 쓰는 방법, 복잡한 CSV를 파싱하는 방법, 멀티파일 및 하이브 파티셔닝된 데이터셋을 스캔하는 방법, 그리고 Polars에서 데이터베이스를 쿼리하는 방법을 학습합니다.
3
최적 분석을 위한 고급 데이터 타입
List 및 Struct 컬럼 다루기, 반복되는 문자열을 Categorical 및 Enum 데이터 타입으로 인코딩하기, 수치형 다운캐스팅을 통한 메모리 사용량 줄이기를 다룹니다.
4
대규모 환경에서 Polars 활용하기
스트리밍 엔진과 GPU 엔진을 사용하는 방법, 대용량 쿼리 결과를 파티셔닝과 함께 디스크에 직접 저장하는 방법, 그리고 Polars의 내장 어설션으로 파이프라인을 테스트하는 방법을 학습합니다.
Polars로 데이터 파이프라인 확장 및 최적화하기
코스
완료
