본문으로 바로가기

강의

셸에서의 데이터 처리

중급기술 수준

업데이트됨 2025. 10.

데이터를 다운로드, 처리, 변환하는 강력한 명령줄 기술을 익히고, 머신 러닝 파이프라인까지 다룹니다.

무료로 강의 시작

ShellData Manipulation

4시간

13 동영상

46 연습 문제

3,550 XP

22,934

성취 증명서

수천 개 기업의 학습자들이 사랑하는

팀을 교육하시나요?

비즈니스용으로 체험해 보세요

강의 설명

우리는 촉박한 마감 속에 바쁘게 일합니다. 그 결과 Visual Studio나 RStudio 같은 GUI 환경에 익숙함을 이유로 의존하곤 하죠. 하지만 명령줄에서 데이터 분석을 배우는 데 시간을 들이는 것은 장기적으로 큰 투자입니다. 더 탄탄하고 생산적인 데이터 전문가가 되게 해 주기 때문입니다.이 강의에서는 실용적인 접근으로 간단하면서도 강력하고 데이터 작업에 특화된 명령줄 스킬을 배웁니다. 공개된 Spotify 데이터셋을 사용해, 명령줄만으로 데이터를 다운로드하고, 처리하고, 정리하고, 변환하는 방법을 익힐 거예요. 또한 명령줄 기반의 SQL 데이터베이스 작업 같은 고급 기법도 다룹니다. 마지막으로 명령줄과 Python을 결합해 예측 모델을 자동화하는 데이터 파이프라인을 구축합니다.

선수 조건

Introduction to Shell Intermediate Python Intermediate SQL

1

Downloading Data on the Command Line

In this chapter, we learn how to download data files from web servers via the command line. In the process, we also learn about documentation manuals, option flags, and multi-file processing.

Downloading data using curl

Using curl documentation

Downloading single file using curl

Downloading multiple files using curl

Downloading data using Wget

Installing Wget

Downloading single file using wget

Advanced downloading using Wget

Setting constraints for multiple file downloads

Creating wait time using Wget

Data downloading with Wget and curl

2

Data Cleaning and Munging on the Command Line

We continue our data journey from data downloading to data processing. In this chapter, we utilize the command line library csvkit to convert, preview, filter and manipulate files to prepare our data for further analyses.

Getting started with csvkit

Installation and documentation for csvkit

Converting and previewing data with csvkit

File conversion and summary statistics with csvkit

Filtering data using csvkit

Printing column headers with csvkit

Filtering data by column with csvkit

Filtering data by row with csvkit

Stacking data and chaining commands with csvkit

Stacking files with csvkit

Chaining commands using operators

Data processing with csvkit

3

Database Operations on the Command Line

In this chapter, we dig deeper into all that csvkit library has to offer. In particular, we focus on database operations we can do on the command line, including table creation, data pull, and various ETL transformation.

Pulling data from database

Using sql2csv documentation

Understand sql2csv connectors

Practice pulling data from database

Manipulating data using SQL syntax

Applying SQL to a local CSV file

Cleaner scripting via shell variables

Joining local CSV files using SQL

Pushing data back to database

Practice pushing data back to database

Database and SQL with csvkit

4

Data Pipeline on the Command Line

In the last chapter, we bridge the connection between command line and other data science languages and learn how they can work together. Using Python as a case study, we learn to execute Python on the command line, to install dependencies using the package manager pip, and to build an entire model pipeline using the command line.

Python on the command line

Finding Python version on the command line

Executing Python script on the command line

Python package installation with pip

Understanding pip's capabilities

Installing Python dependencies

Running a Python model

Data job automation with cron

Understanding cron scheduling syntax

Scheduling a job with crontab

Model production on the command line

Course recap

셸에서의 데이터 처리

강의
완료

수료증 획득

LinkedIn 프로필, 이력서 또는 CV에 이 인증서를 추가하세요
소셜 미디어와 성과 평가에서 공유하세요지금 등록

19백만 명 이상의 학습자와 함께 셸에서의 데이터 처리을(를) 시작하세요!

DataCamp for Mobile을 통해 데이터 분석 능력을 향상시키세요.

모바일 강좌와 매일 5분 코딩 챌린지를 통해 이동 중에도 학습 효과를 높이세요.