ข้ามไปยังเนื้อหาหลัก

หน้าหลัก Shell

คอร์ส

Data Processing in Shell

ระดับกลางระดับทักษะ

อัปเดตแล้ว 10/2568

Learn powerful command-line skills to download, process, and transform data, including machine learning pipeline.

เริ่มคอร์สฟรี

ShellData Manipulation

4 ชม.

13 วิดีโอ

46 แบบฝึกหัด

3,550 XP

22,932

ใบรับรองความสำเร็จ

สร้างบัญชีฟรีของคุณ

ดำเนินการต่อด้วย Google แสดงตัวเลือกเพิ่มเติม

หรือ

เมื่อดำเนินการต่อ คุณยอมรับ ข้อกำหนดการใช้งาน ของเรา นโยบายความเป็นส่วนตัว ของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บในสหรัฐอเมริกา

เป็นที่รักของผู้เรียนในบริษัทหลายพันแห่ง

กำลังฝึกอบรมทีม?

ลองใช้สำหรับธุรกิจ

คำอธิบายคอร์ส

We live in a busy world with tight deadlines. As a result, we fall back on what is familiar and easy, favoring GUI interfaces like Visual Studio and RStudio. However, taking the time to learn data analysis on the command line is a great long-term investment because it makes us stronger and more productive data people.In this course, we will take a practical approach to learn simple, powerful, and data-specific command-line skills. Using publicly available Spotify datasets, we will learn how to download, process, clean, and transform data, all via the command line. We will also learn advanced techniques such as command-line based SQL database operations. Finally, we will combine the powers of command line and Python to build a data pipeline for automating a predictive model.

ข้อกำหนดเบื้องต้น

Introduction to Shell Intermediate Python Intermediate SQL

1

Downloading Data on the Command Line

In this chapter, we learn how to download data files from web servers via the command line. In the process, we also learn about documentation manuals, option flags, and multi-file processing.

Downloading data using curl

Using curl documentation

Downloading single file using curl

Downloading multiple files using curl

Downloading data using Wget

Installing Wget

Downloading single file using wget

Advanced downloading using Wget

Setting constraints for multiple file downloads

Creating wait time using Wget

Data downloading with Wget and curl

เริ่มบท

2

Data Cleaning and Munging on the Command Line

We continue our data journey from data downloading to data processing. In this chapter, we utilize the command line library csvkit to convert, preview, filter and manipulate files to prepare our data for further analyses.

Getting started with csvkit

Installation and documentation for csvkit

Converting and previewing data with csvkit

File conversion and summary statistics with csvkit

Filtering data using csvkit

Printing column headers with csvkit

Filtering data by column with csvkit

Filtering data by row with csvkit

Stacking data and chaining commands with csvkit

Stacking files with csvkit

Chaining commands using operators

Data processing with csvkit

เริ่มบท

3

Database Operations on the Command Line

In this chapter, we dig deeper into all that csvkit library has to offer. In particular, we focus on database operations we can do on the command line, including table creation, data pull, and various ETL transformation.

Pulling data from database

Using sql2csv documentation

Understand sql2csv connectors

Practice pulling data from database

Manipulating data using SQL syntax

Applying SQL to a local CSV file

Cleaner scripting via shell variables

Joining local CSV files using SQL

Pushing data back to database

Practice pushing data back to database

Database and SQL with csvkit

เริ่มบท

4

Data Pipeline on the Command Line

In the last chapter, we bridge the connection between command line and other data science languages and learn how they can work together. Using Python as a case study, we learn to execute Python on the command line, to install dependencies using the package manager pip, and to build an entire model pipeline using the command line.

Python on the command line

Finding Python version on the command line

Executing Python script on the command line

Python package installation with pip

Understanding pip's capabilities

Installing Python dependencies

Running a Python model

Data job automation with cron

Understanding cron scheduling syntax

Scheduling a job with crontab

Model production on the command line

Course recap

เริ่มบท

Data Processing in Shell

คอร์สเสร็จสมบูรณ์

รับใบรับรองความสำเร็จ

เพิ่มใบรับรองนี้ไปยังโปรไฟล์ LinkedIn เรซูเม่ หรือ CV ของคุณ
แชร์บน social media และในการรีวิวผลการปฏิบัติงานของคุณลงทะเบียนทันที

ร่วมกับผู้เรียนกว่า 19 ล้านคนและเริ่มต้น Data Processing in Shell วันนี้!

สร้างบัญชีฟรีของคุณ

ดำเนินการต่อด้วย Google แสดงตัวเลือกเพิ่มเติม

หรือ

เมื่อดำเนินการต่อ คุณยอมรับ ข้อกำหนดการใช้งาน ของเรา นโยบายความเป็นส่วนตัว ของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา