After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Ми живемо в ритмі жорстких дедлайнів. Тож часто обираємо знайомі й прості інструменти з графічним інтерфейсом, як-от Visual Studio та RStudio. Однак час, вкладений у вивчення аналізу даних у командному рядку, — це вигідна довгострокова інвестиція: ви станете сильнішими й продуктивнішими фахівцями з даних.У цьому курсі ми підемо практичним шляхом і опануємо прості, потужні та спеціалізовані для даних навички роботи в командному рядку. Використовуючи публічні набори даних Spotify, ви навчитеся завантажувати, обробляти, очищувати та перетворювати дані — усе в командному рядку. Також розглянемо просунуті прийоми, зокрема операції з базами даних у стилі SQL прямо з командного рядка. Нарешті, поєднаємо можливості командного рядка та Python, щоб збудувати конвеєр даних для автоматизації прогностичної моделі.
Попередні вимоги
Навчальний план
Зміст курсу
1
Завантаження даних у командному рядку
У цьому розділі ви навчитеся завантажувати файли даних із вебсерверів через командний рядок. Паралельно розберетеся з довідковими мануалами, прапорцями опцій і обробкою кількох файлів.
- Завантаження даних за допомогою curl50 XP
- Використання документації curl50 XP
- Завантаження одного файлу за допомогою curl100 XP
- Завантаження кількох файлів за допомогою curl100 XP
- Завантаження даних за допомогою Wget50 XP
- Встановлення Wget50 XP
- Завантаження одного файла за допомогою wget100 XP
- Просунуте завантаження за допомогою Wget50 XP
- Налаштування обмежень для завантаження кількох файлів50 XP
- Створення паузи очікування за допомогою Wget100 XP
- Завантаження даних за допомогою Wget і curl100 XP
2
Очищення та підготовка даних у командному рядку
Продовжимо шлях від завантаження даних до їхньої обробки. У цьому розділі ми використаємо бібліотеку командного рядка csvkit, щоб конвертувати, переглядати, фільтрувати та змінювати файли для підготовки даних до подальшого аналізу.
3
Операції з базами даних у командному рядку
У цьому розділі зануримося глибше в можливості бібліотеки csvkit. Зокрема зосередимося на операціях із базами даних у командному рядку: створення таблиць, вибірка даних та різні ETL-перетворення.
4
Конвеєр даних у командному рядку
В останньому розділі поєднаємо командний рядок з іншими мовами для науки про дані й побачимо, як вони працюють разом. На прикладі Python ви навчитеся запускати Python у командному рядку, встановлювати залежності за допомогою менеджера пакунків pip і будувати повний конвеєр моделі за допомогою командного рядка.
S
Опрацювання даних у Shell
Курс
завершено
