After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Описание курса
Мы живём в условиях постоянной нехватки времени и сжатых сроков. Поэтому нередко выбираем привычные инструменты — графические интерфейсы вроде Visual Studio и RStudio. Однако освоение анализа данных в командной строке — это ценная долгосрочная инвестиция, которая делает вас более уверенным и продуктивным специалистом.В этом курсе мы на практике изучим простые и эффективные инструменты командной строки для работы с данными. На примере общедоступных наборов данных Spotify вы научитесь загружать, обрабатывать, очищать и преобразовывать данные — всё это прямо из командной строки. Мы также рассмотрим продвинутые техники, в том числе операции с базами данных SQL в командной строке. В завершение объединим возможности командной строки и Python, чтобы построить конвейер данных для автоматизации предсказательной модели.
Предварительные требования
Программа
Структура курса
1
Загрузка данных в командной строке
В этой главе вы узнаете, как загружать файлы данных с веб-серверов через командную строку. По ходу изучения мы также познакомимся с документацией, флагами параметров и обработкой нескольких файлов одновременно.
- Загрузка данных с помощью curl50 XP
- Работа с документацией curl50 XP
- Загрузка одного файла с помощью curl100 XP
- Загрузка нескольких файлов с помощью curl100 XP
- Загрузка данных с помощью Wget50 XP
- Установка Wget50 XP
- Загрузка одного файла с помощью wget100 XP
- Расширенные возможности загрузки с помощью Wget50 XP
- Установка ограничений при загрузке нескольких файлов50 XP
- Настройка паузы между загрузками с помощью Wget100 XP
- Загрузка данных с помощью Wget и curl100 XP
2
Очистка и преобразование данных в командной строке
Мы продолжаем работу с данными — переходим от загрузки к обработке. В этой главе мы используем библиотеку командной строки csvkit для конвертации, просмотра, фильтрации и преобразования файлов, подготавливая данные к дальнейшему анализу.
3
Операции с базами данных в командной строке
В этой главе мы подробнее изучим возможности библиотеки csvkit. Особое внимание уделим операциям с базами данных в командной строке: созданию таблиц, извлечению данных и различным ETL-преобразованиям.
4
Конвейер данных в командной строке
В заключительной главе мы наладим взаимодействие между командной строкой и другими языками для анализа данных. На примере Python вы научитесь запускать Python из командной строки, устанавливать зависимости с помощью менеджера пакетов pip и строить полноценный конвейер модели прямо в командной строке.
S
Обработка данных в командной строке
Курс
завершён
