After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Набори даних часто більші за доступну оперативну пам'ять, що створює проблеми для R-розробників, адже за замовчуванням усі змінні зберігаються в пам'яті. Ви навчитеся інструментів для обробки, дослідження та аналізу даних безпосередньо з диска. Ви також реалізуєте підхід split-apply-combine і дізнаєтеся, як писати масштабований код за допомогою пакетів bigmemory та iotools. У цьому курсі ви використаєте дані Федерального агентства з іпотечного кредитування (Federal Housing Finance Agency) — публічний набір даних про всі іпотеки, які утримувалися або сек'юритизувалися Федеральною національною іпотечною асоціацією (Fannie Mae) та Федеральною іпотечною корпорацією житлового будівництва (Freddie Mac) у 2009–2015 роках.
Попередні вимоги
Навчальний план
Зміст курсу
1
Робота з дедалі більшими наборами даних
У цьому розділі ми розглянемо, чому слід застосовувати нові техніки, коли набори даних більші за доступну ОЗП. Пояснимо, що імпорт і експорт даних за допомогою базових функцій R можуть бути повільними, і покажемо прості способи це виправити. Нарешті, представимо пакет bigmemory.
- Що таке масштабоване опрацювання даних?50 XP
- Чому ваш код повільний?50 XP
- Як змінюється час обробки залежно від розміру даних?100 XP
- Робота з «out-of-core» об'єктами за допомогою проєкту bigmemory50 XP
- Зчитування об'єкта big.matrix100 XP
- Приєднання об'єкта big.matrix100 XP
- Створення таблиць з об'єктами big.matrix100 XP
- Підсумок даних за допомогою bigsummary100 XP
- Посилання проти копій50 XP
- Копіювання матриць і великих матриць100 XP
2
Обробка й аналіз даних з bigmemory
Тепер, коли ви вже маєте досвід роботи з bigmemory, розглянемо прості прийоми дослідження та аналізу даних. Зокрема, подивимося, як створювати таблиці та реалізовувати підхід split-apply-combine.
3
Робота з iotools
Ми використаємо пакет iotools, який уміє обробляти як числові, так і рядкові дані, та познайомимося з концепцією пакункової (chunk-wise) обробки.
4
Кейс-стаді: попередній аналіз житлових даних
У попередніх розділах ми представили житлові дані та показали, як обчислювати з даними, розмір яких дорівнює або перевищує обсяг ОЗП однієї машини. У цьому розділі проведемо попередній аналіз даних і порівняємо різні тенденції з часом.
R
Масштабована обробка даних в R
Курс
завершено
