Data importeren in R: een complete gids

Aan de slag met data importeren in R

R is een veelzijdige statistische tool. In vergelijking met andere software zoals Microsoft Excel biedt R sneller data inladen, geautomatiseerde opschoning en diepgaande statistische en voorspellende analyses. Dit alles doe je met open-source R-packages, en we gaan leren hoe je die gebruikt om verschillende soorten datasets te importeren. 

We gebruiken DataLab om codevoorbeelden uit te voeren. Het wordt geleverd met vooraf geïnstalleerde packages en de R-omgeving. Je hoeft niets te configureren en kunt binnen enkele seconden beginnen met coderen. Het is een gratis dienst en bevat een grote selectie aan datasets. 

Werk je liever lokaal? Bekijk dan onze gids over R installeren op Windows, Mac en Ubuntu.

Benodigde packages installeren

Na het openen van het DataLab-werkboek moet je een paar packages installeren die minder populair zijn, maar nodig om SAS-, SPSS-, Stata- en Matlab-bestanden te laden. 

De Tidyverse-collectie bevat diverse packages waarmee je platte bestanden kunt inlezen, data opschonen, manipuleren en visualiseren, en meer.

We kunnen packages één voor één installeren met de functie install.packages(). 

install.packages('tidyverse',dependency=T)

We kunnen ook meerdere packages tegelijk installeren door de packages in de functie c() te zetten. Na het installeren laad je ze in je lokale omgeving met library(). In dit geval heb ik library() in suppressPackageStartupMessages() gezet voor een kortere output. 

install.packages(c('quantmod','ff','foreign','R.matlab'),dependency=T)

suppressPackageStartupMessages(library(tidyverse))

Je ziet dat ik ervoor heb gezorgd om dependencies te installeren met de parameter dependency=T in de functie install.packages().

TL;DR

• Gebruik readr::read_csv() voor CSV-bestanden en readxl::read_excel() voor Excel-bestanden; beide maken deel uit van de tidyverse

• rjson::fromJSON() verwerkt JSON, terwijl RSQLite en DBI verbinding maken met SQL-databases

• De package haven leest SAS- (.sas7bdat), SPSS- (.sav) en Stata- (.dta) bestanden

• xml2 en rvest parsen XML en scrapen HTML-tabellen van het web

• Voor grote bestanden (1 GB+) is data.table::fread() de snelste optie

Data importeren in R uit veelgebruikte bestandstypen

Deze tutorial behandelt veelgebruikte CSV-, TXT-, Excel-, JSON-, database- en XML/HTML-bestanden in R. Ik ga ook in op minder gangbare formaten zoals SAS, SPSS, Stata, Matlab en binaire bestanden, plus hoe je HTML-tabellen en XML-gegevens van het web kunt scrapen.  

Snelle referentie: importfuncties per bestandstype

Data importeren in R uit CSV- en TXT-bestanden

Laten we beginnen met twee van de meest gebruikte dataformaten: CSV en TXT.

Een CSV-bestand importeren in R

In deze sectie lezen we data in R door een CSV-bestand van Hotel Booking Demand te laden. Deze dataset bestaat uit boekingsdata van een stadshotel en een resort. Om het CSV-bestand te importeren gebruiken we de functie read_csv() uit de package readr. Net als in Pandas moet je de locatie van het bestand opgeven om het te verwerken en als dataframe te laden. 

Je kunt ook de functies read.csv() of read.delim() uit de utils-package gebruiken om CSV-bestanden te laden. 

data1 <- read_csv('data/hotel_bookings_clean.csv',show_col_types = FALSE)
head(data1, 5)

Vergelijkbaar met read_csv() kun je ook de functie read.table() gebruiken om het bestand te laden. Zorg dat je een scheidingsteken zoals een komma toevoegt en header = 1. Daarmee wordt de eerste rij als kolomnamen gebruikt in plaats van V1, V2, ...

data2 <- read.table('data/hotel_bookings_clean.csv', sep=",", header = 1)
head(data2, 5)

Een TXT-bestand importeren in R

In dit deel gebruiken we de dataset Drake Lyrics om een tekstbestand te laden. Het bestand bestaat uit songteksten van zanger Drake. We kunnen de functie readLines() gebruiken om het eenvoudige bestand te laden, maar we moeten extra stappen zetten om het naar een dataframe om te zetten. 

Afbeelding door auteur | Tekstbestand

We gebruiken de alternatieve functie van read.table, read.delim(), om het tekstbestand als een R-dataframe te laden. Andere alternatieven voor read.table zijn read.csv, read.csv2 en read.delim2.

Let op: standaard worden waarden gescheiden op Tab (sep = "\t")

Het tekstbestand bestaat uit songteksten en heeft geen koprij. Om alle songteksten in één rij weer te geven, moeten we header = F instellen. 

Je kunt ook andere parameters gebruiken om je dataframe aan te passen, bijvoorbeeld de parameter fill, die lege velden toevoegt aan rijen met ongelijke lengte.

Lees de documentatie om alle parameters van de alternatieve functies van read.table te leren kennen.  

data3 <- read.delim('data/drake_lyrics.txt',header = F)
head(data3, 5)

Data uit Excel importeren in R

In deze sectie gebruiken we de dataset Tesla Deaths van Kaggle om vanuit Excel in R te importeren. De dataset gaat over tragische Tesla-ongelukken met dodelijke afloop voor bestuurder, inzittende, fietser of voetganger. 

De dataset bevat een CSV-bestand, en we gebruiken MS Excel om dit te converteren naar een Excel-bestand, zoals hieronder getoond. 

Afbeelding door auteur

We gebruiken de functie read_excel() uit de package readxl om één werkblad uit een Excel-bestand te lezen. De package hoort bij tidyverse, maar is er geen kernonderdeel van, dus je moet de package laden voordat je de functie gebruikt. 

De functie vereist de locatie van de data en het bladnummer. We kunnen ook aanpassen hoe ons dataframe eruitziet door de beschrijving van andere parameters in de documentatie van read_excel te lezen.

library(readxl)
data4 <- read_excel("data/Tesla Deaths.xlsx", sheet = 1)
head(data4, 5)

Data importeren uit een JSON-bestand

In dit deel laden we JSON in R met een bestand uit de dataset Drake Lyrics. Het bevat songteksten, songtitel, albumtitel, URL en weergaven van Drake-nummers. 

Afbeelding door auteur

Om een JSON-bestand te laden gebruiken we de package rjson en fromJSON() om het JSON-bestand te parsen. 

library(rjson)
JsonData <- fromJSON(file = 'data/drake_data.json')
print(JsonData[1])

Output:

[[1]]
[[1]]$album
[1] "Certified Lover Boy"

[[1]]$lyrics_title
[1] "Certified Lover Boy* Lyrics"

[[1]]$lyrics_url
[1] "https://genius.com/Drake-certified-lover-boy-lyrics"

[[1]]$lyrics
[1] "Lyrics from CLB Merch\n\n[Verse]\nPut my feelings on ice\nAlways been a gem\nCertified lover boy, somehow still heartless\nHeart is only gettin' colder"

[[1]]$track_views
[1] "8.7K"

Om de JSON-data naar een R-dataframe te converteren gebruiken we de base R-functie as.data.frame(). 

data5 = as.data.frame(JsonData[1])
data5

Data importeren uit een database met SQL in R

In dit deel gebruiken we de Kaggle-dataset Mental Health in the Tech Industry om SQLite-databases te laden met R. Om data uit databases te halen met SQL-queries gebruiken we de package DBI en de SQLite-functie en maken we de connectie. Je kunt vergelijkbare syntax gebruiken om data uit andere SQL-servers te laden.  

We laden de package RSQLite en laden de database met de functie dbConnect. 

Let op: je kunt dbConnect gebruiken om data van MySQL, PostgreSQL en andere populaire SQL-servers te laden.

Na het laden van de database tonen we de namen van de tabellen.

library(RSQLite)

conn <- dbConnect(RSQLite::SQLite(), "data/mental_health.sqlite")
dbListTables(conn) # 'Answer''Question''Survey'

Om een query uit te voeren en de resultaten te tonen gebruiken we de functie dbGetQuery(). Voeg gewoon een SQLite-verbindingobject en SQL-query als string toe.  

dbGetQuery(conn, "SELECT * FROM Survey")

SQL binnen R gebruiken geeft je meer controle over data-inname en analyse.  

(data6 = dbGetQuery(conn, "SELECT * FROM Question  LIMIT 3"))

Leer meer over het uitvoeren van SQL-queries in R met de tutorial How to Execute SQL Queries in Python and R. Je leert er databases laden en SQL gebruiken met dplyr en ggplot. 

Data importeren uit XML- en HTML-bestanden

Vervolgens bekijken we hoe je data importeert uit twee van de populairste opmaaktalen: XML en HTML.

XML importeren in R

In deze sectie laden we plant_catalog-XML-data van w3schools met de package xml2. 

Let op: je kunt ook de XMLpackage-functie xmlTreeParse() gebruiken om de data te laden.  

Net als met de functie read_csv() kunnen we de XML-data laden door een URL-link naar de XML-site op te geven. De pagina wordt geladen en de XML-data geparset.

library(xml2)

plant_xml <- read_xml('https://www.w3schools.com/xml/plant_catalog.xml')
plant_xml_parse <- xmlParse(plant_xml)

Vervolgens kun je XML-data naar een R-dataframe omzetten met de functie xmlToDataFrame(). 

1. Extraheer een knoopverzameling uit de XML-data. 

• Het eerste argument is doc, het object van de klasse XMLInternalDocument. 

• Het tweede argument is path, een string met de XPath-expressie die je wilt evalueren.

2. Voeg plant_node toe aan de functie xmlToDataFrame() en toon de eerste vijf rijen van het R-dataframe. 

plant_nodes= getNodeSet(plant_xml_parse, "//PLANT")

data9 <- xmlToDataFrame(nodes=plant_nodes)
head(data9,5)

Een HTML-tabel importeren in R

Dit deel is leuk: we scrapen de Wikipedia-pagina van het Argentijns voetbalelftal om de HTML-tabel te extraheren en met een paar regels code om te zetten naar een dataframe. 

Afbeelding van Wikipedia

Om een HTML-tabel te laden gebruiken we de packages XML en RCurl. We geven de Wikipedia-URL aan de functie getURL() en voegen het object daarna toe aan de functie readHTMLTable(), zoals hieronder. 

De functie haalt alle HTML-tabellen van de website op; we hoeven ze alleen nog individueel te bekijken om de gewenste te selecteren. 

library(XML)
library(RCurl)

url <- getURL("https://en.wikipedia.org/wiki/Brazil_national_football_team")
tables <- readHTMLTable(url)
data7 <- tables[31]

data7$`NULL`

Bovendien kun je de package rvest gebruiken om HTML via een URL te lezen, alle tabellen te extraheren en die als dataframe weer te geven. 

• read_html(URL) om HTML-data van websites te halen.

• html_nodes(file, "table") om tabellen uit HTML-data te extraheren.

• html_table(tables[25]) om HTML-tabellen naar een dataframe te converteren. 

library(rvest)

url <- "https://en.wikipedia.org/wiki/Argentina_national_football_team"
file <- read_html(url)
tables <- html_nodes(file, "table")
data8 <- html_table(tables[25])

View(data8)

Loop je tegen problemen aan tijdens de tutorial? Bekijk dan het DataLab-werkboek met alle code voor deze tutorial. Maak een kopie en ga meteen oefenen. 

Data importeren in R uit andere bestandstypen

De andere, minder populaire maar essentiële bestandstypen komen uit statistische software, Matlab en binaire data. 

Data importeren uit een SAS-bestand

In deze sectie gebruiken we de package haven om SAS-bestanden te importeren. Je kunt de data downloaden van de blog van GeeksforGeeks. Met haven kun je SAS-, SPSS- en Stata-bestanden met minimale code in R laden. 

Geef de bestandsmap op aan de functie read_sas() om het .sas7bdat-bestand als dataframe te laden. Lees de documentatie van de functie om meer te leren.

library(haven)
 
data10 <- read_sas('data/lond_small.sas7bdat')

# data weergeven
head(data10,5)

Data importeren uit een SPSS-bestand

Zoals we al weten, kunnen we met de package haven ook SPSS-bestanden in R laden. Je kunt de data downloaden van de blog van GeeksforGeeks en de functie read_sav() gebruiken om het SPSS-sav-bestand te laden. 

De functie vereist de bestandsmap als string en je kunt je dataframe aanpassen met extra argumenten zoals encoding, col_select en compress.

library(haven)
 
data11 <- read_sav("data/airline_passengers.sav")                       
head(data11,5)

Je kunt ook de package foreign gebruiken om een .sav-bestand als dataframe te laden met de functie read.spss(). De functie vereist slechts twee argumenten: file en to.data.frame. Lees meer over andere argumenten in de documentatie van de functie. 

Let op: met de package foreign kun je ook Minitab-, S-, SAS-, SPSS-, Stata-, Systat-, Weka- en Octave-bestandsformaten laden.  

library("foreign")
 
data12 <- read.spss("data/airline_passengers.sav", to.data.frame = TRUE)
head(data12,5)

Stata-bestanden importeren in R

In dit deel gebruiken we de package foreign om het Stata-bestand van ucla.edu te laden. 

De functie read.dta leest Stata-binaire bestanden van versies 5 t/m 12 en zet ze om naar een R-dataframe.

Let op: voor Stata-bestanden vanaf versie 13 gebruik je haven::read_dta(). De package haven ondersteunt alle Stata-versies en retourneert een tibble.

library("foreign")

data13 <- read.dta("data/friendly.dta")
head(data13,5)

Matlab-bestanden importeren in R

MATLAB is behoorlijk populair onder studenten en onderzoekers. Met de package R.matlab kunnen we het .mat-bestand laden, zodat we data-analyse en simulaties in R kunnen uitvoeren. 

Download de MATLAB-bestanden van Kaggle om het zelf te proberen.

library(R.matlab)

data14 <- readMat("data/cross_dsads.mat")
head(data14$data.dsads)

Binaire bestanden importeren in R

In dit deel maken we eerst een binair bestand en lezen we het vervolgens in met de functie readBin().

Let op: het codevoorbeeld is een aangepaste versie van de blog Working with Binary Files in R Programming.

Eerst maken we een dataframe met vier kolommen en vier rijen.

df = data.frame(
  "ID" = c(1, 2, 3, 4),
  "Name" = c("Abid", "Matt", "Sara", "Dean"),
  "Age" = c(34, 25, 27, 50),
  "Pin" = c(234512, 765345, 345678, 098567)
)

Maak daarna een connectieobject met de functie file(). 

con = file("data/binary_data.dat", "wb")

Schrijf de kolomnamen in het bestand met de functie writeBin().

writeBin(colnames(df), con)

Schrijf de waarden van elke kolom in het bestand.

writeBin(c(df$ID, df$Name, df$Age, df$Pin), con)

Sluit de connectie nadat je de data in het bestand hebt geschreven.

close(con)

Om het binaire bestand te lezen, maken we een connectie met het bestand en gebruiken we de functie readBin() om data als integer weer te geven. 

Gebruikte argumenten in de functie:

• conn: een connectieobject.

• what: een object waarvan de modus het type vector bepaalt dat wordt gelezen.

• n: het aantal records dat wordt gelezen.

con = file("data/binary_data.dat", "rb")
data15_1 = readBin(con, integer(), n = 25)

print(data15_1)

Output:

[1] 1308640329    6647137    6645569    7235920    3276849    3407923
[7] 1684628033 1952533760 1632829556 1140875634    7233893  838874163
[13]  926023733    3159296  892613426  922759729  875771190  875757621
[19]  943142453  892877056

Je kunt de data ook van binair naar string converteren door integer() te vervangen door character() in het argument what. 

Lees de documentatie van de functie readBin() voor meer informatie.

con = file("data/binary_data.dat", "rb")
data15_2 = readBin(con, character(), n = 25)

print(data15_2)

Output:

[1] "ID"     "Name"   "Age"    "Pin"    "1"      "2"      "3"      "4"    
[9] "Abid"   "Matt"   "Sara"   "Dean"   "34"     "25"     "27"     "50"   
[17] "234512" "765345" "345678" "98567" 

Leer hoe je platte bestanden, statistische software, databases of data rechtstreeks van het web importeert in onze cursus Intermediate Importing Data in R.

Data importeren in R met QuantMod

Quantmod is een framework voor financieel modelleren en traden in R. We gebruiken het om de nieuwste handelsdata te downloaden en te laden als dataframe. 

We gebruiken de functie getSymbols() van quantmod om historische data van het aandeel Google te laden door “from”- en “to”-data en “frequency” op te geven. Lees meer over de package quantmod in de documentatie.

library(quantmod)

getSymbols("GOOGL",
          from = "2022/12/1",
          to = "2023/1/15",
          periodicity = "daily")
# 'GOOGL'

De data is geladen in een object GOOGL, en we kunnen de eerste vijf rijen bekijken met de functie head(). 

head(GOOGL,5)

Output:

GOOGL.Open GOOGL.High GOOGL.Low GOOGL.Close GOOGL.Volume
2022-12-01     101.02     102.25    100.25      100.99     28687100
2022-12-02      99.05     100.77     98.90      100.44     21480700
2022-12-05      99.40     101.38     99.00       99.48     24405100
2022-12-06      99.30      99.78     96.42       96.98     24910700
2022-12-07      96.41      96.88     94.72       94.94     31045400
          GOOGL.Adjusted
2022-12-01         100.99
2022-12-02         100.44
2022-12-05          99.48
2022-12-06          96.98
2022-12-07          94.94

Grote datasets importeren in R

Een groot bestand importeren is lastig. Je moet ervoor zorgen dat de functie is geoptimaliseerd voor geheugenefficiënte opslag en snelle toegang. 

In deze sectie bekijken we populaire functies om CSV-bestanden groter dan 1 GB te laden. We gebruiken de Kaggle-dataset US Accidents (2016 - 2021), ongeveer 1,15 GB groot met 2.845.342 records. 

Een grote dataset importeren in R met read.table()

We kunnen het zip-bestand direct in de functie utils read.table() laden met de functie unz. Dat scheelt tijd: je hoeft het CSV-bestand niet eerst uit te pakken. 

1. Geef unz de zip-map en het CSV-bestand in de zip.

2. Voeg daarna het unz-object toe aan de functie read.table().

3. Om sneller te laden beperken we nrows tot 10.000.

4. Standaard worden waarden op spatie gescheiden, dus geef een argument sep met een komma op. 

file <- unz("data/US Accidents.zip", "US_Accidents_Dec21_updated.csv")

(data16 <- read.table(file, header=T, sep=",",nrow=10000))

Een grote dataset importeren in R met read.csv()

Vergelijkbaar met read.table() kunnen we de functie read_csv() uit readr gebruiken om het CSV-bestand te laden. In plaats van nrow gebruiken we n_max om een beperkt aantal records te lezen.  

In ons geval beperken we de data niet en laten we de functie alles laden. 

Let op: het duurde bijna een minuut om alle data te laden. Je kunt het aantal threads aanpassen om de laadtijd te verkorten. Lees meer in de documentatie van de functie.

(data17 <- read_csv('data/US_Accidents_Dec21_updated.csv'))

Een grote dataset importeren met de ff-package

We kunnen ook de package ff gebruiken om laadtijd en opslag te optimaliseren. De functie read.table.ffdf() laadt data in stukken, wat de laadtijd verkort.

We pakken eerst het bestand uit en lezen de data met de functie read.table.ffdf(). 

unzip('data/US Accidents.zip',exdir='data')

library(ff)

data18 <- read.table.ffdf(file="data/US_Accidents_Dec21_updated.csv",
                          nrows=10000,
                          header = TRUE,
                          sep = ',')
data18[1:5,1:25]

Tot slot bekijken we de meest gebruikte functie fread() uit de package data.table om de eerste 10.000 rijen te lezen. De functie kan het bestandsformaat automatisch herkennen, maar in zeldzame gevallen moet je een argument sep opgeven.

Voor een diepere duik in de syntax en bewerkingen van data.table, bekijk onze data.table R Tutorial.

library(data.table)

(data19 <- fread("data/US_Accidents_Dec21_updated.csv",
              sep=',',
              nrows = 10000,
              na.strings = c("NA","N/A",""),
              stringsAsFactors=FALSE
              ))

Parquet-bestanden importeren met Arrow

Parquet is een kolomgeoriënteerd opslagformaat dat steeds vaker wordt gebruikt voor grote analytische datasets. De package arrow leest Parquet-bestanden in R met hoge performance en laag geheugenverbruik.

library(arrow)

parquet_data <- read_parquet("data/example.parquet")
head(parquet_data, 5)

Arrow ondersteunt ook lezen vanaf S3-buckets en Google Cloud Storage. Voor datasets die te groot zijn om in het geheugen te passen, gebruik je open_dataset() om bestanden in stukken te verwerken zonder alles in één keer te laden.

Datasetreferentie

Wil je de codevoorbeelden zelf proberen? Hier is de lijst met alle datasets die in de tutorial zijn gebruikt.

1. CSV: Hotel Booking Demand
2. TXT: Drake Lyrics
3. Excel: Tesla Deaths
4. JSON: Drake Lyrics
5. SQL DB: Mental Health in the Tech Industry
6. XML: w3schools
7. HTML: Argentina national football team
8. SAS: SAS Files - GeeksforGeeks
9. SPSS: SPSS Files - GeeksforGeeks
10. Stata: Applied Regression Analysis by Fox Data Files
11. Matlab: Cross-position activity recognition | Kaggle
12. Grote dataset: US Accidents (2016 - 2021)

Tot slot

R kan standaard met een breed scala aan dataformaten overweg, van CSV en Excel tot SQL-databases en statistische softwarebestanden. Zodra je data is geladen, kun je aan de slag met opschonen in de cursus Cleaning Data in R, en daarna met exploratieve analyse en visualisatie.

In deze tutorial hebben we geleerd hoe je allerlei soorten datasets laadt met populaire R-packages voor betere opslag en prestaties. Wil je je data science-carrière met R starten? Bekijk dan onze Data Scientist with R-carrièretrack. Die bestaat uit 24 interactieve cursussen die je alles leren over R-programmeren, statistische analyse, datahandling en voorspellende analyse. Je kunt na afloop ook een certificeringsexamen afleggen. 

Bekijk ook het Import Data Into R DataLab-werkboek met broncode, outputs en een datarepository. Maak een kopie en ga zelfstandig aan de slag.