NoSQL-databases: wat elke data scientist moet weten

We verkennen een compleet overzicht van de ins en outs van NoSQL-databases voor data scientists.

Data science en NoSQL-databases

Data scientist zijn draait niet alleen om het bouwen van machine learning-modellen, maar ook om het kunnen verwerken, analyseren en beter communiceren van je resultaten op basis van data in verschillende formaten.

Jarenlang werden traditionele SQL-databases als het enige type database gebruikt. Door de enorme populariteit van het internet halverwege de jaren 90 en de digitale transformatie kwam er echter een nieuw datatype op de voorgrond: NoSQL-databases. Ze werden geïntroduceerd als antwoord op de zwaktes van traditionele SQL-databases. 

NoSQL-databases kunnen bijvoorbeeld door data scientists en machine learning-engineers worden gebruikt voor het opslaan van data, modelmetadata, features en operationele parameters. Data engineers kunnen ze op hun beurt inzetten voor het opslaan en ophalen van opgeschoonde data. 

In deze conceptuele blog (geen code nodig) bouwen we eerst je begrip van NoSQL-databases op voordat we het belang van NoSQL verkennen. We vergelijken ook SQL- en NoSQL-databases en bekijken de toepassingen en categorieën van die laatste. Tot slot bespreken we de populairste NoSQL-databases voor data scientists.

Wat zijn NoSQL-databases?

NoSQL staat voor Not Only SQL, wat betekent dat NoSQL-databases de specificiteit hebben dat ze niet-relationeel zijn omdat ze data ongestructureerd kunnen opslaan. De volgende grafiek licht de vijf belangrijkste kenmerken van NoSQL-databases uit.

Waarom zijn NoSQL-databases belangrijk?

NoSQL-databases zijn populair geworden in het bedrijfsleven vanwege de volgende voordelen:

• Multimodale data: NoSQL-databases bieden meer flexibiliteit dan traditionele SQL-databases omdat ze gestructureerde (bijv. data van sensoren), ongestructureerde (afbeeldingen, video’s, enz.) en semi-gestructureerde (XML, JSON, enz.) data kunnen opslaan.
• Eenvoudige schaalbaarheid: dit is eenvoudig dankzij hun peer-to-peer-architecturen, wat betekent dat meerdere machines aan de architectuur kunnen worden toegevoegd.
• Wereldwijde beschikbaarheid: hierdoor is het mogelijk om dezelfde data gelijktijdig te benaderen via verschillende machines vanuit verschillende geografische zones, omdat de database wereldwijd wordt gedeeld.
• Flexibiliteit: NoSQL-databases kunnen zich snel aanpassen aan veranderende eisen met frequente updates en nieuwe features.

NoSQL-databases vs. SQL-databases

Wanneer moeten NoSQL-databases worden gebruikt?

In deze snelgroeiende en competitieve omgeving moeten organisaties zoveel mogelijk data verzamelen om hun zakelijke doelen te behalen. Data verzamelen is één ding, maar ze in de juiste infrastructuur opslaan is een andere uitdaging. De moeilijkheid komt doordat data verschillende typen kan hebben, zoals afbeeldingen, video’s, tekst en geluid. Het gebruik van relationele databases om deze verschillende datatypen op te slaan is niet altijd een slimme zet. De vraag blijft echter:

Wanneer gebruik je NoSQL in plaats van SQL?

Je zou NoSQL moeten overwegen in de volgende situaties:

• Constante verandering van data: wanneer je niet weet hoe je systeem of applicaties in de toekomst zullen groeien, wat betekent dat je nieuwe datatypen, nieuwe functies, enz. wilt kunnen toevoegen.
• Veel data: wanneer je bedrijf met enorme hoeveelheden data werkt die in de loop van de tijd kunnen groeien.
• Geen consistentie: wanneer dataconsistentie en 100% integriteit niet je hoogste prioriteit zijn. Als je bijvoorbeeld een socialmediaplatform voor je bedrijf ontwikkelt, is het misschien geen probleem dat niet alle medewerkers je berichten tegelijk zien.
• Schaalbaarheid en kosten: NoSQL-databases bieden meer flexibiliteit en kunnen de kosten beheersen naarmate je databehoeften veranderen.

4 belangrijkste typen NoSQL-databases

NoSQL-databases zijn onderverdeeld in vier hoofdcategorieën. Elk heeft zijn eigen specificiteit, dus kies degene die het beste past bij jouw usecase: hieronder lichten we de belangrijkste voorbeelden van NoSQL-databases uit. Dit onderdeel behandelt elk van deze databases door hun rol, een niet-uitputtende lijst van voordelen en beperkingen, en hun usecases te geven.

1. Documentdatabases

Dit type database is ontworpen om JSON-, XML-, BSON-, enz. documenten op te slaan en te bevragen. Elk document is een rij of een record in de database en heeft een key-value-indeling. Een document slaat informatie op over één object en de bijbehorende data. De volgende database bevat bijvoorbeeld drie records, die elk informatie geven over een student. In het eerste document is firstname een key en Franck is de waarde.

Voordelen van documentdatabases

• Schemaless: er zijn geen beperkingen wat betreft formaat en structuur van de dataopslag. Dit is vooral gunstig wanneer er een continue transformatie in de database plaatsvindt.
• Eenvoudig bij te werken: nieuwe informatie kan worden toegevoegd of verwijderd zonder de rest van de bestaande velden van dat specifieke document te wijzigen.
• Betere performance: alle informatie over een document is te vinden in datzelfde document. Er is geen noodzaak om te verwijzen naar externe informatie, wat bij een relationele database wel het geval kan zijn, waar de gebruiker mogelijk andere tabellen moet raadplegen.

Beperkingen van documentdatabases

• Problemen met consistentiecontroles: omdat documenten niet per se een relatie met elkaar hoeven te hebben en twee documenten verschillende velden kunnen bevatten.
• Atomiciteitsproblemen: als we twee collecties documenten moeten wijzigen, moeten we voor elk document een aparte query uitvoeren.

Wanneer documentdatabases gebruiken

• Aanbevolen wanneer je dataschema in de toekomst voortdurend verandert.

Toepassingen van documentdatabases

• Door hun flexibiliteit zijn documentdatabases praktisch voor online gebruikersprofielen, waar verschillende gebruikers verschillende soorten informatie kunnen hebben. In dit geval wordt het profiel van elke gebruiker opgeslagen met alleen de attributen die specifiek voor hem of haar zijn.
• Ze kunnen worden gebruikt voor contentmanagement, dat een effectieve opslag vereist van data uit uiteenlopende bronnen. Die informatie kan vervolgens worden gebruikt om nieuwe contenttypen te creëren en te integreren.

2. Key-value-databases

Dit zijn de eenvoudigste typen NoSQL-databases. Elk item wordt in de database opgeslagen als een key-value-paar. Je kunt het zien als een tabel met precies twee kolommen. De eerste kolom bevat een unieke sleutel. De tweede kolom is de waarde voor elke sleutel. De waarden kunnen verschillende datatypen hebben, zoals integer, string en float, of complexere datatypen, zoals afbeelding en document.

Het volgende voorbeeld illustreert een key-value-database met informatie over klanten, waarbij de sleutel hun telefoonnummer is en de waarde hun maandelijkse aankoop.

Voordelen van key-value-databases

• Eenvoud: de key-value-structuur is rechttoe rechtaan. De afwezigheid van een strikt datatype maakt het eenvoudig in gebruik.
• Snelheid: het eenvoudige dataformaat maakt read- en write-operaties sneller.

Beperkingen van key-value-databases

• Ze kunnen geen filtering uitvoeren op de waardekolom omdat de geretourneerde waarde alle informatie is die in het waardeveld is opgeslagen.
• Ze zijn geoptimaliseerd voor één enkele key en value. Het opslaan van meerdere waarden vereist een parser.
• De waarde wordt alleen in zijn geheel bijgewerkt, wat vereist dat de volledige data wordt opgehaald, de vereiste bewerking daarop wordt uitgevoerd en vervolgens de gehele data weer wordt opgeslagen. Dit kan performanceproblemen opleveren wanneer de verwerking veel tijd kost.

Wanneer key-value-databases gebruiken

• Geschikt voor applicaties die zijn gebaseerd op eenvoudige key-gebaseerde queries.
• Gebruikt voor eenvoudige applicaties die tijdelijk eenvoudige objecten moeten opslaan, zoals cache.
• Ze kunnen ook worden gebruikt wanneer realtime data-toegang nodig is.

Toepassingen

• Ze zijn het meest geschikt voor eenvoudige applicaties die tijdelijk eenvoudige objecten moeten opslaan, zoals cache.

3. Wide-column-databases

Zoals de naam al aangeeft, worden kolomgeoriënteerde databases gebruikt om data op te slaan als een verzameling kolommen, waarbij elke kolom afzonderlijk wordt behandeld, en de implementatielogica is gebaseerd op de Google Bigtable-paper. Ze worden voornamelijk gebruikt voor analytische workloads zoals business intelligence, datawarehousebeheer en customer relationship management.

Zo kunnen we snel de gemiddelde leeftijd en gemiddelde prijs van respectievelijk klanten en producten ophalen met de aggregatiefunctie AVG op elke kolom.

4. Graph/node-databases

Graph-databases worden gebruikt om relaties tussen nodes via edges op te slaan, in kaart te brengen en te doorzoeken. Een node vertegenwoordigt een data-element, ook wel een object of entiteit genoemd. Elke node heeft een inkomende of uitgaande edge. Een edge vertegenwoordigt de relatie tussen twee nodes. Die edges bevatten eigenschappen die overeenkomen met de nodes die ze verbinden.

“Zoumana studeert aan Texas Tech University. Hij loopt graag hard in het park op de campus.”

Voordelen van graph/node-databases

• Ze zijn een wendbare en flexibele structuur.
• De relatie tussen nodes in de database is menselijk leesbaar en expliciet, en dus gemakkelijk te begrijpen.

Beperkingen van graph/node-databases

• Er is geen gestandaardiseerde querytaal omdat elke taal platformafhankelijk is.
• Daardoor is het lastig om online ondersteuning te vinden bij problemen.

Wanneer graph/node-databases gebruiken

• Ze zijn geschikt wanneer je relaties tussen data-elementen moet creëren en die relaties snel wilt kunnen ophalen.

Toepassingen

• Ze kunnen worden gebruikt voor geavanceerde fraudedetectie in realtime financiële transacties.
• Ze kunnen worden ingezet voor datamining op social media. LinkedIn gebruikt bijvoorbeeld een graph-database om te identificeren welke gebruikers elkaar volgen, en de relatie tussen die gebruikers en hun expertise (ML Engineer).
• Netwerkmapping leent zich goed voor representatie als een graaf, omdat die netwerken relaties in kaart brengen tussen hardware en de diensten die ze ondersteunen.

7 beste NoSQL-databases voor data science

Nu je een beter begrip hebt van NoSQL-databases, bekijken we een lijst met NoSQL-databases die populair zijn voor data science-projecten. Deze analyse richt zich uitsluitend op open-source NoSQL-databases.

1. MongoDB

MongoDB is een open-source, documentgeoriënteerde database die data in JSON-formaat opslaat. Het is de meest gebruikte database en is ontworpen voor hoge beschikbaarheid en schaalbaarheid, met auto-sharding en ingebouwde replicatie. Onze Introductie tot MongoDB-cursus behandelt het gebruik van MongoDB en Python. Je leert er flexibiliteitvaardig gestructureerde data te manipuleren en analyseren met MongoDB. Uber, LaunchDarkl, Delivery Hero en 4300 bedrijven gebruiken MongoDB in hun techstack.

2. Cassandra 

Cassandra is ook een open-source wide-column-database. Het kan je data over meerdere machines verdelen en automatisch herpartitioneren wanneer je nieuwe machines aan je infrastructuur toevoegt. Uber, Facebook, Netflix en 506 andere bedrijven gebruiken het in hun techstack.

3. Elasticsearch

Net als MongoDB is Elasticsearch ook een documentgeoriënteerde en open-source database. Het is een toonaangevende zoek- en analysetool met focus op schaalbaarheid en snelheid. Uber, Shopify, Udemy en zo’n 3760 andere bedrijven gebruiken het in hun stack.

4. Neo4J

Neo4J is een open-source, graafgeoriënteerde database. Het wordt vooral gebruikt voor het werken met groeiende data met relaties. Ongeveer 220 bedrijven gebruiken het naar verluidt in hun techstack.

5. HBase

Dit is een gedistribueerde en kolomgeoriënteerde database. Het biedt dezelfde mogelijkheden als Google’s BigTable bovenop Apache Hadoop. Naar verluidt gebruiken 81 bedrijven HBase in hun techstack.

6. CouchDB

CouchDB is ook een open-source, documentgeoriënteerde database die data in JSON-formaat verzamelt en opslaat. Ongeveer 84 bedrijven gebruiken het in hun techstack.

7. OrientDB

Ook een open-source database: OrientDB is een multimodeldatabase die graph-, document-, key-value- en objectmodellen ondersteunt. Slechts 13 bedrijven gebruiken het naar verluidt in hun techstack.

Conclusie

Deze blog heeft de belangrijkste aspecten van NoSQL-databases behandeld en hoe ze waardevol kunnen zijn voor je data science-projecten in de snelgroeiende omgevingen van vandaag. Je hebt nu alle tools tot je beschikking om de juiste database voor jouw usecase te kiezen en te implementeren. Als je nog twijfelt of je ze moet gebruiken, is dit het moment voor jou en je teamgenoten om de kracht van deze databases te benutten. 

Wil je meer leren? Onze cursus over NoSQL-concepten verdiept je kennis over de vier grote databases die we eerder hebben behandeld.