Amazon Neptune: Ein Blick auf die vollständig verwaltete Graph-Datenbank von AWS

Amazon Neptune ist ein vollständig verwalteter Graphen-Datenbankdienst von AWS, der für die Speicherung und Abfrage von stark vernetzten Daten wie sozialen Netzwerken entwickelt wurde, falls du ihn noch nicht kennst. Sie ist für Szenarien optimiert, in denen die Beziehungen zwischen den Datenpunkten genauso wichtig sind wie die Daten selbst.

Wie du später noch sehen wirst, Amazon Neptune unterstützt zwei wichtige Graphenmodelle: Eigenschaftsgraphen, die Knoten und Kanten mit Schlüsselwerteigenschaften haben, und RDF (Resource Description Framework), das Triples von Subjekt-Prädikat-Objekt enthält. Amazon Neptune ist mit drei wichtigen Abfragesprachen kompatibel, wie Gremlin, openCypher und SPARQL. Das ist alles sehr aufregend, also lass uns loslegen.

Was ist Amazon Neptun?

Wie ich bereits erwähnt habe, Amazon Neptune ist eine speziell entwickelte Graphdatenbank für die schnelle Abfrage von Beziehungen, die Milliarden von Knoten und Kanten mit geringer Latenzzeit verarbeitet. Es unterstützt Eigenschaftsgraphen, die aufgrund ihrer Flexibilität für Sozial-, Empfehlungs- und Netzwerkanalysen verwendet werden, sowie RDF, den Standard für das semantische Web, Wissensgraphen und Linked Data im Allgemeinen.

Amazon Neptune wird in mehreren AWS-Regionen eingesetzt, um eine globale Reichweite und Notfallwiederherstellung zu gewährleisten. Und falls du dich fragst: Es ist sicher, denn es erfüllt wichtige gesetzliche Standards wie HIPAA für das Gesundheitswesen, PCI DSS für den Zahlungsverkehr und ISO für die allgemeine Sicherheit. Das macht ihn geeignet für sensible und regulierte Arbeitslasten. Wenn du mehr über Graphdatenbanken erfahren möchtest, lies unsere Was ist eine Graphdatenbank? A Beginner's Guide blog post.

Wie funktioniert Amazon Neptun?

Die Datenbank-Engine von Amazon Neptune basierte ursprünglich auf Blazegraph und wurde nun von AWS weiterentwickelt und verbessert, um eine hohe Leistung und Zuverlässigkeit zu gewährleisten. Es unterstützt mehrere Abfragesprachen wie Gremlin, das zum Traversieren von Eigenschaftsgraphen (Finden von Freunden in einem Community-Graphen) verwendet wird, openCypher für eine deklarative SQL-ähnliche Syntax für Eigenschaftsgraphen-Abfragen und SPRQL für die Abfrage von RDF-Daten und die Unterstützung semantischer Beziehungen und Ontologien.

Neptune speichert seine Daten auf SSD-gestützten Cluster-Volumes, die aus Gründen der Langlebigkeit über mehrere Verfügbarkeitszonen hinweg repliziert werden, was den Speicher besonders schnell und reaktionsschnell für die Produktanforderungen macht. Außerdem unterstützt es bis zu 15 Read Replicas, um den Leseverkehr zu verteilen und die Verfügbarkeit zu erhöhen. Das bedeutet, dass Neptune automatisch auf eine Lesekopie umschaltet.

Außerdem verwaltet AWS Hardware, Software-Updates und Backups effizient. Neptune ist also eine sehr gute Wahl, um fehlertolerante, selbstheilende Speicher zu gewährleisten. Nimm an unserem AWS-Konzepte-Kurs teil, um tiefer gehende Erklärungen und ein besseres Verständnis von AWS zu erhalten.

Hauptmerkmale von Amazon Neptune

Amazon Neptune ist reich an Funktionen und Vorteilen, die es zu einer guten Wahl für die Branche machen. In diesem Abschnitt gehe ich mit dir die wichtigsten Funktionen von Neptune durch, die du beachten solltest.

Skalierbarkeit und Leistung

Amazon Neptune skaliert wirklich gut, abhängig von deiner Nutzung, mit einem vielversprechenden Leistungsausgleich. Dabei erhöht es automatisch den Speicherplatz, wenn deine Daten auf 64 TB oder mehr anwachsen, es unterstützt Zehntausende von Abfragen pro Sekunde mit einem hohen Durchsatz und liefert Echtzeit-Antworten mit Millisekunden-Latenz für interaktive Anwendungen, selbst in großen, komplexen Graphen, da es Milliarden von Beziehungen effizient verarbeitet.

Sicherheit und Compliance

Die Leistung von Neptune geht nicht auf Kosten der Sicherheit, da alle Daten im Ruhezustand mit AWS KMS und während der Übertragung mit TLS verschlüsselt werden. Die Bereitstellung erfolgt innerhalb einer VPC für ein privates und sicheres Netzwerk und die Berechtigungen werden mit AWS IAM-Rollen und -Richtlinien fein abgestuft. Dies wird auch durch die Einhaltung gesetzlicher Vorschriften bewiesen, da es für HIPAA, PCI DSS und ISO zertifiziert ist, was es für regulierte Branchen geeignet macht.

AWS-Integration

Es ist keine Überraschung, dass sich Amazon Neptune gut in verschiedene AWS-Dienste und das gesamte Ökosystem integrieren lässt. So kannst du zum Beispiel große Datensätze einfach und effizient mit Amazon S3 importieren und exportieren, die Leistung überwachen, Alarme einstellen und Protokolle auf Amazon CloudWatch analysieren, serverlose Funktionen auf der Grundlage von Datenbankereignissen auf AWS Lambda auslösen und Anwendungen auf EC2-Instanzen ausführen, die mit Neptune verbunden sind.

Außerdem ist Neptune ein großartiges Werkzeug für ML-Aufgaben, da es sich gut mit Amazon SageMaker verbinden lässt, um maschinelles Lernen für erweiterte Analysen zu integrieren. Tatsächlich gibt es eine spezielle Nutzung von Neptune ML, für eingebautes maschinelles Lernen für Aufgaben wie Linkvorhersage und Knotenklassifizierung.

Anwendungen von Amazon Neptune

Amazon Neptune ist voller Funktionalitäten, die für eine Vielzahl von Aufgaben genutzt werden können. In diesem Abschnitt werde ich mehr über die praktischen Anwendungen von Neptune sprechen.

Identitätsgraphen und Kundendaten

Die Fähigkeit von Neptune, Graphdaten zu speichern und abzufragen, macht es zu einem geeigneten Werkzeug, um Kundendaten aus verschiedenen Quellen zu einem einheitlichen Profil zusammenzufassen. Sie nutzt Beziehungsdaten, um Empfehlungen und Mitteilungen anzupassen, was für ihre Personalisierung steht. Sie eignet sich auch hervorragend für die Betrugserkennung, z. B. zur Identifizierung von Kreditkartenbetrug. Dies geschieht, indem verdächtige Muster durch die Analyse von Verbindungen zwischen Nutzern, Konten und Transaktionen identifiziert werden. Außerdem eignet sich die Datenstruktur hervorragend für zielgerichtete Werbung, um durch die Analyse von Nutzerprofilen relevante Anzeigen zu schalten.

Empfehlung Motoren

Empfehlungsmaschinen stützen sich in der Regel stark auf Graphdaten, was die Auswahl einer geeigneten Maschine zu einem entscheidenden Schritt in der Produktion macht. Daher bietet Neptune den perfekten Werkzeugkasten für Empfehlungssysteme. Eine solche Anwendung ist der E-Commerce, bei dem die Lösung Produkte auf der Grundlage des Nutzerverhaltens und der Artikelbeziehungen vorschlagen soll. Sie wird auch in Medienplattformen eingesetzt, um Filme, Musik oder Artikel auf der Grundlage der Vorlieben und sozialen Verbindungen der Nutzer/innen zu empfehlen, oder um Freunde, Gruppen oder Inhalte vorzuschlagen, indem die Interaktionen der Nutzer/innen in sozialen Netzwerken analysiert werden, wie bei Social Media Plattformen.

Wissensgraphen und Betrugsaufdeckung

Unternehmen setzen heutzutage stark auf die Integration von KI in ihre Lösungen. Ein Beispiel dafür ist der Einsatz von agentenbasierten Workflows oder KI-gesteuerten Erkenntnissen. Für robuste Lösungen wird dies in der Regel mit Wissensgraphen gemacht. Sie organisiert und verknüpft Informationen für die semantische Suche und KI-gesteuerte Erkenntnisse, wie z.B. GraphRAG, oder verschiedene andere meist genutzte Techniken zur Verbesserung von KI-Lösungen. Neptune ist auch robust für semantische Suchanwendungen, um die Suchrelevanz zu verbessern, indem Beziehungen zwischen Entitäten verstanden werden, und für Finanzdienstleistungen, um z. B. Geldwäsche und Betrug aufzudecken, indem komplexe Transaktionsnetzwerke und Beziehungen nachverfolgt werden. Und es gibt noch viele andere Anwendungsfälle für Neptune, die sich auf die Arzneimittelforschung, die Netzwerksicherheit und das Lieferkettenmanagement erstrecken.

Erste Schritte mit Amazon Neptune

Amazon Neptune ist gut in das AWS-Ökosystem integriert. Deshalb gehe ich mit dir die wichtigsten Setups und Techniken durch, die du auf Neptun anwenden kannst.

Neptun einrichten

Um mit Neptune zu beginnen, solltest du die folgenden Schritte befolgen:

1. Öffne den Neptun-Bereich der Plattform

Dann klickst du auf Amazon Neptune starten, um zur Erstellungsseite zu gelangen.

Dieses Bild zeigt die Startseite von Amazon Neptune.

2. Konfiguriere die Optionen der Datenbank-Engine

Wähle den Provisioned-Engine-Typ, wenn du eine feste Kapazität mit manueller Skalierung wünschst, oder wähle Serverless, wenn du eine automatische Skalierung auf Basis der Workload-Nachfrage bevorzugst. Und du kannst die Version für deinen speziellen Anwendungsfall wählen.

Dieses Bild zeigt die Parameter, die du bei der Erstellung einer Datenbank in den Engine-Optionen auswählen kannst.

3. Gib einen Namen für deine Clusterkennung ein

Du kannst einen Namen wie "mydbcluster" wählen. Bitte halte dich an die Konventionen, die im Panel genannt werden.

4. Lege die Kapazitätsparameter fest

Lege die Grenzen der Neptun-Kapazitätseinheiten fest, auf die es während der Bearbeitung zugreifen kann. Einheiten mit mehr Kapazität kosten mehr Geld. Es ist also wichtig zu wissen, wie groß deine Bewerbung ist.

5. Wähle eine Vorlage

Du kannst Produktionsvorlagen wählen, wenn du vorkonfigurierte Instanzen für hohe Verfügbarkeit, Haltbarkeit und Leistung möchtest. Wenn du aber in der Entwicklungsphase arbeitest, empfehle ich dir, Entwicklungsvorlagen für eine optimierte Kosteneffizienz und schnelle Tests mit minimalen Ressourcen zu verwenden, da du die Hochverfügbarkeit und Haltbarkeit im Moment nicht so sehr brauchst.

Dieses Bild zeigt die Vorlageneinstellungen bei der Erstellung der Neptune-Datenbank. 

Sobald du eine der Vorlagen auswählst, werden die Einstellungen für Verfügbarkeit und Haltbarkeit automatisch ausgewählt. Wenn du eine Produktionsvorlage auswählst, wird die Erstellung von Replikaten in verschiedenen Zonen automatisch umgeschaltet, während dies bei der Entwicklungsvorlage nicht der Fall ist.

6. Konnektivitätseinstellungen

Wähle die Virtual Private Cloud (VPC) aus, in der das übergreifende Netzwerk deines Neptune-Clusters eingerichtet ist. Du kannst auch auf zusätzliche Konnektivitätskonfigurationen klicken, um die Subnetze und Sicherheitsgruppen zu konfigurieren.

Dieser Teil ist wichtig, um alle Sicherheitsprotokolle deines Clusters zu verwalten.

Du kannst eine schnelle Verbindung herstellen, indem du im Bereich "Notizbücher" auf der linken Seite deines Bildschirms auf "Notizbücher" klickst:

Standardmäßig gibt es dort ein Demo-Notizbuch, das grundlegende Abfragen enthält, um deine Datenbankverbindung und andere Aufgaben zu testen. Du kannst auch zum Graph Explorer wechseln, indem du auf Aktionen auf der rechten Seite deines Bildschirms klickst. Du kannst den bereitgestellten Endpunkt auch verwenden, um eine Verbindung von Anwendungen oder Entwicklungstools aus herzustellen.

Abfragen in Amazon Neptune schreiben

In diesem Abschnitt werde ich dir die "Hallo Welt"-Abfragen in jeder der drei Sprachen für AWS Neptune vorstellen:

Gremlin

Eine Gremlin-Abfrage ist eine Kette von Operationen/Funktionen, die von links nach rechts ausgewertet werden. Hier ist ein Beispiel für das Hinzufügen von zwei Eckpunkten und einer Kante:

g.addV('Person').property('id','1').property('name','Alice')
.as('a').
addV('Person').property('id','2').property('name','Bob')
.as('b').
addE('knows').from('a').to('b');

.addV('Person')…property(…) weist die Engine an, einen Knoten mit der Bezeichnung "Person" zu erstellen und weist ihm Eigenschaften wie "id" und "name" zu. .as('a') / .as('b') gibt jedem neuen Scheitelpunkt eine Referenz ("a" und "b"), damit du sie verbinden kannst. .addE('knows').from('a’).to('b') erstellt eine Kante mit der Bezeichnung knows von Alice zu Bob.

Hier ist ein Beispiel für den Abruf:

g.V().hasLabel('Person').valueMap('id','name');

g.V().hasLabel('Person').valueMap('id','name') findet alle Eckpunkte mit der Bezeichnung Person und gibt ihre Eigenschaften id und name zurück.

openCypher

Eine Cypher-Abfrage verwendet Muster im ASCII-Art-Stil, um Graphelemente zu erstellen und abzugleichen. Hier erfährst du, wie du zwei Knotenpunkte und eine Beziehung erstellst:

CREATE (a:Person {id: '1', name: 'Alice'}),
(b:Person {id: '2', name: 'Bob'})
CREATE (a)-[:KNOWS]->(b);

Dabei definiert (a:Person {…}) einen Knoten mit der Bezeichnung Person und den Eigenschaften id und name. Das zweite CREATE benutzt (a)-[:KNOWS]->(b), um eine gerichtete KNOWS Beziehung von a zu b hinzuzufügen.

Hier erfährst du, wie du sie abrufen kannst:

MATCH (p:Person)
RETURN p.id, p.name;

MATCH (p:Person) findet alle Knoten mit dem Label Person und RETURN p.id, p.name gibt die id und name der einzelnen Knoten aus.

SPARQL

Eine SPARQL-Abfrage funktioniert über RDF-Triples und verwendet PREFIX Deklarationen sowie Graphenmuster. Hier erfährst du, wie du zwei Ressourcen und ihre Beziehung zueinander einfügst:

PREFIX ex: <http://example.com/>
INSERT DATA {
ex:Alice a ex:Person ;
ex:name "Alice" .
ex:Bob a ex:Person ;
ex:name "Bob" .
ex:Alice ex:knows ex:Bob .
}

PREFIX ex:… definiert eine Namespace-Verknüpfung. Innerhalb von INSERT DATA endet jeder Tripelblock mit .: ex:Alice a ex:Person weist den RDF-Typ zu, ex:name "Alice" fügt das Namensliteral hinzu, und ex:Alice ex:knows ex:Bob erstellt den Link.

Hier erfährst du, wie du sie auswählst:

SELECT ?person ?name WHERE {
?person a ex:Person ;
ex:name ?name .
}

?person a ex:Person findet alle Fächer des Typs ex:Person und ?person ex:name ?name ruft deren ex:name in der Variable ?name ab. 

Überwachung und Optimierung

Wenn du CloudWatch richtig einsetzt, kannst du die Leistung von Neptune effizient überwachen, indem du die erweiterte Überwachung für ausgewählte Einblicke (bis zu 1-Sekunden-Intervalle) in CPU-, Speicher-, Festplatten- und Netzwerkmetriken aktivierst. Du kannst auch einige Metriken wie die CPU-Auslastung der Engine und den frei verfügbaren Speicher überprüfen, um den Druck auf die CPU und den Speicher zu erkennen, die Buffer Cache Hit Ratio, um die Cache-Effizienz zu verstehen (je höher, desto besser), die Abfragelatenz und den Abfragedurchsatz, um zu überwachen, wie lange Abfragen dauern und wie viele pro Sekunde bedient werden. Du kannst mit CloudWatch auch Dashboards und Alarme einrichten, mit denen du Trends auf einen Blick erkennen und Benachrichtigungen oder automatische Skalierungen auslösen kannst. Außerdem kannst du Protokolle integrieren, um das Slow-Query-Logging in Neptune zu aktivieren und Protokolle an CloudWatch Logs zu senden. 

Es gibt natürlich viele Best Practices, um deine Arbeitsabläufe mit Neptune weiter zu optimieren, die ich in zwei Klassen einteile. Wenn du nicht zwischen AWS CloudTrail und AWS CloudWatch unterscheiden kannst, empfehle ich dir, unsere AWS CloudTrail vs. AWS CloudWatch zu lesen: A Beginner's Guide blog post.

Abfrageoptimierung

Um einen guten Arbeitsablauf zu optimieren, müssen auch deine Abfragen optimiert werden. Hier sind einige wichtige Tipps, die du bei deinen Abfragen beachten solltest:

• Verwende Indexe und Etiketten: In Gremlin/openCypher indexierst du Eigenschaften, die häufig abgefragt werden. Zum Beispiel g.createIndex('name','vertex') in Gremlin und CREATE INDEX FOR (n:Person) ON (n.name) auf openCypher. Nutze gut definierte RDF-Klassen und Prädikate, um den Musterabgleich in SPARQL zu beschleunigen.

• Profilieren und Abstimmen von Abfragen: Verwende EXPLAIN auf openCypher oder PROFILE auf Gremlin, um Traversals und Filterplatzierungen zu sehen. Du solltest auch so früh wie möglich Filter einsetzen, um die gescannten Daten zu reduzieren, wie g.V().has('Person','age',gt(30)).out('knows')…

• Vermeide kartesische Produkte: Verbinde in Cypher immer Muster miteinander, anstatt unzusammenhängende Teilgraphen zu vergleichen, sonst steigt die Verarbeitungszeit dramatisch an. Im Falle von SPARQL solltest du deine Graphenmuster eng eingrenzen, um zu vermeiden, dass große Mengen miteinander verknüpft werden.

• Verwende Batch-Writes und Bulk-Loads: Gruppiere die Erstellung von Vertex/Edge in weniger Anfragen oder verwende Neptunes Bulk Loader wie CSV/JSON auf S3, um große Mengen effizient zu erfassen.

Große Datenmengen verwalten

Die Verwaltung großer Datensätze ist anders als der Umgang mit kleinen, begrenzten Daten, denn einige Abfragen erfordern Mikrosteuerungen, deren Anzahl mit der wachsenden Datenmenge exponentiell ansteigt. Daher werde ich einige der Helfer in Amazon Neptune nennen:

• Replikate lesen: Verlagere leselastige Arbeitslasten auf bis zu 15 Read Replicas, um analytische Abfragen dorthin zu leiten und den primären Write Node reaktionsfähig zu halten.
• Erreiche alte Daten: Wende TTLs an oder exportiere und entferne regelmäßig veraltete Knoten/Adges, um den Arbeitsgraphen klein zu halten.
• Partitionierung nach Domain: Teile sehr große Graphen in mehrere Cluster auf, z. B. "sozial" und "transaktional", und leite Abfragen in deiner App weiter.
• Überwache das Speicherwachstum: Behalte die automatische Skalierung des Speichers immer im Auge und setze Warnungen, damit du keine Kapazitätsüberraschungen erlebst.
• Überprüfe regelmäßig langsame Abfragen: Überprüfe die Protokolle deiner langsamen Abfragen wöchentlich und optimiere oder behebe problematische Muster.

Vor- und Nachteile von Amazon Neptune

Neptun ist voll von Vorteilen und nützlichen Tipps und Tricks. Allerdings gibt es einige Einschränkungen, die du bei der Auswahl beachten solltest.

Amazon Neptune vs. Neo4j und andere

Graphdatenbanken stehen heute in einem rasanten Wettbewerb, vor allem durch das Aufkommen von LLMs, RAGs und agentenbasierten Workflows. Auch wenn Neptune viele Stärken hat, gibt es viele potenzielle Weiterentwicklungen, wie z.B. eine tiefere KI/ML-Integration, verbesserte Analysen und Visualisierungen sowie mehr Abfragesprachen oder Interoperabilität.

Es gibt jedoch viele Konkurrenten in der Landschaft, wie z.B. das berühmte Neo4j, das Eigenschaftsgraphen, eine starke Community, aber weniger Integration mit AWS bietet. TigerGraph hingegen bietet einen Fokus auf hohe Leistung, ist aber komplexer zu verwalten. ArangoDB ist ebenfalls ein großer Konkurrent und bietet Daten mit mehreren Modellen wie Graphen, Dokumente und Schlüsselwerte, ist aber nicht so eng mit AWS integriert.

Ich empfehle Neptune, wenn du Managed Service, AWS-Integration und strenge Compliance brauchst. Es ist jedoch plausibel, Alternativen in Betracht zu ziehen, wenn du mehr Flexibilität oder Multi-Cloud-Unterstützung brauchst. Der Vergleich zwischen Amazon Neptune und Neo4j ist besonders schwierig, daher empfehle ich dir, dich zu informieren, bevor du dich für die eine oder andere Variante entscheidest.

Fazit

Neptune ist ideal für Anwendungen, die stark vernetzte Daten verwalten und analysieren müssen. Sie ist vollständig verwaltet, skalierbar, sicher und tief in die AWS-Dienste und in das AWS-Ökosystem integriert.

Vergiss nicht, weiter mit uns zu lernen. Nimm an unserem AWS-Konzepte-Kurs teil, wenn du mit dem, was ich in diesem Artikel erwähnt habe, nicht vertraut bist, und viel Erfolg mit Amazon Neptune!