Amazon Neptune: AWS’in Tamamen Yönetilen Grafik Veritabanına Bir Bakış

Amazon Neptune, aşina değilseniz, AWS tarafından sunulan ve sosyal ağlar gibi yüksek derecede bağlantılı verileri depolamak ve sorgulamak için tasarlanmış, tamamen yönetilen bir grafik veritabanı hizmetidir. Veri noktaları arasındaki ilişkilerin verinin kendisi kadar önemli olduğu senaryolar için optimize edilmiştir.

Birazdan göreceğiniz gibi, Amazon Neptune iki temel grafik modelini destekler: düğüm ve kenarları anahtar-değer özellikleriyle tanımlayan özellik grafikleri ve özne-yüklem-nesne üçlülerinden oluşan RDF (Resource Description Framework). Amazon Neptune, Gremlin, openCypher ve SPARQL gibi üç ana sorgu diliyle uyumludur. Tüm bunlar heyecan verici, o halde başlayalım.

Amazon Neptune Nedir?

Bahsetmeye başladığım gibi, Amazon Neptune, ilişkilerin hızlı bir şekilde sorgulanması için özel olarak geliştirilmiş bir grafik veritabanıdır; milyarlarca düğüm ve kenarı düşük gecikmeyle işler. Esneklikleri nedeniyle sosyal, öneri ve ağ analizi gibi alanlarda kullanılan özellik grafikleri ile anlamsal web, bilgi grafikleri ve genel olarak bağlı veriler için standart olan RDF’yi destekler.

Amazon Neptune, küresel erişim ve felaket kurtarma için birden fazla AWS bölgesine dağıtılır. Ve merak ediyorsanız, sağlık sektörü için HIPAA, ödemeler için PCI DSS ve genel güvenlik için ISO gibi temel düzenleyici standartları karşıladığından kullanımı güvenlidir. Bu da onu hassas ve düzenlemeye tabi iş yükleri için uygun kılar. Grafik veritabanları hakkında daha fazla bilgi edinmek isterseniz Grafik Veritabanı Nedir? Yeni Başlayanlar için Kılavuz blog yazımızı okuyun.

Amazon Neptune Nasıl Çalışır?

Amazon Neptune’un veritabanı motoru başlangıçta Blazegraph’a dayanıyordu ve şimdi AWS tarafından yüksek performans ve güvenilirlik için evrimleştirilip geliştirildi. Birden çok sorgu dilini destekler: özellik grafikleri üzerinde gezinmek için kullanılan Gremlin (örneğin bir topluluk grafiğinde arkadaşların arkadaşlarını bulmak), özellik grafik sorguları için bildirimsel SQL benzeri sözdizimine sahip openCypher ve RDF verilerini sorgulamak, anlamsal ilişkileri ve ontolojileri desteklemek için SPARQL.

Neptune, verilerini SSD destekli küme birimlerinde saklar; kalıcılık için birden çok erişilebilirlik alanına çoğaltılır; bu da depolamasını özellikle hızlı ve ürün ihtiyaçlarına duyarlı kılar. Ayrıca, okuma trafiğini dağıtmak ve kullanılabilirliği artırmak için 15’e kadar okuma replikasını destekler ve örnek hatalarını sorunsuz şekilde yönetir. Bu, Neptune’un otomatik olarak okuma replikasına failover yaptığı anlamına gelir.

Ayrıca, AWS donanım, yazılım güncellemeleri ve yedeklemeleri verimli bir şekilde yönetir. Dolayısıyla Neptune, hata toleranslı, kendi kendini iyileştiren depolama sağlamak için çok iyi bir seçenektir. AWS hakkında daha derin açıklamalar ve kapsamlı bir anlayış için AWS Concepts kursumuzu alın.

Amazon Neptune’un Temel Özellikleri

Amazon Neptune, sektörde onu harika bir seçenek yapan zengin özellik ve faydalara sahiptir. Bu bölümde akılda tutulması gereken başlıca Neptune özelliklerini anlatacağım.

Ölçeklenebilirlik ve performans

Amazon Neptune, kullanımınıza bağlı olarak gerçekten iyi ölçeklenir ve umut verici bir performans dengesi sunar. Buna göre, veriniz 64 TB’a veya daha fazlasına büyüdükçe depolamayı otomatik olarak artırır, yüksek bant genişliğiyle saniyede on binlerce sorguyu destekler ve etkileşimli uygulamalar için milisaniye düzeyinde gerçek zamanlı yanıtlar verir; büyük ve karmaşık grafiklerde bile milyarlarca ilişkiyi verimli bir şekilde işler.

Güvenlik ve uyumluluk

Neptune’un performansı güvenliğinden ödün vermez; tüm veriler beklemede AWS KMS ile, aktarım halinde TLS ile şifrelenir; özel ve güvenli ağ iletişimi için bir VPC içinde dağıtılır ve izinler AWS IAM roller ve ilkeleriyle ayrıntılı şekilde yönetilir. Bu durum, HIPAA, PCI DSS ve ISO sertifikalarıyla belgelenen düzenleyici uyumluluğuyla da doğrulanır; böylece düzenlemeye tabi sektörler için uygundur.

AWS entegrasyonu

Şaşırtıcı değil: Amazon Neptune çeşitli AWS hizmetleri ve genel ekosistemle iyi entegre olur. Böylece örneğin, Amazon S3 ile büyük veri kümelerini kolay ve verimli biçimde içe/dışa aktarabilir, Amazon CloudWatch üzerinde performansı izleyebilir, alarmlar kurabilir ve günlükleri analiz edebilir, AWS Lambda üzerinde veritabanı olaylarına dayalı sunucusuz işlevler tetikleyebilir ve Neptune’a bağlanan EC2 örneklerinde uygulamalar çalıştırabilirsiniz.

Ayrıca, Neptune ML görevleri için de harika bir araçtır; çünkü gelişmiş analitik için makine öğrenimini entegre etmek üzere Amazon SageMaker ile iyi bağlanır. Hatta, bağlantı tahmini ve düğüm sınıflandırması gibi görevler için yerleşik makine öğrenimi sağlayan Neptune ML’nin belirli bir kullanımı vardır.

Amazon Neptune’un Kullanım Alanları

Amazon Neptune, çok çeşitli görevlerde yaygın olarak kullanılabilecek işlevlerle doludur. Bu bölümde Neptune’un gerçek dünya uygulamalarından daha ayrıntılı bahsedeceğim.

Kimlik grafikleri ve müşteri verileri

Neptune’un grafik verileri depolama ve sorgulama yeteneği, birleştirilmiş bir profil oluşturmak için birden çok kaynaktaki müşteri verilerini bir araya getirmede uygun bir araç olmasını sağlar. Kişiselleştirme kapsamında, önerileri ve iletişimleri özelleştirmek için ilişki verilerini kullanır. Ayrıca, kredi kartı dolandırıcılığını tespit etmek gibi dolandırıcılık tespiti için de çok uygundur. Bunu, kullanıcılar, hesaplar ve işlemler arasındaki bağlantıları analiz ederek şüpheli kalıpları tanımlayarak yapar. Ek olarak, verinin grafik yapısı sayesinde kullanıcı profillerini analiz ederek ilgili reklamlar sunmak için hedefli reklamcılıkta da etkilidir.

Öneri motorları

Öneri motorları genellikle grafik verilerine büyük ölçüde dayanır; bu da uygun motor seçimini üretimde kritik bir adım yapar. Bu nedenle Neptune, öneri sistemleri için ideal araç setini sunar. Bunun bir uygulaması e-ticarettir; çözüm, kullanıcı davranışı ve öğe ilişkilerine göre ürün önermeyi gerektirir. Ayrıca, medya platformlarında kullanıcı tercihleri ve sosyal bağlantılara göre film, müzik veya makale önermek ya da sosyal medya platformlarındaki gibi sosyal ağlarda kullanıcı etkileşimlerini analiz ederek arkadaş, grup veya içerik önermek için de kullanılır.

Bilgi grafikleri ve dolandırıcılık tespiti

Günümüzde işletmeler çözümlerine yapay zekâyı yoğun biçimde entegre ediyor. Bunun bir örneği ajan tabanlı iş akışları veya yapay zekâ destekli içgörülerdir. Bu genellikle sağlam çözümler için bilgi grafikleriyle yapılır. Bilgileri anlamsal arama ve yapay zekâ destekli içgörüler (örneğin GraphRAG veya yaygın kullanılan çeşitli teknikler) için düzenleyip bağlayarak çalışır. Neptune ayrıca, varlıklar arasındaki ilişkileri anlayarak arama alaka düzeyini iyileştiren anlamsal arama uygulamaları ve örneğin para aklama ve dolandırıcılığı karmaşık işlem ağlarını ve ilişkileri izleyerek tespit eden finansal hizmetler için de sağlamdır. Ve Neptune’un ilaç keşfi, ağ güvenliği ve tedarik zinciri yönetimine uzanan pek çok başka kullanım durumu vardır.

Amazon Neptune ile Başlarken

Amazon Neptune, AWS ekosistemine iyi entegre edilmiştir. Bu nedenle, Neptune üzerinde kullanmanız gereken temel kurulum ve teknikleri adım adım anlatacağım.

Neptune’u kurma

Neptune ile çalışmaya başlamak için şu adımları izlemelisiniz:

1. Platformda Neptune bölümünü açın

Ardından, oluşturma sayfasına gitmek için Launch Amazon Neptune’a tıklayın.

Bu görsel, Amazon Neptune ön sayfasını göstermektedir.

2. Veritabanı motoru seçeneklerini yapılandırın

Sabit kapasite ve manuel ölçekleme istiyorsanız sağlanan (provisioned) motor türünü seçin; iş yükü talebine göre otomatik ölçeklemeyi tercih ediyorsanız sunucusuz (serverless) seçeneğini işaretleyin. Sürümü ise özel kullanım durumunuza göre belirleyebilirsiniz.

Bu görsel, veritabanı oluştururken Motor seçenekleri panelinde seçebileceğiniz parametreleri göstermektedir.

3. Küme tanımlayıcınız için bir ad yazın

“mydbcluster” gibi bir ad seçebilirsiniz. Lütfen panelde belirtilen kurallara uyun.

4. Kapasite parametrelerini ayarlayın

İşleme sırasında erişebileceği Neptune kapasite birimlerinin sınırlarını belirleyin. Daha fazla kapasite birimi daha fazla maliyet demektir. Bu yüzden uygulamanızın ne kadar büyük olacağını akılda tutmak önemlidir.

5. Bir şablon seçin

Yüksek kullanılabilirlik, dayanıklılık ve performans için önceden yapılandırılmış örnekler istiyorsanız üretim şablonlarını seçebilirsiniz. Ancak geliştirme aşamasında çalışıyorsanız, yüksek kullanılabilirlik ve dayanıklılığa şu an çok ihtiyaç duymadığınız için, maliyet etkinliği ve minimal kaynaklarla hızlı test için geliştirme şablonlarını kullanmanızı öneririm.

Bu görsel, Neptune’un veritabanı oluşturma bölümündeki şablon ayarlarını göstermektedir. 

Şablonlardan birini seçtiğinizde, kullanılabilirlik ve dayanıklılık ayarları otomatik olarak belirlenir. Dolayısıyla, üretim şablonunu seçmek farklı bölgelerde replika oluşturmayı otomatik olarak etkinleştirirken, geliştirme şablonu bunu yapmaz.

6. Bağlantı ayarları

Neptune kümenizin dağıtıldığı kapsayıcı ağ olan Sanal Özel Bulutu (VPC) seçin. Alt ağları ve güvenlik gruplarını yapılandırmak için ek bağlantı yapılandırmaları’na da tıklayabilirsiniz.

Bu kısım, kümenizin tüm güvenlik protokollerini yönetmek için kritik öneme sahiptir.

Ekranınızın sol panelinde “Notebooks”a tıklayarak Notebooks bölümüne gidip hızlı bir bağlantı kurabilirsiniz:

Varsayılan olarak bir demo defteri vardır ve veritabanı bağlantınızı ve diğer görevleri test etmek için temel sorgular içerir. Ekranınızın sağ tarafındaki eylemler’e tıklayarak Graph Explorer’a da geçebilirsiniz. Ayrıca, sağlanan uç noktayı kullanarak uygulamalardan veya geliştirme araçlarından bağlanabilirsiniz.

Amazon Neptune’da sorgu yazma

Bu bölümde, AWS Neptune için üç dilin her birinde “merhaba dünya” sorgularını tanıtacağım:

Gremlin

Bir Gremlin sorgusu, soldan sağa değerlendirilen işlem/fonksiyon zinciridir. İşte iki tepe (vertex) ve bir kenar ekleme örneği:

g.addV('Person').property('id','1').property('name','Alice')
.as('a').
addV('Person').property('id','2').property('name','Bob')
.as('b').
addE('knows').from('a').to('b');Altyapı:

Burada .addV('Person')…property(…) motorun "Person" etiketiyle bir tepe oluşturmasını ve ona "id" ve "name" gibi özellikler eklemesini söyler. .as('a') / .as('b') her yeni tepeye daha sonra bağlamak için birer referans (“a” ve “b”) verir. .addE('knows').from('a’).to('b'), Alice’ten Bob’a knows etiketli bir kenar oluşturur.

İşte bir getirme (retrieval) örneği:

g.V().hasLabel('Person').valueMap('id','name');Altyapı:

Burada g.V().hasLabel('Person').valueMap('id','name'), Person etiketi olan tüm tepeleri bulur ve bunların id ve name özelliklerini döndürür.

openCypher

Bir Cypher sorgusu, grafik öğelerini oluşturmak ve eşleştirmek için ASCII-art tarzı kalıplar kullanır. İşte iki düğüm ve bir ilişki oluşturma örneği:

CREATE (a:Person {id: '1', name: 'Alice'}),
(b:Person {id: '2', name: 'Bob'})
CREATE (a)-[:KNOWS]->(b);Altyapı:

Burada (a:Person {…}), id ve name özelliklerine sahip Person etiketli bir düğümü tanımlar. İkinci CREATE, (a)-[:KNOWS]->(b) kullanarak a’dan b’ye yönlü bir KNOWS ilişkisi ekler.

İşte bunları nasıl getirirsiniz:

MATCH (p:Person)
RETURN p.id, p.name;Altyapı:

Burada MATCH (p:Person) Person etiketli tüm düğümleri bulur ve RETURN p.id, p.name her düğümün id ve name özelliklerini döndürür.

SPARQL

Bir SPARQL sorgusu RDF üçlüleri üzerinde çalışır ve PREFIX bildirimleri ile grafik kalıpları kullanır. İşte iki kaynağı ve ilişkilerini ekleme örneği:

PREFIX ex: <http://example.com/>
INSERT DATA {
ex:Alice a ex:Person ;
ex:name "Alice" .
ex:Bob a ex:Person ;
ex:name "Bob" .
ex:Alice ex:knows ex:Bob .
}Altyapı:

Burada PREFIX ex:… bir ad alanı kısayolu tanımlar. INSERT DATA içinde, her üçlü bloğu . ile biter: ex:Alice a ex:Person RDF tipini atar, ex:name "Alice" ad değerini ekler ve ex:Alice ex:knows ex:Bob bağlantıyı oluşturur.

İşte bunları nasıl seçersiniz:

SELECT ?person ?name WHERE {
?person a ex:Person ;
ex:name ?name .
}Altyapı:

Burada ?person a ex:Person, ex:Person tipindeki tüm özneleri eşleştirir ve ?person ex:name ?name, bunların ex:name değerlerini ?name değişkenine getirir. 

İzleme ve optimizasyon

CloudWatch’u doğru kullanmak, CPU, bellek, disk ve ağ metriklerinde seçili içgörüler (1 saniyeye kadar aralıklarla) için gelişmiş izlemeyi açarak Neptune’un performansını verimli şekilde takip etmenizi sağlar. Ayrıca, CPU/bellek baskısını tespit etmek için Engine CPU Utilization ve Freeable Memory gibi metrikleri; önbellek verimliliğini anlamak için Buffer Cache Hit Ratio’yu (yüksek olması iyidir); sorguların ne kadar sürdüğünü ve saniyede kaçının işlendiğini izlemek için Query Latency ve Query Throughput’u kontrol edebilirsiniz. CloudWatch ile eğilimleri tek bakışta görmenizi sağlayan panolar ve bildirimleri veya otomatik ölçeklemeyi tetikleyen alarmlar kurabilirsiniz. Ek olarak, Neptune’da yavaş sorgu günlüğünü etkinleştirip günlükleri CloudWatch Logs’a göndererek günlükleri entegre edebilirsiniz. 

Elbette, Neptune ile iş akışlarınızı daha da optimize etmek için birçok en iyi uygulama vardır ve bunları iki sınıfa ayırıyorum. AWS CloudTrail ile AWS CloudWatch’ı ayırt edemiyorsanız, AWS CloudTrail ve AWS CloudWatch: Yeni Başlayanlar için Kılavuz blog yazımızı okumanızı öneririm.

Sorgu optimizasyonu

İyi bir iş akışını optimize etmek, sorgularınızı optimize etmekle başlar; sorgularken akılda tutulması gereken bazı önemli ipuçları şunlardır:

• Dizinler ve etiketler kullanın: Gremlin/openCypher’da sık sorgulanan özellikleri dizinleyin. Örneğin Gremlin’de g.createIndex('name','vertex') ve openCypher’da CREATE INDEX FOR (n:Person) ON (n.name). SPARQL’de, desen eşleştirmeyi hızlandırmak için iyi tanımlanmış RDF sınıfları ve yüklemleri kullanın.

• Sorguları profilleyin ve ayarlayın: Geçişleri ve filtre konumlarını görmek için openCypher’da EXPLAIN veya Gremlin’de PROFILE kullanın. Ayrıca, taranan veriyi azaltmak için filtreleri mümkün olduğunca erken uygulayın; örneğin g.V().has('Person','age',gt(30)).out('knows')…

• Kartezyen çarpımlardan kaçının: Cypher’da, ilgisiz alt grafikleri eşleştirmek yerine desenleri daima birbirine bağlayın; aksi takdirde işlem süresi dramatik şekilde artar. SPARQL için, büyük kümelerin çapraz birleşiminden kaçınmak üzere grafik kalıplarınızı sıkı şekilde kapsamlayın.

• Toplu yazmalar ve yığın yüklemeler kullanın: Tepe/kenar oluşturma işlemlerini daha az istekte gruplandırın veya büyük hacimleri verimli şekilde almak için Neptune’un S3 üzerindeki CSV/JSON yığın yükleyicisini kullanın.

Büyük veri kümelerini yönetme

Büyük veri kümelerini yönetmek, küçük ve sınırlı verilerle uğraşmaktan farklıdır; çünkü bazı sorgular, veri boyutu büyüdükçe sayısı katlanarak artan mikro kontroller gerektirir. Bu nedenle, Amazon Neptune’daki bazı yardımcıları belirteceğim:

• Okuma replikaları: Okuma ağırlıklı iş yüklerini 15’e kadar okuma replikasına aktarın; birincil yazma düğümünü duyarlı tutmak için analitik sorguları buraya yönlendirin.
• Eski verileri arşivleyin: Çalışan grafiği küçük tutmak için TTL uygulayın veya düzenli olarak eskimiş düğüm/kenarları dışa aktarın ve kaldırın.
• Etki alanına göre bölün: Çok büyük grafikleri birden fazla kümeye ayırın (ör. ‘sosyal’ ve ‘işlemsel’) ve sorguları uygulamanızda yönlendirin.
• Depolama büyümesini izleyin: Otomatik ölçeklenen depolamayı sürekli takip edin ve kapasite sürprizleri yaşamamak için uyarılar ayarlayın.
• Yavaş sorguları düzenli olarak gözden geçirin: Yavaş sorgu günlüklerinizi haftalık kontrol edin ve sorunlu kalıpları ayarlayın veya ele alın.

Amazon Neptune’un Artıları ve Eksileri

Neptune, avantajlar ve kullanışlı ipuçlarıyla doludur. Ancak, onu seçerken akılda tutulması gereken bazı sınırlamalar da vardır.

Amazon Neptune vs. Neo4j ve Diğerleri

Grafik veritabanları günümüzde, özellikle LLM’ler, RAG’ler ve ajan tabanlı iş akışlarının ortaya çıkışıyla, hızlı tempolu bir rekabet içinde. Neptune’un birçok gücü olmakla birlikte, daha derin AI/ML entegrasyonu, gelişmiş analitik ve görselleştirme ile daha fazla sorgu dili veya birlikte çalışabilirlik gibi pek çok potansiyel gelişme de sürüyor.

Bununla birlikte, ünlü Neo4j gibi birçok rakip de var; özellik grafikleri ve güçlü bir topluluk sunar ancak AWS ile daha az entegrasyona sahiptir. TigerGraph ise yüksek performansa odaklanır, fakat yönetimi daha karmaşıktır. ArangoDB de güçlü bir rakiptir ve grafik, belge ve anahtar-değer gibi çoklu model veriyi sunar; ancak AWS ile Neptune kadar sıkı entegre değildir.

Yönetilen hizmet, AWS entegrasyonu ve güçlü uyumluluk gerekiyorsa Neptune’u seçmenizi öneririm. Ancak daha fazla esneklik veya çoklu bulut desteğine ihtiyaç duyuyorsanız alternatifleri değerlendirmek mantıklıdır. Amazon Neptune ve Neo4j karşılaştırması özellikle zor olabilir; bu yüzden birini seçmeden önce kapsamlı bir inceleme yapmanızı tavsiye ederim.

Sonuç

Neptune, yüksek derecede bağlantılı verileri yönetmesi ve analiz etmesi gereken uygulamalar için idealdir. Tamamen yönetilen, ölçeklenebilir, güvenli ve AWS hizmetleriyle ve AWS ekosistemi içinde derinlemesine entegredir.

Bizimle öğrenmeye devam etmeyi unutmayın. Bu makalede bahsettiğim konulara aşina değilseniz AWS Concepts kursumuzu alın; Amazon Neptune ile bol şans!