Amazon Neptune: Tìm hiểu về cơ sở dữ liệu đồ thị được quản lý toàn phần của AWS

Amazon Neptune, nếu bạn chưa quen, là dịch vụ cơ sở dữ liệu đồ thị được AWS quản lý toàn phần, được thiết kế để lưu trữ và truy vấn dữ liệu có mức độ kết nối cao như mạng xã hội. Dịch vụ này được tối ưu cho các kịch bản mà mối quan hệ giữa các điểm dữ liệu quan trọng không kém bản thân dữ liệu.

Như bạn sẽ thấy sau đây, Amazon Neptune hỗ trợ hai mô hình đồ thị chính: property graph, trong đó các nút và cạnh có thuộc tính dạng cặp khóa-giá trị, và RDF (Resource Description Framework) chứa các bộ ba subject-predicate-object. Amazon Neptune tương thích với ba ngôn ngữ truy vấn phổ biến gồm Gremlin, openCypher và SPARQL. Tất cả đều rất thú vị, vậy hãy bắt đầu nhé.

Amazon Neptune là gì?

Như tôi đã đề cập, Amazon Neptune là cơ sở dữ liệu đồ thị được xây dựng chuyên biệt để truy vấn nhanh các mối quan hệ, xử lý hàng tỷ nút và cạnh với độ trễ thấp. Dịch vụ hỗ trợ property graph vốn linh hoạt cho mạng xã hội, hệ gợi ý và phân tích mạng, cùng với RDF, tiêu chuẩn cho web ngữ nghĩa, knowledge graph và dữ liệu liên kết nói chung.

Amazon Neptune được triển khai trên nhiều khu vực AWS để mở rộng phạm vi toàn cầu và khả năng khôi phục sau thảm họa. Và nếu bạn thắc mắc, nó an toàn khi sử dụng vì đáp ứng các tiêu chuẩn quy định quan trọng như HIPAA cho lĩnh vực y tế, PCI DSS cho thanh toán và ISO cho bảo mật tổng thể. Điều này khiến Neptune phù hợp với các khối lượng công việc nhạy cảm và chịu quy định. Nếu muốn tìm hiểu thêm về cơ sở dữ liệu đồ thị, hãy đọc bài viết Cơ sở dữ liệu đồ thị là gì? Hướng dẫn cho người mới bắt đầu của chúng tôi.

Amazon Neptune hoạt động như thế nào?

Động cơ cơ sở dữ liệu của Amazon Neptune ban đầu dựa trên Blazegraph và hiện đã được AWS phát triển, nâng cấp để đạt hiệu năng và độ tin cậy cao. Nó hỗ trợ nhiều ngôn ngữ truy vấn như Gremlin dùng để duyệt property graph (tìm bạn-của-bạn trong đồ thị cộng đồng), openCypher với cú pháp khai báo giống SQL cho truy vấn property graph, và SPARQL để truy vấn dữ liệu RDF, hỗ trợ các mối quan hệ ngữ nghĩa và ontology.

Neptune lưu dữ liệu trên các ổ SSD trong cụm lưu trữ, được sao chép qua nhiều vùng khả dụng để tăng độ bền, giúp lưu trữ đặc biệt nhanh và đáp ứng nhu cầu sản phẩm. Ngoài ra, dịch vụ hỗ trợ tối đa 15 bản sao chỉ đọc để phân tán lưu lượng đọc và tăng tính sẵn sàng, đồng thời xử lý trơn tru trường hợp phiên bản gặp sự cố. Điều này có nghĩa là Neptune tự động chuyển đổi dự phòng sang bản sao đọc.

Hơn nữa, AWS quản lý hiệu quả phần cứng, cập nhật phần mềm và sao lưu. Vì vậy Neptune là lựa chọn rất tốt để đảm bảo lưu trữ chịu lỗi và tự phục hồi. Hãy học khóa AWS Concepts của chúng tôi để có phần giải thích chuyên sâu và hiểu rõ hơn về AWS.

Các tính năng chính của Amazon Neptune

Amazon Neptune giàu tính năng và lợi ích, khiến nó trở thành lựa chọn tuyệt vời cho ngành. Ở phần này, tôi sẽ điểm qua những tính năng chính của Neptune mà bạn nên ghi nhớ.

Khả năng mở rộng và hiệu năng

Amazon Neptune mở rộng rất tốt theo nhu cầu sử dụng, với mức đánh đổi hiệu năng đầy hứa hẹn. Theo đó, nó tự động tăng dung lượng lưu trữ khi dữ liệu của bạn tăng, lên đến 64TB hoặc hơn; hỗ trợ hàng chục nghìn truy vấn mỗi giây với thông lượng cao; và cung cấp phản hồi thời gian thực độ trễ mili-giây cho ứng dụng tương tác, ngay cả với đồ thị lớn, phức tạp, vì nó xử lý hiệu quả hàng tỷ mối quan hệ.

Bảo mật và tuân thủ

Hiệu năng của Neptune không đánh đổi bằng bảo mật, vì toàn bộ dữ liệu được mã hóa khi lưu trữ bằng AWS KMS và khi truyền bằng TLS, được triển khai trong VPC để có mạng riêng tư và an toàn, và quyền truy cập được phân quyền chi tiết bằng vai trò và chính sách AWS IAM. Điều này càng được khẳng định qua tuân thủ quy định vì Neptune đạt chứng nhận HIPAA, PCI DSS và ISO, phù hợp với các ngành chịu quản lý.

Tích hợp với AWS

Không ngạc nhiên khi Amazon Neptune tích hợp tốt với nhiều dịch vụ AWS và toàn bộ hệ sinh thái. Nhờ vậy, bạn có thể dễ dàng, chẳng hạn, nhập và xuất tập dữ liệu lớn một cách hiệu quả với Amazon S3, giám sát hiệu năng, đặt cảnh báo và phân tích nhật ký trên Amazon CloudWatch, kích hoạt hàm serverless dựa trên sự kiện cơ sở dữ liệu trên AWS Lambda, và chạy ứng dụng trên EC2 instances kết nối với Neptune.

Ngoài ra, Neptune là công cụ tuyệt vời cho các tác vụ ML vì kết nối tốt với Amazon SageMaker để tích hợp học máy cho phân tích nâng cao. Thực tế, còn có một cách dùng cụ thể là Neptune ML, học máy tích hợp sẵn cho các tác vụ như dự đoán liên kết và phân loại nút.

Ứng dụng của Amazon Neptune

Amazon Neptune có đầy đủ chức năng có thể sử dụng rộng rãi trong nhiều loại tác vụ. Phần này, tôi sẽ nói rõ hơn về các ứng dụng thực tế của Neptune.

Đồ thị định danh và dữ liệu khách hàng

Khả năng lưu trữ và truy vấn dữ liệu đồ thị của Neptune khiến nó phù hợp để tổng hợp dữ liệu khách hàng từ nhiều nguồn nhằm tạo hồ sơ hợp nhất. Nó dùng dữ liệu về mối quan hệ để cá nhân hóa gợi ý và thông điệp, thể hiện năng lực cá nhân hóa. Đây cũng là lựa chọn tuyệt vời cho phát hiện gian lận, như nhận diện gian lận thẻ tín dụng, bằng cách xác định mẫu đáng ngờ qua phân tích mối liên kết giữa người dùng, tài khoản và giao dịch. Thêm vào đó, nó rất hữu ích cho quảng cáo theo mục tiêu để phân phối quảng cáo phù hợp thông qua phân tích hồ sơ người dùng, nhờ cấu trúc đồ thị của dữ liệu.

Công cụ gợi ý

Các hệ gợi ý thường phụ thuộc nặng vào dữ liệu đồ thị, nên việc chọn động cơ phù hợp là bước then chốt trong sản xuất. Vì vậy, Neptune cung cấp bộ công cụ hoàn hảo cho hệ thống gợi ý. Một ứng dụng điển hình là Thương mại điện tử, nơi giải pháp cần đề xuất sản phẩm dựa trên hành vi người dùng và mối liên hệ giữa mặt hàng. Neptune cũng được dùng trên nền tảng nội dung để gợi ý phim, nhạc hoặc bài viết dựa trên sở thích và kết nối xã hội của người dùng, hoặc đề xuất bạn bè, nhóm hay nội dung bằng cách phân tích tương tác trong mạng xã hội.

Knowledge graph và phát hiện gian lận

Doanh nghiệp ngày nay phụ thuộc nhiều vào việc tích hợp AI vào giải pháp. Một ví dụ là dùng quy trình tác tử (agentic workflows) hay insights do AI dẫn dắt. Điều này thường được thực hiện với knowledge graph để có giải pháp vững chắc. Cách làm là tổ chức và liên kết thông tin cho tìm kiếm ngữ nghĩa và insights do AI dẫn dắt, như GraphRAG, hoặc một số kỹ thuật phổ biến khác để tăng cường giải pháp AI. Neptune cũng mạnh mẽ cho ứng dụng tìm kiếm ngữ nghĩa nhằm cải thiện mức độ liên quan bằng cách hiểu mối quan hệ giữa các thực thể, và trong dịch vụ tài chính để phát hiện, ví dụ, rửa tiền và gian lận bằng cách truy vết mạng giao dịch và mối quan hệ phức tạp. Còn rất nhiều trường hợp sử dụng khác của Neptune mở rộng sang khám phá dược phẩm, an ninh mạng và quản trị chuỗi cung ứng.

Bắt đầu với Amazon Neptune

Amazon Neptune được tích hợp tốt trong hệ sinh thái AWS. Vì vậy, tôi sẽ hướng dẫn bạn các thiết lập và kỹ thuật chính để sử dụng Neptune.

Thiết lập Neptune

Để bắt đầu với Neptune, bạn nên làm theo các bước sau:

1. Mở phần Neptune trên nền tảng

Sau đó, nhấp vào Launch Amazon Neptune để vào trang tạo mới.

Hình này hiển thị trang đầu của Amazon Neptune.

2. Cấu hình tùy chọn động cơ cơ sở dữ liệu

Chọn loại động cơ provisioned nếu bạn muốn dung lượng cố định với khả năng mở rộng thủ công, hoặc chọn serverless nếu bạn muốn tự động mở rộng theo tải công việc. Bạn cũng có thể chọn phiên bản dựa trên trường hợp sử dụng cụ thể.

Hình này hiển thị các tham số bạn có thể chọn trong bảng Engine options khi tạo cơ sở dữ liệu.

3. Nhập tên cho định danh cụm của bạn

Bạn có thể chọn tên như “mydbcluster”. Vui lòng tuân thủ các quy ước được nêu trong bảng điều khiển.

4. Đặt các tham số dung lượng

Đặt ranh giới đơn vị dung lượng Neptune có thể sử dụng trong quá trình xử lý. Nhiều đơn vị dung lượng hơn sẽ tốn chi phí cao hơn. Vì vậy, cần cân nhắc quy mô ứng dụng của bạn.

5. Chọn mẫu (template)

Bạn có thể chọn các mẫu production nếu muốn phiên bản được cấu hình sẵn cho độ sẵn sàng, độ bền và hiệu năng cao. Nhưng nếu bạn đang ở giai đoạn phát triển, tôi khuyên dùng các mẫu development để tối ưu chi phí và thử nghiệm nhanh với tài nguyên tối thiểu, vì bạn chưa cần độ sẵn sàng và độ bền quá cao lúc này.

Hình này hiển thị cài đặt mẫu trong quá trình tạo cơ sở dữ liệu của Neptune. 

Khi bạn chọn một mẫu, các cài đặt về tính sẵn sàng và độ bền sẽ được chọn tự động. Do đó, chọn mẫu production sẽ tự động bật tạo bản sao ở các vùng khác nhau, trong khi mẫu development thì không.

6. Cài đặt kết nối

Chọn Virtual Private Cloud (VPC) là mạng bao trùm nơi cụm Neptune của bạn được triển khai. Bạn cũng có thể nhấp vào cấu hình kết nối bổ sung để cấu hình subnet và security group.

Phần này rất quan trọng để quản lý tất cả giao thức bảo mật của cụm.

Bạn có thể tạo kết nối nhanh bằng cách vào phần Notebooks bằng cách nhấp “Notebooks” ở bảng điều khiển ngoài cùng bên trái trên màn hình:

Có một notebook demo mặc định, chứa các truy vấn cơ bản để kiểm tra kết nối cơ sở dữ liệu và các tác vụ khác. Bạn cũng có thể chuyển sang Graph Explorer bằng cách nhấp vào actions ở phía bên phải màn hình. Bạn cũng có thể dùng endpoint được cung cấp để kết nối từ ứng dụng hoặc công cụ phát triển.

Viết truy vấn trong Amazon Neptune

Trong phần này, tôi sẽ giới thiệu các truy vấn “hello world” trong từng ngôn ngữ cho AWS Neptune:

Gremlin

Một truy vấn Gremlin là chuỗi các thao tác/hàm được đánh giá từ trái sang phải. Ví dụ sau thêm hai đỉnh (vertex) và một cạnh (edge):

g.addV('Person').property('id','1').property('name','Alice')
.as('a').
addV('Person').property('id','2').property('name','Bob')
.as('b').
addE('knows').from('a').to('b');Được hỗ trợ bởi

Trong đó .addV('Person')…property(…) yêu cầu động cơ tạo một đỉnh với nhãn "Person" và gán các thuộc tính như "id" và "name" cho nó. .as('a') / .as('b') gán cho mỗi đỉnh mới một tham chiếu (“a” và “b”) để bạn có thể liên kết chúng. .addE('knows').from('a’).to('b') tạo một cạnh có nhãn knows từ Alice đến Bob.

Ví dụ truy xuất:

g.V().hasLabel('Person').valueMap('id','name');Được hỗ trợ bởi

Trong đó g.V().hasLabel('Person').valueMap('id','name') tìm tất cả các đỉnh có nhãn Person và trả về thuộc tính id và name của chúng.

openCypher

Một truy vấn Cypher sử dụng mẫu theo kiểu ASCII-art để tạo và khớp các phần tử đồ thị. Đây là cách tạo hai nút và một quan hệ:

CREATE (a:Person {id: '1', name: 'Alice'}),
(b:Person {id: '2', name: 'Bob'})
CREATE (a)-[:KNOWS]->(b);Được hỗ trợ bởi

Trong đó (a:Person {…}) định nghĩa một nút có nhãn Person với thuộc tính id và name. Lệnh CREATE thứ hai dùng (a)-[:KNOWS]->(b) để thêm một quan hệ có hướng KNOWS từ a đến b.

Cách truy xuất chúng:

MATCH (p:Person)
RETURN p.id, p.name;Được hỗ trợ bởi

Trong đó MATCH (p:Person) tìm tất cả các nút có nhãn Person, và RETURN p.id, p.name xuất thuộc tính id và name của mỗi nút.

SPARQL

Một truy vấn SPARQL hoạt động trên các bộ ba RDF và dùng khai báo PREFIX cùng các mẫu đồ thị. Đây là cách chèn hai tài nguyên và mối quan hệ của chúng:

PREFIX ex: <http://example.com/>
INSERT DATA {
ex:Alice a ex:Person ;
ex:name "Alice" .
ex:Bob a ex:Person ;
ex:name "Bob" .
ex:Alice ex:knows ex:Bob .
}Được hỗ trợ bởi

Trong đó PREFIX ex:… định nghĩa lối tắt namespace. Trong INSERT DATA, mỗi khối bộ ba kết thúc bằng .: ex:Alice a ex:Person gán kiểu RDF, ex:name "Alice" thêm literal tên, và ex:Alice ex:knows ex:Bob tạo liên kết.

Cách truy vấn chọn chúng:

SELECT ?person ?name WHERE {
?person a ex:Person ;
ex:name ?name .
}Được hỗ trợ bởi

Trong đó ?person a ex:Person khớp tất cả subject có kiểu ex:Person và ?person ex:name ?name truy xuất ex:name của họ vào biến ?name. 

Giám sát và tối ưu hóa

Sử dụng CloudWatch đúng cách sẽ cho phép bạn theo dõi hiệu năng của Neptune hiệu quả bằng cách bật giám sát nâng cao để có insights ở khoảng thời gian tới 1 giây về CPU, bộ nhớ, đĩa và mạng. Bạn cũng có thể kiểm tra các chỉ số như Engine CPU Utilization và Freeable Memory để phát hiện áp lực CPU/bộ nhớ; Buffer Cache Hit Ratio để hiểu hiệu quả bộ nhớ đệm (cao hơn là tốt); Query Latency và Query Throughput để theo dõi thời gian truy vấn và số lượng truy vấn/giây. Bạn cũng có thể thiết lập bảng điều khiển và cảnh báo với CloudWatch để lần lượt nhận diện xu hướng nhanh và kích hoạt thông báo hoặc tự động mở rộng. Ngoài ra, bạn có thể tích hợp nhật ký để bật ghi log truy vấn chậm trong Neptune và gửi log đến CloudWatch Logs. 

Dĩ nhiên có nhiều thực tiễn tốt để tối ưu hơn nữa quy trình với Neptune, mà tôi phân thành hai nhóm. Nếu bạn chưa phân biệt được AWS CloudTrail và AWS CloudWatch, tôi khuyên đọc bài AWS CloudTrail vs AWS CloudWatch: Hướng dẫn cho người mới bắt đầu của chúng tôi.

Tối ưu hóa truy vấn

Tối ưu một quy trình tốt bắt đầu từ tối ưu truy vấn, dưới đây là vài lưu ý chính khi truy vấn:

• Dùng chỉ mục và nhãn: Trong Gremlin/openCypher, lập chỉ mục các thuộc tính được truy vấn thường xuyên. Ví dụ g.createIndex('name','vertex') trong Gremlin và CREATE INDEX FOR (n:Person) ON (n.name) trong openCypher. Dùng các lớp và vị ngữ RDF được định nghĩa rõ để tăng tốc khớp mẫu trên SPARQL.

• Phân tích và tinh chỉnh truy vấn: Dùng EXPLAIN trên openCypher hoặc PROFILE trên Gremlin để xem đường duyệt và vị trí bộ lọc. Bạn cũng nên đẩy các bộ lọc lên sớm nhất có thể để giảm dữ liệu quét như g.V().has('Person','age',gt(30)).out('knows')…

• Tránh tích Descartes: Trong Cypher, luôn kết nối các mẫu thay vì khớp các đồ thị con không liên quan, nếu không thời gian xử lý sẽ tăng đột biến. Với SPARQL, giới hạn chặt mẫu đồ thị của bạn để tránh phép nối chéo trên tập lớn.

• Dùng ghi hàng loạt và nạp dữ liệu khối: Gom nhóm việc tạo nút/cạnh vào ít yêu cầu hơn hoặc dùng bộ nạp khối của Neptune như CSV/JSON trên S3 để nạp khối lượng lớn hiệu quả.

Quản lý tập dữ liệu lớn

Quản lý tập dữ liệu lớn khác với dữ liệu nhỏ, hạn chế, vì một số truy vấn cần các kiểm soát vi mô tăng theo cấp số nhân khi dữ liệu phình to; do đó, tôi sẽ nêu một số công cụ hỗ trợ trong Amazon Neptune:

• Bản sao chỉ đọc: Giảm tải tác vụ đọc nặng sang tối đa 15 bản sao chỉ đọc để định tuyến truy vấn phân tích sang đó, giữ node ghi chính phản hồi tốt.
• Lưu trữ dữ liệu cũ: Áp dụng TTL hoặc thường xuyên xuất và loại bỏ các nút/cạnh đã cũ để giữ đồ thị làm việc nhỏ gọn.
• Phân vùng theo miền: Chia đồ thị rất lớn thành nhiều cụm, như ‘xã hội’ so với ‘giao dịch’, và định tuyến truy vấn trong ứng dụng của bạn.
• Theo dõi tăng trưởng lưu trữ: Luôn theo dõi lưu trữ tự động mở rộng và đặt cảnh báo để không gặp bất ngờ về dung lượng.
• Thường xuyên rà soát truy vấn chậm: Kiểm tra log truy vấn chậm hàng tuần và tinh chỉnh hoặc xử lý các mẫu có vấn đề.

Ưu và nhược điểm của Amazon Neptune

Neptune có nhiều ưu điểm cùng các mẹo hữu ích. Tuy nhiên, cũng có vài hạn chế bạn nên lưu ý khi lựa chọn.

Amazon Neptune so với Neo4j và các lựa chọn khác

Cơ sở dữ liệu đồ thị hiện đang cạnh tranh rất quyết liệt, đặc biệt khi LLM, RAG và quy trình tác tử bùng nổ. Dù Neptune có nhiều điểm mạnh, vẫn có nhiều hướng phát triển tiềm năng như tích hợp AI/ML sâu hơn, cải thiện phân tích và trực quan hóa, cũng như bổ sung ngôn ngữ truy vấn hoặc khả năng tương tác.

Tuy nhiên, có nhiều đối thủ trong bức tranh chung, như Neo4j nổi tiếng, cung cấp property graph, cộng đồng mạnh, nhưng tích hợp với AWS kém hơn. TigerGraph lại tập trung vào hiệu năng cao, nhưng phức tạp hơn để quản lý. ArangoDB cũng là đối thủ đáng gờm, hỗ trợ mô hình đa dạng như đồ thị, tài liệu và key-value, nhưng không tích hợp chặt với AWS.

Tôi gợi ý chọn Neptune nếu bạn cần dịch vụ được quản lý, tích hợp AWS và tuân thủ mạnh. Tuy vậy, có thể cân nhắc lựa chọn khác nếu bạn cần linh hoạt hơn hoặc hỗ trợ đa đám mây. So sánh Amazon Neptune với Neo4j có thể đặc biệt khó, nên tôi khuyên bạn nghiên cứu kỹ trước khi chọn.

Kết luận

Neptune lý tưởng cho các ứng dụng cần quản lý và phân tích dữ liệu có mức độ kết nối cao. Dịch vụ được quản lý toàn phần, có khả năng mở rộng, bảo mật và tích hợp sâu với các dịch vụ AWS cũng như trong hệ sinh thái AWS.

Hãy tiếp tục học cùng chúng tôi. Tham gia khóa AWS Concepts nếu bạn chưa quen với bất kỳ nội dung nào tôi đề cập trong bài, và chúc bạn thành công với Amazon Neptune!