17 câu hỏi phỏng vấn ETL hàng đầu kèm đáp án cho mọi cấp độ

Câu hỏi phỏng vấn ETL cơ bản

Những câu hỏi này bao quát kiến thức nền tảng về ETL, đảm bảo bạn nắm được kiến thức cơ bản về chủ đề.

1. ETL là gì?

Extract, Transform, and Load, viết tắt là ETL, là một tác vụ tích hợp dữ liệu hợp nhất dữ liệu từ nhiều nguồn vào một kho dữ liệu thống nhất, thường là kho dữ liệu (data warehouse).

Quy trình này bao gồm trích xuất dữ liệu từ nhiều nguồn, chuyển đổi về định dạng nhất quán và nạp vào cơ sở dữ liệu hoặc kho dữ liệu đích. Quy trình này rất cần thiết để đảm bảo dữ liệu chính xác, nhất quán và phù hợp cho phân tích và báo cáo.

2. Sự khác nhau giữa ETL và ELT là gì?

Trong số các chiến lược và công cụ tích hợp dữ liệu, ETL (Extract, Transform, Load) và ELT (Extract, Load, Transform) là hai phương pháp chủ đạo.

ETL bao gồm trích xuất dữ liệu từ nguồn, chuyển đổi để phù hợp nhu cầu vận hành, rồi nạp vào cơ sở dữ liệu hoặc kho dữ liệu đích. Quy trình này thường dùng trong môi trường kho dữ liệu truyền thống, nơi việc chuyển đổi dữ liệu trước khi nạp là rất quan trọng để đảm bảo tính nhất quán và toàn vẹn.

Ngược lại, ELT (Extract, Load, Transform) trích xuất dữ liệu từ nguồn và nạp trực tiếp vào hệ thống đích, như data lake hoặc kho dữ liệu đám mây hiện đại. Việc chuyển đổi được thực hiện sau khi nạp, tận dụng sức mạnh xử lý của hệ thống đích. ELT thường được áp dụng trong môi trường dữ liệu lớn và đám mây, nơi hệ thống đích có năng lực xử lý mạnh, cho phép chuyển đổi dữ liệu linh hoạt và có khả năng mở rộng.

3. Các công cụ ETL phổ biến là gì?

Các công cụ ETL phổ biến bao gồm:

• Apache Airflow: Nền tảng mã nguồn mở để xây dựng, lập lịch và giám sát quy trình làm việc, có giao diện web và dòng lệnh, sử dụng đồ thị có hướng không chu trình (DAG) để trực quan hóa và quản lý tác vụ, tích hợp với các công cụ như Apache Spark và Pandas, có khả năng mở rộng quy trình phức tạp, được hỗ trợ bởi cộng đồng năng động và tài liệu phong phú.
• Portable.io: Nền tảng ELT không cần mã, xây dựng các kết nối tùy chỉnh theo yêu cầu, cung cấp hơn 1.300 kết nối ETL độc nhất để thu nạp dữ liệu từ nhiều nguồn, cho phép quản lý dữ liệu hiệu quả và mở rộng, với chi phí hợp lý và các tính năng bảo mật nâng cao để đảm bảo bảo vệ dữ liệu và tuân thủ.
• Apache NiFi: Công cụ tích hợp dữ liệu mã nguồn mở được thiết kế để tự động hóa luồng dữ liệu giữa các hệ thống. Cung cấp giao diện web để xây dựng data pipeline, nhấn mạnh xử lý dữ liệu theo thời gian thực và dễ sử dụng. NiFi hỗ trợ nhiều định dạng và giao thức dữ liệu, phù hợp cho ứng dụng IoT và dữ liệu streaming.
• Microsoft SSIS (SQL Server Integration Services): Công cụ ETL mạnh mẽ đi kèm SQL Server, cung cấp nền tảng tích hợp, chuyển đổi và di trú dữ liệu vững chắc. SSIS có giao diện đồ họa để xây dựng quy trình ETL và tích hợp chặt chẽ với các sản phẩm Microsoft khác. Đặc biệt phù hợp với các tổ chức sử dụng hệ sinh thái Microsoft cho quản lý dữ liệu.

Câu hỏi phỏng vấn ETL trung cấp

Đối với những người đã có một số kinh nghiệm với ETL, các câu hỏi này sẽ kiểm tra hiểu biết chi tiết của bạn.

4. Giải thích khái niệm kho dữ liệu (data warehouse).

Kho dữ liệu là hệ thống cấp doanh nghiệp dùng để phân tích và báo cáo dữ liệu có cấu trúc và bán cấu trúc từ nhiều nguồn. Do đó, vai trò của nó trong quy trình ETL là hợp nhất dữ liệu từ nhiều nguồn, đảm bảo chất lượng, tính nhất quán và độ tin cậy của dữ liệu.

Trong bối cảnh ETL, dữ liệu được trích xuất từ nhiều hệ thống, chuyển đổi để đáp ứng định dạng chuẩn hóa và tiêu chí chất lượng, rồi được nạp vào kho dữ liệu. Kho lưu trữ có cấu trúc này cho phép truy vấn, phân tích và báo cáo hiệu quả, hỗ trợ business intelligence và giúp ra quyết định dựa trên dữ liệu toàn diện, chính xác.

5. Khu vực staging trong ETL là gì?

Khu vực staging, hay landing zone, là nơi lưu trữ trung gian trong quy trình ETL. Nó tạm thời giữ dữ liệu thô từ các hệ thống nguồn trước khi thực hiện bất kỳ chuyển đổi nào. Không gian này rất quan trọng để hợp nhất và thực hiện các kiểm tra chất lượng ban đầu, đảm bảo dữ liệu sạch và chính xác.

Nó cũng giúp xử lý hiệu quả khối lượng dữ liệu lớn và chuẩn bị cho việc chuyển đổi chính xác. Cuối cùng, khu vực staging giúp nạp dữ liệu chất lượng cao vào kho dữ liệu cuối cùng hoặc các kho đích khác.

6. Chuyển đổi dữ liệu là gì và vì sao quan trọng?

Chuyển đổi dữ liệu bao gồm chuyển đổi, làm sạch và cấu trúc dữ liệu thành định dạng có thể dễ dàng phân tích để hỗ trợ ra quyết định và thúc đẩy tăng trưởng tổ chức. Nó rất cần thiết khi dữ liệu cần được định dạng lại để phù hợp yêu cầu của hệ thống đích, và quan trọng vì đảm bảo mọi chỉ số đều thống nhất, từ đó phân tích tốt hơn và có được insight sâu sắc hơn.

Câu hỏi phỏng vấn ETL nâng cao

Nếu bạn là người thực hành dữ liệu có kinh nghiệm, bạn có thể cần kiến thức thực tiễn, chuyên sâu hơn. Bên cạnh việc xem các câu hỏi nâng cao này, hãy tham khảo thêm bài viết Câu hỏi phỏng vấn Data Architect.

7. Bạn xử lý việc nạp dữ liệu gia tăng (incremental) như thế nào?

Nạp dữ liệu gia tăng là kỹ thuật trong quy trình tích hợp dữ liệu để chỉ cập nhật dữ liệu mới hoặc đã thay đổi kể từ lần cập nhật gần nhất, thay vì nạp lại toàn bộ mỗi lần.

Cách tiếp cận này giảm thời gian xử lý và tài nguyên sử dụng. Các kỹ thuật giúp xác định gồm:

• Change Data Capture (CDC): Phương pháp xác định và bắt các thay đổi xảy ra với dữ liệu trong hệ thống nguồn. Có thể triển khai bằng trigger cơ sở dữ liệu, nhân bản dựa trên log, hoặc công cụ CDC chuyên dụng. Các phương pháp này theo dõi thay đổi ở mức cơ sở dữ liệu hoặc qua nhật ký giao dịch, đảm bảo chỉ dữ liệu thay đổi được xử lý trong các lần cập nhật gia tăng.
• Dấu thời gian (timestamp): Các mốc thời gian cho biết khi nào dữ liệu được sửa đổi hoặc cập nhật lần cuối. Bằng cách so sánh timestamp giữa hệ thống nguồn và đích, quy trình tích hợp có thể xác định hiệu quả bản ghi nào cần cập nhật hoặc chèn mới.

Cụ thể, quy trình xử lý nạp dữ liệu gia tăng bao gồm:

• Xác định: Xác định tiêu chí chọn dữ liệu gia tăng, như timestamp hoặc dấu hiệu CDC.
• Trích xuất: Trích xuất dữ liệu mới hoặc đã thay đổi từ hệ thống nguồn dựa trên tiêu chí đã xác định.
• Chuyển đổi: Chuyển đổi dữ liệu đã trích xuất khi cần, áp dụng các quy tắc nghiệp vụ hoặc chuyển đổi phục vụ tích hợp.
• Nạp: Nạp dữ liệu đã chuyển đổi vào hệ thống đích, cập nhật bản ghi hiện có và chèn bản ghi mới nếu phù hợp.

Thuật ngữ do AWS phổ biến năm 2022, gọi là zero-ETL, sử dụng các kỹ thuật nạp dữ liệu gia tăng khác nhau để tự động hóa quy trình ETL trong hệ sinh thái AWS.

8. Những thách thức của ETL trong bối cảnh dữ liệu lớn là gì?

Năm thách thức chính của ETL trong kịch bản dữ liệu lớn gồm:

1. Khả năng mở rộng

Các công cụ ETL truyền thống có thể gặp khó khăn khi mở rộng hiệu quả để xử lý khối lượng dữ liệu lớn. Khi dữ liệu tăng, yêu cầu về năng lực xử lý và lưu trữ tăng theo cấp số nhân, đòi hỏi giải pháp có khả năng mở rộng.

Có thể giảm thiểu bằng các công nghệ như Hadoop và Spark, cung cấp khung tính toán phân tán có thể mở rộng theo chiều ngang trên cụm phần cứng phổ thông. Các khung này cho phép xử lý song song và xử lý tập dữ liệu khổng lồ hiệu quả hơn công cụ ETL truyền thống.

2. Đa dạng dữ liệu

Môi trường dữ liệu lớn thường liên quan đến nhiều loại dữ liệu: có cấu trúc, bán cấu trúc và phi cấu trúc từ các nguồn như mạng xã hội, thiết bị IoT và log. Kỹ sư phải tích hợp và xử lý các định dạng, nguồn đa dạng, đòi hỏi chuyển đổi phức tạp, có thể dẫn đến thời gian xử lý tăng và nguy cơ không nhất quán.

Các công cụ như Hadoop Distributed File System (HDFS) và Apache Spark hỗ trợ xử lý định dạng dữ liệu đa dạng. Chúng cung cấp khả năng xử lý linh hoạt cho JSON, XML, Parquet, Avro, và hơn thế nữa. Tính đa dụng này cho phép tổ chức thu nạp và xử lý dữ liệu ở định dạng gốc, tạo điều kiện tích hợp liền mạch vào data pipeline.

3. Hiệu năng và thông lượng

Xử lý khối lượng dữ liệu lớn trong khoảng thời gian chấp nhận được đòi hỏi quy trình ETL hiệu năng cao. Tốc độ xử lý chậm có thể gây chậm trễ khả dụng dữ liệu và ảnh hưởng đến quyết định.

Có thể khắc phục bằng các công cụ như Hadoop và Spark, tận dụng xử lý trong bộ nhớ và cơ chế cache dữ liệu hiệu quả để tăng hiệu năng. Chúng tối ưu pipeline xử lý dữ liệu, cho phép thao tác ETL nhanh hơn ngay cả với bộ dữ liệu lớn. Ngoài ra, xử lý phân tán giảm thiểu di chuyển dữ liệu và độ trễ, cải thiện thông lượng.

4. Lựa chọn và tích hợp công cụ

Do tính đa dạng của nguồn dữ liệu, chọn đúng công cụ và tích hợp vào hạ tầng CNTT hiện có có thể là thách thức. Môi trường dữ liệu lớn thường cần nhiều công nghệ cho thu nạp, chuyển đổi, nạp dữ liệu, và yêu cầu tương thích liền mạch cùng tối ưu hiệu năng xuyên suốt pipeline xử lý.

Tổ chức có thể giảm thiểu bằng cách đánh giá công cụ dựa trên trường hợp sử dụng và yêu cầu cụ thể. Ví dụ, các công cụ trong hệ sinh thái Hadoop như Apache Hive, Apache Kafka và Apache Sqoop bổ trợ cho Spark ở các giai đoạn khác nhau của quy trình ETL.

5. Chất lượng dữ liệu và quản trị

Đảm bảo chất lượng và quản trị dữ liệu vẫn là yếu tố then chốt trong bối cảnh dữ liệu lớn với khối lượng và nguồn dữ liệu rộng, đa dạng. Khối lượng, đa dạng và tốc độ cao có thể dẫn đến không nhất quán, thiếu chính xác và khó khăn trong việc duy trì tuân thủ, tiêu chuẩn hóa giữa các nguồn dữ liệu.

Việc triển khai kiểm tra chất lượng dữ liệu, quản lý siêu dữ liệu và khung quản trị là điều thiết yếu. Các công cụ và nền tảng cung cấp theo dõi dòng dữ liệu (data lineage), gắn thẻ siêu dữ liệu và khả năng xác thực dữ liệu tự động. Những biện pháp này giúp duy trì tính toàn vẹn dữ liệu và đảm bảo insight rút ra từ dữ liệu lớn là đáng tin và khả thi.

9. Giải thích khái niệm độ lệch dữ liệu (data skewness) trong quy trình ETL.

Độ lệch dữ liệu trong quy trình ETL đề cập đến việc phân bố dữ liệu không đồng đều giữa các phân vùng hoặc nút trong môi trường tính toán phân tán. Sự mất cân bằng này thường xảy ra khi một số phân vùng hoặc nút nhận lượng dữ liệu quá lớn so với các nút khác. Nguyên nhân có thể do bản chất dữ liệu, phân bố khóa dùng để phân vùng, hoặc mất cân bằng từ nguồn dữ liệu.

Có một số vấn đề do độ lệch dữ liệu gây ra, ảnh hưởng đến hiệu năng quy trình ETL. Ví dụ:

• Kém hiệu quả tài nguyên: Một số nút bị sử dụng dưới mức trong khi nút khác bị quá tải, nghĩa là có nút phải xử lý nhiều dữ liệu hơn khả năng hiệu quả của chúng.
• Tăng thời gian xử lý: Quy trình ETL thường đợi tất cả phân vùng hoàn tất trước khi chuyển sang giai đoạn tiếp theo. Nếu một phân vùng lớn hơn đáng kể và mất nhiều thời gian, nó sẽ trì hoãn toàn bộ job ETL.
• Quá tải bộ nhớ và CPU: Các nút có phân vùng lệch có thể dùng bộ nhớ và CPU quá mức. Việc sử dụng quá đà có thể gây sập hệ thống hoặc cần thêm tài nguyên tính toán, làm tăng chi phí vận hành.
• Mất cân bằng tải: Phân bổ khối lượng công việc không đều không chỉ ảnh hưởng đến quy trình ETL mà còn đến hiệu năng các tác vụ đồng thời khác trên cùng hạ tầng. Mất cân bằng tải có thể làm suy giảm hiệu năng toàn hệ thống, dẫn đến kém hiệu quả trên nhiều ứng dụng và quy trình.

Giải quyết độ lệch dữ liệu cần các chiến lược hợp lý để đảm bảo phân phối dữ liệu cân bằng hơn giữa các nút và phân vùng. Một vài kỹ thuật có thể áp dụng gồm:

• Phân vùng dữ liệu
• Cân bằng tải
• Xử lý join bị lệch
• Lấy mẫu và tổng hợp dữ liệu
• Thực thi truy vấn thích ứng
• Logic phân vùng tùy chỉnh

Câu hỏi phỏng vấn về kiểm thử ETL

Những câu hỏi này sẽ kiểm tra kiến thức của bạn về quy trình kiểm thử ETL.

10. Các bước trong quy trình kiểm thử ETL là gì?

Các bước trong quy trình kiểm thử ETL bao gồm:

Bước 1: Phân tích yêu cầu nghiệp vụ

Thu thập và phân tích yêu cầu nghiệp vụ cho di trú dữ liệu, quy tắc chuyển đổi và tích hợp. Xác định rõ mục tiêu của kiểm thử ETL.

Bước 2: Xác định nguồn dữ liệu

Xác định tất cả nguồn dữ liệu, bao gồm cơ sở dữ liệu và hệ thống bên ngoài. Phân tích mô hình và lược đồ dữ liệu của hệ thống nguồn để hiểu quan hệ và phụ thuộc dữ liệu. Sau khi hoàn tất, xây dựng kế hoạch trích xuất dữ liệu.

Bước 3: Thiết kế test case

Xác định các kịch bản kiểm thử dựa trên yêu cầu nghiệp vụ và quy tắc chuyển đổi dữ liệu. Tạo test case chi tiết cho từng kịch bản, nêu rõ dữ liệu đầu vào, đầu ra kỳ vọng và tiêu chí xác thực. Chuẩn bị dữ liệu kiểm thử cho các kịch bản khác nhau, đảm bảo bao quát các trường hợp biên và biến thể dữ liệu.

Bước 4: Thực thi kiểm thử

Có ba giai đoạn thực thi kiểm thử:

• Kiểm thử giai đoạn trích xuất (giai đoạn 1): Xác minh dữ liệu được trích từ hệ thống nguồn chính xác và số bản ghi trích xuất khớp với số lượng kỳ vọng.
• Kiểm thử giai đoạn chuyển đổi (giai đoạn 2): Ở giai đoạn này, xác minh các chuyển đổi dữ liệu được áp dụng đúng theo quy tắc nghiệp vụ. Kiểm tra vấn đề chất lượng dữ liệu như trùng lặp, thiếu giá trị, định dạng sai.
• Kiểm thử giai đoạn nạp (giai đoạn 3): Xác thực dữ liệu được nạp chính xác vào hệ thống đích. Đảm bảo toàn vẹn dữ liệu bằng cách xác thực toàn vẹn tham chiếu và tính nhất quán. Khi hoàn tất, đánh giá hiệu năng quy trình ETL để đảm bảo đáp ứng thời gian nạp và thông lượng yêu cầu.

Bước 5: Báo cáo

Ghi lại kết quả của từng test case, bao gồm mọi sai lệch hoặc lỗi phát hiện. Ghi log các lỗi xác định trong quá trình kiểm thử vào hệ thống theo dõi lỗi và theo dõi việc khắc phục.

Tiếp theo, chuẩn bị báo cáo tóm tắt chi tiết quy trình kiểm thử tổng thể, các test case đã thực hiện, lỗi phát hiện và trạng thái xử lý. Báo cáo này sẽ được truyền đạt tới các bên liên quan. Sau khi phản hồi kết quả, tiến hành rà soát sau kiểm thử để đánh giá hiệu quả quy trình và xác định điểm cần cải thiện.

11. Bạn đảm bảo chất lượng dữ liệu trong ETL như thế nào?

Đảm bảo chất lượng dữ liệu trong quy trình ETL rất quan trọng để duy trì tính toàn vẹn và độ tin cậy của dữ liệu khi đi qua các giai đoạn khác nhau. Các phương pháp xác thực độ chính xác, nhất quán và toàn vẹn dữ liệu trong suốt quy trình ETL bao gồm:

Hồ sơ dữ liệu (data profiling)

Mục tiêu của data profiling là hiểu cấu trúc, nội dung, mối quan hệ và chất lượng của dữ liệu.

Quy trình bao gồm phân tích từng cột để kiểm tra kiểu dữ liệu, mẫu, tính duy nhất và tính đầy đủ; xác định mối quan hệ giữa các cột để đảm bảo toàn vẹn tham chiếu và tính nhất quán; và xem xét phân phối dữ liệu để phát hiện ngoại lệ, trùng lặp hoặc thiếu giá trị.

Kỹ thuật này giúp phát hiện bất thường dữ liệu sớm và định hướng yêu cầu làm sạch, chuyển đổi dữ liệu.

Làm sạch dữ liệu

Làm sạch dữ liệu bao gồm sửa, làm giàu hoặc loại bỏ dữ liệu không chính xác, không đầy đủ hoặc không nhất quán.

Các phương pháp gồm:

• Chuẩn hóa: Chuẩn hóa định dạng dữ liệu (ví dụ: ngày tháng, địa chỉ) để đảm bảo nhất quán.
• Xác thực: Xác minh dữ liệu theo quy tắc định sẵn (ví dụ: định dạng email, phạm vi số).
• Khử trùng lặp: Xác định và loại bỏ bản ghi trùng để duy trì toàn vẹn dữ liệu.
• Bù khuyết: Điền giá trị thiếu bằng kỹ thuật như trung bình, trung vị hoặc mô hình dự đoán.

Thực hiện làm sạch dữ liệu hữu ích vì cải thiện độ chính xác và tính đầy đủ, giảm lỗi ở các bước sau trong quy trình ETL.

Quy tắc và kiểm tra chất lượng dữ liệu

Xác định và thực thi quy tắc chất lượng dữ liệu để xác thực tính toàn vẹn và độ chính xác.

Ba loại kiểm tra cần thực hiện hiệu quả gồm:

• Cấp trường (field-level): Xác thực dữ liệu theo quy tắc định sẵn (ví dụ: phạm vi dữ liệu, ràng buộc).
• Giữa các trường (cross-field): Đảm bảo tính nhất quán giữa các trường liên quan (ví dụ: ngày bắt đầu và kết thúc).
• Toàn vẹn tham chiếu: Xác thực mối quan hệ giữa các bảng để duy trì tính nhất quán.

Điều này áp đặt tiêu chuẩn dữ liệu và đảm bảo tuân thủ quy tắc nghiệp vụ và quy định.

Xác thực dữ liệu

Xác thực dữ liệu nhằm đảm bảo các chuyển đổi và tổng hợp là đúng và nhất quán.

Điều này được thực hiện thông qua các phương pháp xác thực như:

• Xác thực số dòng (Row Count): Xác minh số dòng xử lý ở mỗi giai đoạn khớp kỳ vọng.
• Xác thực checksum: Tính checksum hoặc hash để xác minh toàn vẹn dữ liệu trong quá trình chuyển đổi.
• Xác thực thống kê: So sánh kết quả tổng hợp với giá trị kỳ vọng để phát hiện sai lệch.

Xử lý lỗi và ghi log

Triển khai cơ chế bắt và xử lý lỗi gặp phải trong quy trình ETL cho phép chủ động xác định và khắc phục vấn đề chất lượng dữ liệu, duy trì độ tin cậy.

Kỹ thuật phổ biến là xử lý ngoại lệ, một quy trình được định nghĩa để giảm thiểu lỗi, như cơ chế thử lại hoặc thông báo cảnh báo. Đồng thời ghi log và giám sát tất cả lỗi và ngoại lệ cho mục đích kiểm toán và khắc phục sự cố.

12. Giải thích lỗi ETL và các vấn đề thường gặp.

Quy trình ETL dễ gặp lỗi và vấn đề ảnh hưởng đến độ chính xác, tính đầy đủ và độ tin cậy của dữ liệu. Dưới đây là một số lỗi ETL thường gặp:

• Lỗi tính toán: Xảy ra khi logic chuyển đổi không cho ra kết quả như mong đợi, dẫn đến đầu ra dữ liệu sai.
• Lỗi nguồn: Bắt nguồn từ vấn đề trong dữ liệu nguồn, như thiếu giá trị, bản ghi trùng, hoặc định dạng dữ liệu không nhất quán.
• Lỗi kiểm soát phiên bản: Xảy ra khi có sai lệch hoặc không nhất quán giữa các phiên bản thành phần ETL hoặc mô hình dữ liệu.
• Lỗi vào/ra (I/O): Xảy ra khi có lỗi hoặc không nhất quán trong việc đọc dữ liệu đầu vào hoặc ghi dữ liệu đầu ra trong quá trình ETL.
• Lỗi giao diện người dùng (UI): Lỗi UI đề cập đến vấn đề liên quan đến giao diện đồ họa hoặc giao diện dòng lệnh dùng để quản lý quy trình ETL
• Lỗi điều kiện tải: Xảy ra khi quy trình ETL không xử lý hiệu quả các điều kiện tải dự kiến hoặc bất thường.

Câu hỏi phỏng vấn nhà phát triển ETL

Nếu bạn ứng tuyển vị trí yêu cầu kiến thức phát triển thực hành, dưới đây là một số câu hỏi bạn có thể gặp:

13. Bạn tối ưu hiệu năng ETL như thế nào?

Các kỹ thuật có thể dùng để tối ưu hiệu năng ETL bao gồm:

Xử lý song song

Xử lý song song là chia nhỏ tác vụ ETL thành các đơn vị nhỏ hơn có thể thực thi đồng thời trên nhiều luồng, bộ xử lý hoặc nút. Điều này cho phép nhiều tác vụ chạy cùng lúc, giảm tổng thời gian thực thi và sử dụng hiệu quả tài nguyên tính toán sẵn có.

Phân vùng dữ liệu

Bằng cách chia bộ dữ liệu lớn thành các phân vùng nhỏ, dễ quản lý theo tiêu chí định sẵn (ví dụ: range, hash, list), người thực hành có thể phân phối xử lý dữ liệu trên nhiều nút hoặc máy chủ, giúp cải thiện khả năng mở rộng. Điều này cũng giảm thiểu vấn đề lệch dữ liệu.

Tối ưu truy vấn SQL

Các truy vấn SQL dùng trong quy trình ETL có thể tối ưu để cải thiện hiệu năng bằng cách giảm thời gian thực thi và tiêu thụ tài nguyên. Các kỹ thuật như viết lại truy vấn, tức là viết lại để loại bỏ join không cần thiết, giảm trùng lặp dữ liệu và tối ưu điều kiện lọc, có thể được áp dụng để tối ưu hiệu năng tổng thể của ETL.

Quản lý bộ nhớ và bộ đệm

Quản lý bộ nhớ và chiến lược cache hiệu quả có thể cải thiện đáng kể hiệu năng ETL bằng cách giảm thao tác I/O đĩa và tăng tốc độ truy xuất dữ liệu.

Các kỹ thuật bao gồm:

• Xử lý trong bộ nhớ
• Buffering
• Cấp phát bộ nhớ

Nạp gia tăng và Change Data Capture (CDC)

Nạp gia tăng chỉ cập nhật dữ liệu đã thay đổi hoặc mới kể từ lần chạy ETL gần nhất thay vì xử lý toàn bộ dữ liệu. Điều này giảm lượng dữ liệu cần xử lý, giúp job ETL chạy nhanh hơn và tạo điều kiện cập nhật gần thời gian thực bằng cách bắt thay đổi khi chúng xảy ra (CDC).

14. Vai trò của ETL mapping sheet là gì?

ETL mapping sheet chứa thông tin thiết yếu về bảng nguồn và đích, bao gồm mọi hàng và cột. Các sheet này hỗ trợ chuyên gia xây dựng truy vấn SQL để kiểm thử công cụ ETL. Chúng có thể được tham chiếu ở bất kỳ giai đoạn kiểm thử nào để xác minh độ chính xác dữ liệu và đơn giản hóa việc tạo truy vấn xác minh dữ liệu.

15. Mô tả việc sử dụng Lookup Transformation trong ETL.

Lookup transformation làm giàu và xác thực dữ liệu bằng cách đối sánh và truy xuất thông tin bổ sung từ bảng tham chiếu dựa trên khóa xác định. Chuyển đổi này đặc biệt hữu ích cho các tác vụ như cập nhật bảng chiều trong kho dữ liệu, quản lý chiều thay đổi chậm và đảm bảo tính nhất quán, độ chính xác dữ liệu bằng cách tham chiếu một nguồn sự thật duy nhất. Nó đơn giản hóa các phép join phức tạp và tự động hóa việc duy trì bộ dữ liệu cập nhật, chính xác.

Câu hỏi phỏng vấn SQL ETL

SQL thường là công cụ chủ chốt cho những người sử dụng ETL, vì vậy bạn nên kỳ vọng một số câu hỏi về chủ đề này

16. Bạn viết truy vấn SQL hiệu quả cho ETL như thế nào?

Dưới đây là một vài kỹ thuật để viết truy vấn SQL hiệu quả cho ETL:

Đánh chỉ mục (Indexing)

Đảm bảo các cột khóa chính và khóa ngoại được đánh chỉ mục để tăng tốc join và tra cứu. Chỉ mục tổng hợp cho các cột thường dùng cùng nhau trong mệnh đề WHERE cũng hữu ích, nhưng tránh lạm dụng. Dù chỉ mục cải thiện hiệu năng đọc, chúng có thể làm giảm hiệu năng ghi. Chỉ đánh chỉ mục các cột thường xuyên được truy vấn.

Lập kế hoạch truy vấn

Sử dụng EXPLAIN hoặc EXPLAIN PLAN để phân tích cách truy vấn sẽ được thực thi và xác định nút thắt cổ chai – việc cung cấp gợi ý cho bộ tối ưu truy vấn để ảnh hưởng kế hoạch thực thi khi cần cũng hữu ích.

Tối ưu phép join là một chiến lược nằm trong lập kế hoạch truy vấn. Đảm bảo dùng đúng loại join và chọn loại join hiệu quả nhất (INNER JOIN, LEFT JOIN, v.v.) dựa trên yêu cầu truy vấn.

Những lỗi thường gặp cần tránh

Cũng có các lỗi phổ biến làm suy giảm hiệu năng truy vấn SQL. Bao gồm:

• SELECT *: Không chọn tất cả cột khi không cần thiết. Tốt hơn nên chỉ định các cột cần thiết để giảm lượng dữ liệu xử lý và truyền tải.
• Thực hiện nhiều hàm trong mệnh đề WHERE: Tốt hơn nên tính toán giá trị bên ngoài truy vấn hoặc sử dụng cột tính toán đã được đánh chỉ mục.
• Không dùng xử lý theo lô (batch): Chia nhỏ thao tác lớn thành các lô nhỏ để tránh giao dịch chạy lâu và giảm tranh chấp khóa.
• Kiểu dữ liệu không phù hợp: Chọn kiểu dữ liệu hiệu quả nhất cho cột để tiết kiệm lưu trữ và cải thiện hiệu năng.

17. Các hàm SQL phổ biến dùng trong ETL là gì?

Trong quy trình ETL, các hàm SQL phổ biến nhất gồm join, tổng hợp và hàm cửa sổ (window). Cụ thể, thường thấy dùng INNER JOIN để kết hợp dữ liệu từ nhiều bảng dựa trên cột khớp và các phép tổng hợp như SUM, AVG, COUNT để tóm tắt dữ liệu. Các hàm cửa sổ như ROW_NUMBER cũng thường được dùng để tính toán trên một tập hàng trong tập kết quả.

Kết luận

Trong bối cảnh dữ liệu ngày nay, thành thạo quy trình ETL không chỉ là một kỹ năng mà còn là tài sản chiến lược cho tổ chức. Từ đảm bảo toàn vẹn dữ liệu đến cho phép tích hợp liền mạch giữa các nguồn rời rạc, chuyên gia ETL đóng vai trò then chốt trong việc thúc đẩy insight kinh doanh và hiệu quả vận hành.

Bằng cách chuẩn bị kỹ lưỡng với những nội dung trong bài viết này, ứng viên có thể tự tin vượt qua phỏng vấn ETL, thể hiện khả năng khai thác dữ liệu để tạo lợi thế chiến lược và đóng góp hiệu quả cho đội ngũ, tổ chức của mình.

Để học thêm, hãy xem một số tài nguyên dưới đây:

• Danh sách 20 công cụ ETL tốt nhất và lý do lựa chọn
• Xây dựng ETL Pipeline với Airflow
• Nhập môn Data Engineering
• Data Engineer trong Python
• Chứng chỉ nghề nghiệp Data Engineer