Dữ liệu tổng hợp là gì?

Dữ liệu tổng hợp, được sử dụng trong khoa học dữ liệu và học máy, là dữ liệu được tạo ra một cách nhân tạo, cho phép nhà nghiên cứu và nhà phát triển kiểm thử và cải thiện thuật toán mà không làm rủi ro đến quyền riêng tư hoặc bảo mật của dữ liệu thế giới thực.

Giải thích về dữ liệu tổng hợp

Về bản chất, dữ liệu tổng hợp là dữ liệu nhân tạo được tạo ra bằng thuật toán. Nó được thiết kế để mô phỏng các đặc điểm của dữ liệu thế giới thực mà không chứa bất kỳ thông tin thực tế nào. Được sử dụng rộng rãi trong khoa học dữ liệu và học máy, dữ liệu tổng hợp cho phép kiểm thử và cải thiện thuật toán mà không làm rủi ro đến quyền riêng tư hoặc bảo mật của dữ liệu thế giới thực. Nó cũng có thể được dùng để bổ sung cho các bộ dữ liệu hiện có, đặc biệt trong các trường hợp dữ liệu gốc bị hạn chế hoặc thiên lệch.

Việc tạo dữ liệu tổng hợp được thực hiện bằng cách sử dụng các phương pháp thống kê, học máy, hoặc kết hợp cả hai để tạo ra dữ liệu phản ánh cấu trúc và các mẫu hình có trong dữ liệu gốc. Chẳng hạn, Mạng đối sinh (GAN), một lớp khung học máy trong đó hai mạng nơ-ron cạnh tranh với nhau, thường được sử dụng. GAN hoạt động bằng cách có một mạng, bộ sinh, tạo ra các mẫu dữ liệu tổng hợp, trong khi mạng còn lại, bộ phân biệt, đánh giá tính xác thực của chúng. Thông qua quá trình này, bộ sinh học cách tạo ra dữ liệu ngày càng chân thực hơn.

Cũng có một số công cụ thương mại có thể dùng để tạo dữ liệu tổng hợp, chẳng hạn như MOSTLY AI và Hazy.

Ứng dụng dữ liệu tổng hợp trong thực tế

Dữ liệu tổng hợp được ứng dụng trong nhiều lĩnh vực:

• Xe tự hành. Các công ty như Waymo và Tesla sử dụng dữ liệu tổng hợp để huấn luyện thuật toán tự lái. Họ tạo ra các môi trường ảo mô phỏng kịch bản thế giới thực, cho phép thuật toán học cách phản ứng trong các tình huống khác nhau mà không có rủi ro từ thử nghiệm ngoài đời.
• Chăm sóc sức khỏe. Dữ liệu tổng hợp được dùng để tạo hồ sơ sức khỏe phục vụ nghiên cứu. Điều này cho phép nhà nghiên cứu làm việc với dữ liệu duy trì các thuộc tính thống kê của dữ liệu bệnh nhân thực mà không ảnh hưởng đến quyền riêng tư của họ. Ví dụ, dữ liệu tổng hợp có thể được dùng để tạo hình ảnh cơ quan hoặc mô một cách chân thực, sau đó dùng để huấn luyện thuật toán nhận dạng mẫu hình và phát hiện bất thường trong ảnh bệnh nhân thực. Điều này giúp chẩn đoán và lập kế hoạch điều trị chính xác, hiệu quả hơn mà không cần lượng lớn dữ liệu bệnh nhân thực. Hãy học cách xử lý thông tin nhạy cảm bằng cách tham gia khóa học về quyền riêng tư dữ liệu và ẩn danh hóa với Python hoặc R.
• Tài chính. Dữ liệu tổng hợp được dùng để mô phỏng thị trường tài chính, cho phép kiểm thử các chiến lược giao dịch và mô hình rủi ro mà không cần dữ liệu thị trường thực. Ví dụ, trong mô hình hóa rủi ro tín dụng, dữ liệu tổng hợp có thể được dùng để mô phỏng đặc điểm người vay và hành vi tín dụng, cho phép bên cho vay kiểm thử và tinh chỉnh mô hình rủi ro tín dụng mà không làm lộ thông tin khách hàng nhạy cảm. Điều này có thể giúp cải thiện độ chính xác của chấm điểm tín dụng và giảm rủi ro vỡ nợ cho bên cho vay.
• Học máy. Một cách để cải thiện chung hiệu năng và độ chính xác của mô hình học máy là sử dụng dữ liệu tổng hợp. Cách này có thể giúp giải quyết các vấn đề như dữ liệu mất cân bằng và giảm thiên lệch trong các bộ dữ liệu hiện có.

Hạn chế của dữ liệu tổng hợp là gì?

Bên cạnh lợi ích, dữ liệu tổng hợp cũng có những hạn chế:

• Chất lượng. Chất lượng của dữ liệu tổng hợp phụ thuộc vào thuật toán dùng để tạo ra nó. Nếu thuật toán không nắm bắt chính xác phân phối cơ bản của dữ liệu thế giới thực, dữ liệu tổng hợp có thể không đại diện tốt.
• Thiên lệch. Dữ liệu tổng hợp được tạo dựa trên những giả định, thuật toán hoặc mô hình nhất định. Nếu các giả định nền tảng này thiên lệch hoặc không phản ánh chính xác kịch bản thực tế, dữ liệu tổng hợp có thể kế thừa các thiên lệch đó. Dữ liệu tổng hợp thiên lệch có thể dẫn đến mô hình hoặc dự đoán lệch lạc, thiếu chính xác.
• Khó nắm bắt sự kiện hiếm. Các sự kiện hiếm hoặc ngoại lệ trong dữ liệu thực có thể không được phản ánh đầy đủ trong dữ liệu tổng hợp. Việc tạo dữ liệu tổng hợp mô tả chính xác những trường hợp cực kỳ hiếm hoặc ngoại lệ là thách thức. Hạn chế này có thể ảnh hưởng đến hiệu năng của các mô hình chỉ được huấn luyện bằng dữ liệu tổng hợp khi xử lý các trường hợp ngoại lệ.
• Độ phức tạp. Tạo dữ liệu tổng hợp chất lượng cao có thể là quá trình phức tạp, đòi hỏi kiến thức chuyên sâu về kỹ thuật học máy và tài nguyên tính toán đáng kể.

Sử dụng dữ liệu tổng hợp cho dự án

Gartner dự đoán rằng đến năm 2024, 60% dữ liệu được dùng để tạo các ứng dụng học máy và phân tích sẽ được tạo nhân tạo. Xu hướng này xuất phát từ chi phí cao và sự khan hiếm khi thu thập, làm sạch dữ liệu thế giới thực.

Ví dụ, dữ liệu liên quan đến gian lận ngân hàng, ung thư vú, xe tự lái và tấn công phần mềm độc hại rất khó thu thập ngoài đời thực. Và ngay cả khi bạn có được dữ liệu, việc làm sạch và xử lý để sử dụng trong các tác vụ học máy có thể tốn rất nhiều thời gian và nguồn lực.

Ngoài ra, tôi sử dụng thư viện Python faker để tạo các bộ dữ liệu mẫu phục vụ kiểm thử cơ sở dữ liệu và nhiều ứng dụng khác. Tuy nhiên, nó không hữu ích cho các ứng dụng học máy vì tạo dữ liệu từ một tập mẫu hạn chế. Đối với học máy, tôi dùng GAN có điều kiện để tạo dữ liệu dạng bảng tổng hợp. Cách này đã giúp cải thiện hiệu năng và độ ổn định của mô hình.

Nếu bạn đang giải quyết một bài toán học máy chuyên biệt, bạn có thể cần khám phá các kỹ thuật tạo dữ liệu tổng hợp để đáp ứng yêu cầu cụ thể của mình. Điều này là vì việc lấy dữ liệu lỗi thời trên Kaggle và dữ liệu Accuriqin là thiếu tính thích ứng.

Bạn muốn tìm hiểu thêm về AI và học máy? Hãy xem các tài nguyên sau:

• Khóa học Hiểu về học máy
• Khóa học Hiểu về AI
• Khóa học Học ChatGPT
• Học máy là gì?
• Hướng dẫn về Mạng đối sinh (GAN)