Những điều Lục quân Hoa Kỳ có thể dạy bạn về Khoa học dữ liệu

Khi tôi vừa hoàn thành lộ trình nghề nghiệp Data Scientist with Python của DataCamp, tôi cảm thấy đã sẵn sàng đối mặt với những thử thách dữ liệu thực tế, nhưng mọi thứ không đơn giản như vậy. Hoàn thành các khóa học trên DataCamp hoặc ở trường đại học chỉ là bước đầu trên chặng đường dài để trở thành nhà khoa học dữ liệu. Những kỹ năng bạn học được cần được luyện tập, bồi đắp và biến thành một danh mục dự án có thể thể hiện những gì bạn đã học và chứng minh với nhà tuyển dụng tiềm năng rằng bạn có thể đóng góp cho đội ngũ của họ.

Vậy làm sao để đến được đó?

Có vài công cụ trong hộp đồ nghề và bạn khá biết cách dùng chúng là một chuyện, nhưng bắt đầu như thế nào lại có thể là một nhiệm vụ đáng ngại.

Vậy bạn nên bắt đầu từ đâu?

Bài viết này không nói về đoạn mã bạn sẽ viết, mà nói về quy trình bạn sẽ trải qua. Bài viết sẽ cố gắng trả lời câu hỏi trên từ trải nghiệm của tôi trong quân đội Hoa Kỳ.

Công tác Dân sự và Quản lý Thông tin Dân sự

Trước khi bắt đầu con đường trở thành Nhà khoa học dữ liệu, tôi đã dành hai mươi năm trong quân đội Hoa Kỳ, năm năm cuối là ở lực lượng Dự bị Lục quân Hoa Kỳ, nhánh Công tác Dân sự (Civil Affairs). Nói ngắn gọn, Civil Affairs là nhánh chịu trách nhiệm ổn định một khu vực sau thảm họa hoặc xung đột. Họ được triển khai trong những tình huống từ đợt bùng phát Ebola ở vùng Sừng châu Phi từ năm 2014 đến 2016 cho đến phục hồi sau bão Katrina. Họ cũng được sử dụng rất nhiều trong các cuộc xung đột như Chiến tranh Iraq. Sứ mệnh của họ là đưa một khu vực trở lại trạng thái “bình thường” trước khi thảm họa xảy ra.

Giờ bạn có thể thắc mắc: điều này liên quan gì đến các nhà khoa học dữ liệu?

Civil Affairs dựa vào thông tin. Tức là dữ liệu. Để đưa một khu vực trở lại bình thường, họ phải biết “bình thường” là như thế nào, và liệu “bình thường” có đủ để khiến khu vực đó ổn định hay không. Người dân một khu vực có thể cho rằng thiếu hệ thống giáo dục, an ninh, hoặc thậm chí nước sạch là điều bình thường. Việc ra quyết định về những gì một khu vực cần để ổn định đòi hỏi lượng dữ liệu khổng lồ phải được thu thập, phân tích và đặt vào tay người ra quyết định.

Những người ra quyết định trong Civil Affairs là những gì bạn gọi là “lãnh đạo cấp cao” trong môi trường doanh nghiệp Mỹ. Họ là các quan chức quân đội và chính phủ cấp cao, lãnh đạo từ các tổ chức như Chữ thập đỏ và Tổ chức Y tế Thế giới, những người đưa ra quyết định cuối cùng về việc phân bổ tiền bạc, công sức và thời gian. Quyết định của họ phụ thuộc rất nhiều vào kết quả của thông tin chất lượng, được thu thập qua một quy trình gọi là Quản lý Thông tin Dân sự (Civil Information Management - CIM).

Thời gian của tôi ở Civil Affairs là để dẫn dắt một đội CIM, giảng dạy quy trình CIM cho các đơn vị khác trong Civil Affairs và cải tiến các kỹ thuật chúng tôi dùng cho quy trình này. Tôi được coi là Chuyên gia về chủ đề (SME) đối với CIM, và tôi có thể nói với bạn rằng nó không chỉ dành cho quân đội. Dữ liệu chúng tôi dùng không phải là tài liệu mật. Nó phải có thể được sử dụng bởi quân đội, chính quyền địa phương, FEMA và các tổ chức dân sự như Chữ thập đỏ và WHO.

Quy trình CIM mà chúng tôi dùng để thu thập, phân tích và phổ biến thông tin đó có thể áp dụng cho khoa học dữ liệu và theo những gì tôi thấy trên DataCamp, nó được sử dụng rộng rãi, chỉ khác tên gọi.

Khoa học dữ liệu vượt ra ngoài dòng lệnh hay Jupyter Notebook. Khi bạn làm việc với một bộ dữ liệu, gần như luôn có mục tiêu cuối cùng và có “khách hàng”. Nếu bạn khám phá một bộ dữ liệu vì tò mò hoặc để luyện kỹ năng, khách hàng chính là bạn. Khách hàng có thể là độc giả blog, đồng nghiệp, cấp quản lý, hoặc một khách hàng trả phí.

Nếu bạn chấp nhận rằng luôn có khách hàng, thì bạn cũng phải chấp nhận rằng luôn cần có “sản phẩm”, và sản phẩm đó phải trả lời “câu hỏi” tối quan trọng.

Câu hỏi

Trước khi bước vào quy trình CIM gồm sáu bước, bạn phải biết “Câu hỏi” là gì. Nói đơn giản, đó là lý do bạn thực hiện phân tích.

Ví dụ, trong Intro to Python for Data Science, câu hỏi là “Chiều cao trung vị của Thủ môn trong FIFA là bao nhiêu?”. Trong Cuộc thi Titanic của Kaggle, câu hỏi là “Kiểu người nào có khả năng sống sót cao nhất khi Titanic chìm?”.

Luôn luôn có câu hỏi, và trong nhiều trường hợp là có vài câu hỏi cần trả lời. Nay bạn đã biết “Câu hỏi” là gì, bạn có thể bắt đầu quy trình.

Quy trình CIM

Thu thập

Nếu không có dữ liệu thì sẽ chẳng có gì để phân tích và cũng không thật sự cần đến nhà khoa học dữ liệu. Các bộ dữ liệu dùng trên DataCamp, Kaggle, Driven Data và Data.gov đều phải được thu thập. Trên Internet có lượng dữ liệu gần như vô hạn và phần lớn việc thu thập có thể tự động hóa qua web scraping hoặc các kỹ thuật tự động khác. Khi còn ở Civil Affairs, tôi dựa rất nhiều vào CIA World Factbook, dữ liệu điều tra dân số và Google Maps.

Nhưng không phải lúc nào cũng dễ như vậy.

Tháng 11 năm 2016, thị trấn Gatlinburg, TN bị một trận cháy rừng tàn khốc tàn phá, phá hủy hơn 2.500 ngôi nhà và cơ sở kinh doanh. Khi đó tôi thuộc một đơn vị Civil Affairs ở Knoxville, TN gần đó và chúng tôi được yêu cầu hỗ trợ đánh giá thiệt hại. Khu vực quanh Gatlinburg là địa hình nông thôn, đồi núi với nhà cửa rải rác trong núi, gần như không thể cập nhật bản đồ kịp thời. Cách duy nhất để thu thập dữ liệu về những tòa nhà còn đứng vững là thu thập thủ công. Cùng với các tình nguyện viên địa phương và cơ quan nhà nước, chúng tôi chia đội, lái xe hoặc đi bộ trên những con đường nông thôn để tìm nhà. Với mỗi công trình bắt gặp, chúng tôi đánh dấu lên bản đồ và ghi mức độ hư hại. Dữ liệu đó sau đó được gửi về để cơ quan địa phương tổng hợp.

Một ví dụ hay khác về thu thập dữ liệu thủ công là bộ dữ liệu Scandens Beak Depth Heredity, được dùng trong Statistical Thinking in Python Phần 2. Dữ liệu đó thu được từ hơn 40 năm quan sát cá nhân!

Tôi chắc rằng bạn sẽ không phải vất vả đến mức đó để có dữ liệu để làm. Bạn có thể bắt đầu với các bộ dữ liệu được cung cấp ở đầu mỗi khóa học trên DataCamp, và nếu không có thứ gì bạn thích, bạn có thể duyệt các nguồn ở trên, hoặc đơn giản tìm kiếm Google cho dữ liệu bạn cần.

Tổng hợp

Thật tuyệt khi bạn tìm thấy một bộ dữ liệu có đầy đủ thông tin bạn cần, gói gọn gọn gàng. Tiếc là điều đó thường là ngoại lệ. Phần lớn thời gian, bạn sẽ tìm thấy dữ liệu ở dạng rời rạc cần được lắp ghép lại.

Tổng hợp là nơi dữ liệu bắt đầu được tổ chức từ dạng thô thành một tập dữ liệu có thể làm việc.

Mặc dù nhiều dữ liệu ban đầu trong Civil Affairs đến từ các nguồn Internet, đó chỉ là số ít. Phần lớn dữ liệu đến từ những người hiện diện tại thực địa. Các đội Civil Affairs sẽ vào khu vực, chụp ảnh, phỏng vấn người dân địa phương và đánh giá các công trình như sân bay, trường học, đồn cảnh sát và nhà máy điện. Tất cả dữ liệu đó quay về dưới dạng báo cáo viết và cần được tổng hợp thành thông tin có thể sử dụng. Tôi không trực tiếp tham gia tổng hợp dữ liệu thu được từ vụ cháy rừng đã nói, nhưng từng tấm bản đồ đánh dấu bằng tay đều phải được tổng hợp vào một nguồn duy nhất hiển thị tọa độ, tình trạng và mô tả tài sản của mọi địa điểm đã khảo sát.

Với tư cách một Nhà khoa học dữ liệu mới vào nghề, tôi nghĩ đa số chúng ta sẽ bắt đầu xử lý dữ liệu từ bước tổng hợp.

Lấy dữ liệu Scandens Beak Depth Heredity làm ví dụ. Mỗi báo cáo hằng ngày phải được tổng hợp thành báo cáo hằng tuần hoặc hằng tháng, rồi thành báo cáo hằng năm, và cuối cùng là một bộ dữ liệu duy nhất đại diện cho 40 năm dữ liệu.

Tổng hợp tốt có thể tiết kiệm rất nhiều công sức về sau vì đây là cơ hội để làm sạch dữ liệu trong khi đi và đưa vào các danh mục phù hợp, giúp việc xử lý về sau dễ dàng hơn. Các kỹ thuật như merge, join và append đặc biệt hữu ích ở bước tổng hợp.

Xử lý

Hãy thừa nhận rằng, ngay cả khi ta tìm được một bộ dữ liệu đã được thu thập và tổng hợp với đầy đủ thông tin cần thiết, rất có thể nó vẫn lộn xộn và cần làm sạch. Xử lý là nơi ta lấy “dữ liệu” và biến nó thành dạng sử dụng được, sẵn sàng cho phân tích. Trong Civil Affairs, tôi dành nhiều thời gian thu thập và tổng hợp dữ liệu, nhưng ở bước xử lý tôi thực sự hiểu dữ liệu và bắt đầu hình thành kế hoạch phân tích.

Trong đội CIM, tôi làm rất nhiều việc gọi là “đánh giá khu vực”. Đó đơn giản là phân tích sơ bộ một khu vực nhất định, trước khi chúng tôi đặt chân đến đó, để có ý tưởng về những vấn đề cần ưu tiên. Sau khi thu thập và tổng hợp tất cả dữ liệu liên quan về khu vực, chúng được xử lý thành thông tin có thể tiêu thụ, thậm chí trước cả phân tích. Kết quả thường là một sổ làm việc Excel hoặc cơ sở dữ liệu chứa thông tin đã sạch, được phân loại, có thể tìm kiếm hoặc lọc để trả lời những câu hỏi cơ bản không cần phân tích sâu.

Trong khoa học dữ liệu, đây là nơi chúng ta sắp xếp và khám phá dữ liệu, và thực hiện Phân tích Khám phá Dữ liệu (EDA). Bạn có thể tự tiết kiệm rất nhiều rắc rối về sau ở phần phân tích nếu cẩn thận phân loại và gán nhãn dữ liệu đúng cách, và đảm bảo kiểu dữ liệu là phù hợp. Xử lý dữ liệu đúng đắn sẽ đặt nền tảng tốt cho một phân tích chất lượng.

Phân tích

Quay lại ví dụ đánh giá khu vực trước đó, thật tuyệt khi có một bộ dữ liệu tôi có thể truy vấn và nhận câu trả lời. Tôi có thể tìm ra có bao nhiêu bác sĩ trong khu vực, hoặc có bao nhiêu gallon nước sạch trên mỗi người mỗi năm. Đây là những thông tin quan trọng, nhưng chưa phải là phân tích. Phân tích sẽ trả lời các câu hỏi như “khu vực này so với vùng lân cận về các mặt Chính quyền, Kinh tế, Hạ tầng, An ninh và Y tế thì như thế nào?” và “với tốc độ sử dụng hiện tại, bao lâu nữa khu vực sẽ cạn kiệt nước sạch?”.

Phân tích là phần cốt lõi mà hầu hết chúng ta đến với DataCamp để làm, đó cũng là phần tôi thấy thú vị nhất, và là nơi chúng ta trả lời câu hỏi tối quan trọng. Chủ đề này cũng được đề cập rất kỹ trong gần như mọi khóa học của DataCamp, nên tôi sẽ không đi sâu. Phần then chốt của phân tích là làm việc với dữ liệu và rút ra kết luận từ đó.

Sản phẩm

Quay lại vụ cháy rừng Gatlinburg. Sau khi tất cả dữ liệu được thu thập, tổng hợp và xử lý thành một cơ sở dữ liệu liệt kê tọa độ của từng tòa nhà, tình trạng hiện tại và mô tả thiệt hại, chúng tôi xác định rằng 60% tổng số công trình trong khu vực bị ảnh hưởng đã hư hại không thể sửa chữa. Chúng tôi đã trả lời câu hỏi “Bao nhiêu phần khu vực xung quanh bị ảnh hưởng bởi đám cháy?”.

Chúng tôi có thể tiến thêm một bước, xác định giá trị của từng tòa nhà bị hư hại và ước tính chi phí tái thiết toàn bộ khu vực, chi tiết theo khu phố và con đường. Chúng tôi thậm chí có thể xác định khu phố nào bị ảnh hưởng nặng nề nhất để ưu tiên nỗ lực tái thiết.

Phân tích rất tuyệt, nhưng sẽ vô ích nếu không được chuyển thành một sản phẩm, và đó chính là nội dung của bước Sản phẩm trong quy trình CIM. Mọi bước trước đều dẫn đến bước này, nơi bạn xây dựng hạng mục “trưng bày” – thứ bạn sẽ chia sẻ với khách hàng.

Đó là sự kết tinh của mọi việc bạn đã làm với dữ liệu. Sản phẩm có thể ở dạng Jupyter Notebook, bảng tính với bảng và biểu đồ, trang web, tệp PDF hoặc mã nguồn. Những ý tưởng khác gồm bài thuyết trình trực tiếp, video trình bày phân tích, hoặc trình chiếu bằng Sway hay PowerPoint. Dù lựa chọn của bạn là gì, nó phải phù hợp với nhu cầu của khách hàng. Có một số yêu cầu bổ sung:

1. Rõ ràng, ngắn gọn và dễ tiêu thụ với khách hàng.
2. Kể câu chuyện và có ý nghĩa với khách hàng.
3. Được điều chỉnh phù hợp với trình độ kỹ thuật và học vấn của khách hàng.

Phổ biến

Phổ biến là bước cuối trong quy trình CIM và thoạt nghe có vẻ khá đơn giản; chỉ cần chuyển sản phẩm đến khách hàng. Tuy nhiên, nếu suy nghĩ kỹ, đây có lẽ là bước quan trọng nhất của cả quy trình. Khi tôi ở đội CIM, chúng tôi chủ yếu tạo PDF, slide PowerPoint hoặc báo cáo Excel dựa trên phân tích của mình. Tại sao dùng những phương thức đó? Tất cả đều là những cách thức truy cập được, dễ sử dụng, di động và hầu như ai cũng biết dùng.

Với bộ kỹ năng hiện tại, tôi đã có thể tạo các trang web tương tác chứa báo cáo, biểu đồ Bokeh với thanh trượt và bộ lọc, và bản đồ tương tác. Đó sẽ là một sản phẩm phức tạp, động mà gần như ai cũng có thể sử dụng vì tất cả được gói trong một trang web. Dù sản phẩm cuối cùng xuất sắc đến đâu, nó cũng vô ích nếu không được phổ biến đến khách hàng theo cách:

• Truy cập được: vì bạn đang xử lý thông tin, nó phải có thể được khách hàng truy cập. Chôn giấu sản phẩm ở nơi đối tượng mục tiêu không thể truy cập khiến nó khó tiêu thụ và nhanh chóng bị lãng quên.
• Dễ sử dụng: phương thức phân phối bạn chọn phải dễ dùng đối với tuyệt đại đa số khách hàng. Ví dụ, gửi một script Python cho nhóm đồng nghiệp là nhà khoa học dữ liệu có thể ổn, nhưng gửi cùng script đó cho người không biết chạy “data_analysis.py” có thể sẽ không hiệu quả.
• Di động: hãy thừa nhận, chúng ta ngày càng tiêu thụ nhiều thông tin hơn trên thiết bị di động. Hiếm khi chúng ta có thời gian ngồi vào bàn để tiêu thụ lượng lớn thông tin. Sản phẩm dữ liệu cần có tính di động, dù qua các ứng dụng Office như PowerPoint và Excel, PDF, hay qua Internet.

Có rất nhiều phương thức phổ biến thông tin cho mọi người đọc bài viết này và tôi không thể liệt kê hết. Cách bạn chọn để phổ biến sản phẩm đòi hỏi sự cân nhắc. Luôn tự hỏi: “Làm thế nào tôi có thể đưa sản phẩm này đến khách hàng theo cách phù hợp nhất với nhu cầu về khả năng truy cập, dễ sử dụng và tính di động của họ?”.

Nói vậy, nếu bạn đang xây dựng danh mục dự án, Github, Anaconda Cloud, trang web và blog cá nhân, cùng các mạng xã hội là những điểm khởi đầu tuyệt vời. Đừng ngại đưa sản phẩm của bạn ra ngoài và chia sẻ với những người cùng chí hướng.

Lời kết

Nếu bạn làm việc với dữ liệu, rất có thể bạn đã sử dụng một số bước tôi đã nói đến. Dù bạn có thể không trực tiếp tham gia cả sáu bước, giờ đây bạn đã hiểu rõ hơn về chúng và về một quy trình để biến dữ liệu thô thành sản phẩm hoàn chỉnh. Có thể nghe lạ khi bàn về thủ tục quân sự trong Khoa học dữ liệu, nhưng sáu bước đó đã phục vụ tôi rất tốt cả trong quân đội lẫn môi trường doanh nghiệp Mỹ, và tôi hy vọng chúng cũng sẽ hỗ trợ bạn trên hành trình trở thành Nhà khoa học dữ liệu.