Kaggle Competitions: Hướng dẫn đầy đủ

Mục lục

Kaggle Competitions là gì?
Tham gia Kaggle Competitions có đáng không?
Khi nào bạn nên tham gia một cuộc thi khoa học dữ liệu?
Datacamp Competitions là gì?
Làm thế nào để tìm đúng Kaggle Competition phù hợp với trình độ của bạn? (Từ người mới bắt đầu đến kỹ năng nâng cao)
Mẹo thi Kaggle
- Chọn một ngôn ngữ lập trình
- Tham gia các cuộc thi có gắn thẻ "Getting Started"
- Không chỉ dùng mỗi Kaggle
- Tập trung vào việc học
- Nghiên cứu các notebook công khai khác
- Đọc kỹ quy định cuộc thi
- Chia sẻ lời giải của bạn
- Học khóa học này trên DataCamp

Kaggle Rankings là gì?
- Huy chương Kaggle
  - Huy chương cuộc thi
  - Huy chương bộ dữ liệu
  - Huy chương notebook
  - Huy chương thảo luận
- Các bậc hiệu suất
  - Novice
  - Contributor
  - Expert
  - Master
  - Grandmaster
- Mất bao lâu để đi từ Contributor lên Expert?
Mẹo tăng hạng Kaggle
Kết luận

Kaggle Competitions là gì?

Giờ đây khi chúng ta đã điểm qua những kiến thức cơ bản về Kaggle như notebook và bộ dữ liệu, ta có thể bàn đến những câu hỏi thường gặp nhất về các cuộc thi Kaggle: Ai tổ chức? Tôi có thể thi không? Tại sao tôi nên thi?

Câu hỏi cuối là then chốt. Kaggle competitions dựa trên những bài toán machine learning đầy thử thách do chính Kaggle hoặc các công ty lớn, tổ chức và trường đại học khác tổ chức. Trong các cuộc thi này, người dùng cạnh tranh với những nhà khoa học dữ liệu khác trên nền tảng để nộp các dự đoán chính xác hơn, được tạo ra bởi các mô hình machine learning họ xây dựng trong thời gian diễn ra cuộc thi. Sau khi nộp bài, một điểm số phản ánh mức độ hiệu quả của mô hình sẽ được tính tự động.

Một ngộ nhận phổ biến là cần phải học các môn xác suất và thống kê hoặc hiểu sâu một số thư viện machine learning nhất định trước khi tham gia các cuộc thi này. Sự thật là bạn có thể, và nên, tham gia Kaggle Competitions dù ở bất kỳ trình độ nào. Các cuộc thi không chỉ dành cho chuyên gia, và mọi người đều có thể tích lũy kinh nghiệm quý giá từ đó, thậm chí tận dụng để xây dựng portfolio khoa học dữ liệu.

Tham gia Kaggle Competitions có đáng không?

Bất kể bạn có bao nhiêu kinh nghiệm trong khoa học dữ liệu, bạn đều có thể cải thiện kỹ năng bằng cách tham gia các cuộc thi trong lĩnh vực luôn tăng trưởng và phát triển này. Những cuộc thi khoa học dữ liệu sẽ thách thức bạn trong phạm vi năng lực của chính mình. Bạn đầu tư thời gian và công sức vào Kaggle hoặc các cuộc thi trên DataCamp càng nhiều, bạn sẽ càng nhanh quen với các thư viện và ngôn ngữ lập trình bạn dùng.
Bạn sẽ đạt được thứ hạng của mình giữa các nhà khoa học dữ liệu ở mọi trình độ trên toàn cầu.
Bạn sẽ có cơ hội xem lại các lời giải thắng cuộc và tiếp cận nhiều cách tiếp cận khác nhau cho cùng một vấn đề. Điều này giúp bạn dễ dàng phân tích các nhiệm vụ khó dưới nhiều góc độ.
Bạn sẽ được cung cấp các bộ dữ liệu chất lượng cao. Nhờ đó bạn có thể tập trung hoàn toàn vào lời giải vì không cần lo việc làm sạch dữ liệu, thu thập dữ liệu liên quan, hay tự tạo một bộ dữ liệu nhất quán và gắn nhãn tốt.
Bạn sẽ có cơ hội tham gia thảo luận kỹ thuật với người thắng cuộc và các nhà khoa học dữ liệu hàng đầu khác. Điều này giúp mở rộng mạng lưới của bạn.
Làm việc với các vấn đề thực tế sẽ tạo động lực và cho bạn cái nhìn về công việc và trách nhiệm hằng ngày của một nhà khoa học dữ liệu.
Có động lực tài chính rõ ràng.

Tham gia các cuộc thi trên Kaggle hoặc DataCamp chắc chắn là xứng đáng. Bất kể trình độ chuyên môn của bạn, hẳn bạn sẽ thấy ít nhất một trong các lợi ích nêu trên phù hợp với mình. Có rất nhiều dạng cuộc thi khoa học dữ liệu, và các cuộc thi mới được đăng thường xuyên. Ngay cả khi hiện tại bạn chưa quan tâm, vẫn nên theo dõi các cuộc thi được đăng vì ít nhất một cuộc thi có thể sẽ phù hợp với bạn vào một thời điểm nào đó trong tương lai.

Khi nào bạn nên tham gia một cuộc thi khoa học dữ liệu?

Trước khi tham gia một cuộc thi, hãy cân nhắc ba tiêu chí sau:

Lượng thời gian và công sức bỏ ra cho cuộc thi này có tương xứng với mức độ cải thiện bạn có thể đạt được không?
Động lực tài chính khi thắng giải là gì, và có đáng với thời gian của bạn không?
Công việc, nghiên cứu và đóng góp trong cuộc thi có đem lại sự hài lòng cho bạn với tư cách một chuyên gia dữ liệu không?

Một số nhà khoa học dữ liệu nói chung sẵn lòng tham gia bất kỳ cuộc thi nào chỉ để mở rộng mạng lưới và luyện tập. Tuy nhiên, đa số cần đánh giá các tiêu chí trên để quyết định một cuộc thi có đáng hay không. Bạn cũng sẽ cần tìm các tiêu chí riêng của mình và cân nhắc trước khi tham gia, luôn nhớ rằng bạn tham gia càng nhiều cuộc thi, bạn càng nhận được nhiều lợi ích và trải nghiệm học hỏi từ Kaggle.

Datacamp Competitions là gì?

DataCamp Competitions và Kaggle Competitions có nhiều điểm tương đồng. Cũng như trên Kaggle, ở DataCamp bạn có cơ hội xem các notebook được chia sẻ công khai, và các cuộc thi DataCamp cũng có giải thưởng. Nếu xếp hạng cao, bạn sẽ nhận được gói DataCamp premium 1 năm và có thể nhận giải tiền mặt. DataCamp cũng có môi trường rất giống Kaggle, nơi bạn có thể kết nối với các nhà khoa học dữ liệu ở mọi trình độ qua các trang thảo luận.

Tuy nhiên, có vài điểm khác biệt quan trọng giữa Kaggle và Datacamp competitions. Một mặt, Kaggle tập trung nhiều hơn vào machine learning, trong khi DataCamp chú trọng kiểm tra kỹ năng phân tích, kể chuyện bằng dữ liệu và trực quan hóa trong bối cảnh rộng hơn. Mặt khác, bạn có cơ hội thắng giải ở DataCamp cao hơn vì đây là nền tảng đang phát triển với số người tham gia tương đối ít.

Dù thế nào, bạn không nên tham gia các cuộc thi chỉ với mục đích duy nhất là chiến thắng. Bạn sẽ thu được nhiều hơn nếu tập trung vào tiến bộ, và về khía cạnh này, DataCamp cũng mang đến nhiều cơ hội cải thiện mà bạn có thể dễ dàng tận dụng.

Làm thế nào để tìm đúng Kaggle Competition phù hợp với trình độ của bạn? (Từ người mới bắt đầu đến kỹ năng nâng cao)

Kaggle cho phép bạn lọc các cuộc thi theo tiêu đề hoặc bằng từ khóa, nên rất dễ để bạn tìm những cuộc thi mình quan tâm nhất. Chỉ cần nhập tiêu đề hoặc từ khóa vào thanh tìm kiếm là xong.

Hình 5.1: Tìm kiếm cuộc thi

Bạn cũng có thể lọc theo thẻ (tag) của cuộc thi.

Hình 5.2: Lọc cuộc thi

Ngoài tiêu đề, từ khóa và thẻ, còn có ba bộ lọc chính khác: “Status”, “Prizes and Awards” và “Categories”.

Trạng thái:

Monetary: Các cuộc thi có thẻ này thường do những công ty lớn, nổi tiếng chia sẻ. Nếu xếp hạng trong các cuộc thi này, bạn sẽ nhận giải tiền mặt. Mức giải thấp nhất từ 5.000 đến 10.000 đô la. Thường gặp nhất là các cuộc thi có giải từ 50.000 đến 100.000 đô la. Giải lớn nhất có thể lên tới 1 triệu đô la.
Medals: Bạn nhận huy chương Kaggle làm phần thưởng, tùy theo điểm số đạt được trong cuộc thi. Với các huy chương này, thứ hạng của bạn sẽ tăng. Kaggle Ranking được giải thích chi tiết trong mục 6.
Other: Những cuộc thi này tặng quà lưu niệm của Kaggle, như áo thun hoặc sticker.

Danh mục:

Featured: Thường do các công ty, tổ chức lớn và thậm chí cả chính phủ đăng. Giải tiền mặt thường lớn hơn nhiều so với các danh mục khác.
Research: Là các cuộc thi theo chủ đề nghiên cứu. Có rất ít hoặc không có tiền thưởng.
Getting Started: Không có phần thưởng. Thường được tạo cho mục đích giáo dục. Ở cuối phần này, bạn sẽ thấy một ví dụ cuộc thi có thẻ “Getting Started”. Bạn sẽ thấy không chỉ ví dụ, mà còn có hướng dẫn cách dùng notebook và cách nộp kết quả, cùng các bước liên quan khác.
Playground: Phù hợp cho những ai muốn tích lũy kinh nghiệm và tiếp tục nâng cao kỹ năng. Phần thưởng thường là quà lưu niệm Kaggle (như áo thun và sticker). Các cuộc thi này thường vui và có yếu tố trò chơi hóa.
InClass: Thường do các trường đại học tổ chức và người tham gia là sinh viên học máy của họ. Mục tiêu là thu hút và truyền cảm hứng cho sinh viên.
Analytics: Là các cuộc thi phân tích dữ liệu.
Simulations: Điểm khác biệt so với các thử thách học máy giám sát truyền thống trên Kaggle là các loại cuộc thi với tác vụ học tăng cường. Người thi phát triển mô hình và cho mô hình thi đấu trong môi trường mô phỏng.

Bên cạnh các bộ lọc chính, bạn còn có một số lựa chọn khác để sắp xếp cuộc thi theo các tiêu chí bổ sung, như “Hotness”, “Recently Launched”, “Closing Soon”, “Reward” và “Total Teams”.

Hình 5.3: Sắp xếp cuộc thi

Mẹo thi Kaggle

1. Chọn một ngôn ngữ lập trình

Python và R là hai ngôn ngữ lập trình được dùng nhiều nhất trong khoa học dữ liệu, đặc biệt với trực quan hóa và các tác vụ machine learning. Nếu bạn thắc mắc về MATLAB, bạn có thể dùng nó cho tác vụ dữ liệu trên máy cá nhân, nhưng notebook của Kaggle chỉ hỗ trợ Python, R và Julia.

Nếu bạn dùng ngôn ngữ khác, có thể một số tác vụ sẽ dễ hơn với bạn, nhưng điều làm nên sức mạnh của một ngôn ngữ lập trình là cộng đồng và hệ sinh thái thư viện mã nguồn mở phía sau. Bạn cần cân nhắc rằng (khi dùng một trong các ngôn ngữ phổ biến hơn) bất kỳ thư viện nào bạn import trên máy cá nhân, bạn cũng sẽ có thể import trên Kaggle.

Nếu bạn là người mới, Python hoặc R là điểm khởi đầu tuyệt vời và nên gắn bó cho đến khi bạn phát triển hơn trong lĩnh vực này. Lưu ý rằng nhiều notebook được chia sẻ trên Kaggle viết bằng Python và nếu cần nghiên cứu chúng, bạn sẽ thấy thoải mái hơn nếu biết ngôn ngữ này.

2. Tham gia các cuộc thi có gắn thẻ "Getting Started"

Getting Started rất phù hợp cho người mới. Nếu bạn hoàn thành các cuộc thi này và xem lại notebook do người khác chia sẻ, bạn sẽ học được rất nhiều, và khá nhanh.

Dưới đây là một số cuộc thi Getting Started chúng tôi khuyến nghị tùy theo kiến thức của bạn:

Nếu bạn quen thuộc ở mức cơ bản với thuật toán Phân loại, hãy thử Titanic.
Nếu bạn có chút kinh nghiệm với hồi quy, hãy xem cuộc thi House Prices Advanced Regression Techniques.
Nếu bạn quan tâm đến thị giác máy tính, hãy tham gia Digit Recognizer.
Nếu bạn có chút kinh nghiệm xử lý ảnh, chúng tôi khuyến nghị Facial Keypoints Detection.
Nếu bạn quan tâm đến xử lý ngôn ngữ tự nhiên, hãy xem Bag of Words Meets Bags of Popcorn.

3. Không chỉ dùng mỗi Kaggle

Sau khi thử một trong các cuộc thi cơ bản ở trên, bạn sẽ có thêm chút kinh nghiệm và có thể tốt cho bạn nếu tìm các cuộc thi trên những nền tảng khác.

Trên DataCamp, bạn có thể tham gia các cuộc thi khoa học dữ liệu như “Thiết kế chiến lược khuyến mãi cho một công ty đồ uống”, yêu cầu bạn nghiên cứu và nỗ lực hơn trong phạm vi năng lực của mình. Điểm đặc biệt của cuộc thi này là không chỉ tập trung vào machine learning, mà còn thách thức người tham gia cải thiện đáng kể kỹ năng phân tích, kể chuyện và trực quan hóa. Bạn có thể xem các notebook được chia sẻ cho cuộc thi này trong thẻ entries.

Để tối đa hóa cơ hội thành công và tận dụng tốt cuộc thi này, khuyến nghị bạn hoàn thành trước các khóa sau:

4. Tập trung vào việc học

Giải thưởng tiền mặt trong các Kaggle Competitions là đáng kể. Điều này có thể khiến bạn chệch khỏi mục tiêu học tập. Đừng tập trung vào giải thưởng, hãy ưu tiên học hỏi và cải thiện. Khi có đủ kinh nghiệm, bạn sẽ có thời gian nghĩ cách vươn lên vị trí cao.

5. Nghiên cứu các notebook công khai khác

Nghiên cứu các notebook được chia sẻ trong cuộc thi sẽ giúp bạn học nhiều cách giải quyết khác nhau cho cùng một vấn đề.

6. Đọc kỹ quy định cuộc thi

Hãy đọc thông tin và quy định cuộc thi trước khi quyết định tham gia, và đảm bảo bạn hiểu đầy đủ trước khi nhập cuộc.

7. Chia sẻ lời giải của bạn

Chia sẻ lời giải sẽ tăng mức độ tương tác của bạn với các nhà khoa học dữ liệu khác, và bạn sẽ nhận được phản hồi từ mọi người. Bằng cách mở chủ đề thảo luận về lời giải của mình, bạn sẽ kiếm huy chương nhanh hơn và có thể nhanh chóng tăng thứ hạng Kaggle. Thông tin thêm về Kaggle Ranking có trong mục 6.

8. Học khóa học này trên DataCamp

Khóa Winning a Kaggle Competition in Python của DataCamp sẽ dạy bạn cách tiếp cận và cấu trúc một bài dự thi khoa học dữ liệu. Qua khóa học này, bạn sẽ học các kỹ thuật nền tảng dùng trong cuộc thi, như cách kiểm định mô hình machine learning và cách tránh overfitting.

Kaggle Rankings là gì?

Hệ thống xếp hạng của Kaggle là một bảng xếp hạng trực tiếp, xếp hạng các nhà khoa học dữ liệu ở mọi trình độ chuyên môn, những người có đóng góp đa dạng cho Kaggle, từ bình luận đến tham gia các cuộc thi Kaggle.

Bên cạnh bảng xếp hạng chính, còn có bốn loại xếp hạng khác cho: “Competition”, “Dataset”, “Notebook” và “Discussion”. Bạn có thể xem trình độ của mình ở mỗi hạng mục trên hồ sơ cá nhân. Khi bạn giành được huy chương ở các hạng mục trên, thứ hạng và bậc của bạn sẽ tăng. Hãy nhớ rằng huy chương có được thông qua xếp hạng cuộc thi và lượt upvote.

Có năm bậc chính trên Kaggle: “Novice”, “Contributor”, “Expert”, “Master” và “Grandmaster”. Tính đến nay, chỉ có 241 nhà khoa học dữ liệu ở bậc “Kaggle Grandmaster”, là hạng cao nhất. Điều này cho thấy độ khó để trở thành một phần của nhóm này. Với các bậc còn lại, hiện có 1.668 master, 7.206 expert, 64.668 contributor và 92.747 novice. Bậc của bạn, cũng như số huy chương đạt được, sẽ là lợi thế lớn trong việc thúc đẩy sự nghiệp.

Huy chương Kaggle

Huy chương đại diện cho một thành tựu riêng lẻ trong một hạng mục. Thành tựu này có thể là kết quả cuộc thi xuất sắc, một notebook phổ biến, một bộ dữ liệu hữu ích hoặc một bình luận sâu sắc, v.v. Thành tựu của bạn được chuẩn hóa và hệ thống xếp hạng được tạo bằng cách so sánh với đóng góp của các nhà khoa học dữ liệu khác.

Huy chương cuộc thi

Huy chương cuộc thi được xác định theo thứ hạng của bạn trong các cuộc thi. Lưu ý bạn không nhận huy chương từ các cuộc thi thuộc danh mục InClass, Playground và Getting Started.

Ở các cuộc thi có 0–99 đội, nằm trong top 40% sẽ nhận huy chương đồng. Bạn sẽ nhận huy chương bạc nếu nằm trong top 20%, và huy chương vàng nếu thuộc top 10%. Khi số đội tăng, phân bổ huy chương cũng thay đổi. Ví dụ, khi tham gia một cuộc thi có từ 1.000 đội trở lên, top 10% sẽ nhận huy chương đồng, top 5% nhận huy chương bạc, và 10 đội đứng đầu nhận huy chương vàng.

Huy chương bộ dữ liệu

Bạn chia sẻ càng nhiều bộ dữ liệu phổ biến, bạn càng nhận được nhiều upvote từ người khác. Huy chương bộ dữ liệu của bạn được xác định theo số upvote này. Bộ dữ liệu có 5–20 phiếu được trao huy chương đồng, 20–50 phiếu được huy chương bạc, và từ 50 phiếu trở lên được huy chương vàng. Phiếu bầu từ người dùng ở mức novice không được tính.

Huy chương notebook

Các quy tắc giống huy chương bộ dữ liệu cũng áp dụng cho huy chương notebook. Notebook có 5–20 phiếu được trao huy chương đồng, 20–50 phiếu được huy chương bạc, và từ 50 phiếu trở lên được huy chương vàng. Phiếu bầu từ người dùng mức novice không được tính.

Huy chương thảo luận

Huy chương thảo luận được tính bằng số phiếu ròng, là upvote trừ downvote. Phiếu cho các bài viết cũ của bạn và phiếu từ người dùng mức novice không được tính. Một phiếu ròng là đủ để nhận huy chương đồng. Nếu bạn nhận 5–10 phiếu ròng, bạn sẽ nhận huy chương bạc và từ 10 phiếu ròng trở lên, bạn sẽ nhận huy chương vàng.

Các bậc hiệu suất

Bạn được gán một bậc hiệu suất cho mỗi hạng mục xếp hạng (“Competitions”, “Datasets”, “Notebooks” và “Discussions”). Bậc cao nhất trong tất cả các hạng mục sẽ hiển thị là bậc chính trên hồ sơ của bạn.

Novice

Bạn tự động nhận bậc này khi đăng ký trên nền tảng.

Contributor

Điều kiện để trở thành “Contributor” như sau:

Chạy một notebook hoặc script
Thực hiện một lần nộp bài cho cuộc thi hoặc tác vụ
Viết một bình luận
Đưa ra một lượt upvote

Expert

Để trở thành “Expert”, bạn phải giành ít nhất 2 huy chương đồng ở cuộc thi; ít nhất 3 huy chương đồng ở bộ dữ liệu; ít nhất 5 huy chương đồng ở notebook; và ít nhất 50 huy chương đồng ở thảo luận.

Master

Để đạt bậc “Master”, bạn phải giành ít nhất 1 huy chương vàng và 2 huy chương bạc ở cuộc thi; ít nhất 1 huy chương Vàng và 4 huy chương Bạc ở bộ dữ liệu; ít nhất 10 huy chương bạc ở notebook; và ít nhất 200 huy chương ở thảo luận, trong đó ít nhất 50 phải là huy chương bạc.

Grandmaster

Để trở thành “Grandmaster”, bạn cần giành ít nhất 5 huy chương vàng ở cuộc thi, trong đó ít nhất 1 huy chương vàng là cá nhân; ít nhất 5 huy chương vàng và 5 huy chương bạc ở bộ dữ liệu; ít nhất 15 huy chương vàng ở notebook; và ít nhất 500 huy chương ở thảo luận, trong đó 50 phải là huy chương vàng.

Mất bao lâu để đi từ Contributor lên Expert?

Tất cả phụ thuộc vào mức độ bạn kiên trì và đóng góp cho Kaggle. Trung bình, mất khoảng 1 năm để đi từ contributor lên expert, theo phân tích này. Khung thời gian phụ thuộc vào mức độ nỗ lực mà mỗi nhà khoa học dữ liệu sẵn sàng đầu tư vào Kaggle. Ví dụ, nếu bạn đầu tư thời gian để học và cải thiện, bạn có thể mất lâu hơn để nhận huy hiệu expert, nhưng nếu bạn chỉ cố gắng kiếm càng nhiều huy chương càng nhanh càng tốt, thì thời gian có thể ngắn hơn.

Thường tốt hơn là đầu tư thời gian để tạo tiến bộ thực sự thay vì chỉ kiếm huy chương. Để cải thiện kiến thức và kỹ năng nhằm thăng tiến sự nghiệp, trải nghiệm thực tế mới là điều cốt lõi.

Mẹo tăng hạng Kaggle

Như đã đề cập, mục tiêu của bạn nên là dùng Kaggle hoặc DataCamp để mở rộng mạng lưới, cải thiện kỹ năng và học được nhiều nhất có thể.

Tuy vậy, kiếm huy chương cũng có giá trị, và vì điều kiện nhận huy chương cũng phụ thuộc vào số lượng upvote cao, bạn nên cân nhắc tăng số upvote nhận được. Các mẹo sau sẽ giúp bạn tăng số huy chương:

Đừng xin upvote. Khi bạn nỗ lực cung cấp thông tin hữu ích, upvote sẽ đến một cách tự nhiên. Thực tế, việc xin upvote có thể phản tác dụng và rất có thể khiến bạn bị downvote.
Bạn có thể nhận được nhiều upvote hơn nếu ghi công tác giả. Nhưng hãy dùng thông tin này có chọn lọc và chỉ khi thực sự gia tăng giá trị cho bài viết, để tránh bị coi là spam.
Hãy nhớ: chỉ tập trung vào nâng cao kỹ năng, huy chương sẽ tự đến.

Các bậc và huy chương trên Kaggle là minh chứng hữu hình cho những thành tựu thực sự của bạn. Khi bạn tiến bộ, việc nhìn thấy thành quả được ghi nhận có thể sẽ tiếp thêm động lực.

Kết luận

Thi đấu trong các cuộc thi khoa học dữ liệu trên Kaggle hoặc DataCamp rất thú vị và là một trong những công cụ giúp bạn có động lực trên hành trình khoa học dữ liệu. Dù có những nhà khoa học dữ liệu xuất sắc đưa giải thưởng cuộc thi vào mô hình thu nhập của họ, mục tiêu của đa số là học hỏi nhiều nhất có thể từ các cuộc thi và tích lũy trải nghiệm thực tế.

Yếu tố hữu ích nhất ở đây là khát vọng nâng thứ hạng trong cuộc thi. Với khát vọng này, các nhà khoa học dữ liệu có thể xem notebook của người khác và nghiên cứu các đoạn mã cùng chiến lược khác nhau. Những góp ý dành cho mã của bạn sau cuộc thi thậm chí có thể coi như một hình thức cố vấn miễn phí.

Để xem hướng dẫn từng bước cách phân tích một bộ dữ liệu cho cuộc thi, hãy xem Hướng dẫn Kaggle Competition của chúng tôi.

Chủ đề

Khoa học Dữ liệu