![]()
什么是 Kaggle?
Kaggle 是面向数据科学家和机器学习爱好者的在线社区平台。Kaggle 允许用户与他人协作、查找和发布数据集、使用集成 GPU 的笔记本,并与其他数据科学家竞争以解决数据科学挑战。这个在线平台(由 Anthony Goldbloom 和 Jeremy Howard 于 2010 年创立,并于 2017 年被 Google 收购)的目标,是凭借其提供的强大工具与资源,帮助专业人士和学习者在数据科学之旅中实现目标。截至目前(2021 年),Kaggle 上已有超过 800 万注册用户。
让 Kaggle 如此受欢迎的子平台之一是其竞赛。就像 HackerRank 之于软件开发者和计算机工程师一样,“Kaggle Competitions” 对数据科学家具有重要意义;您可以在我们的 Kaggle 竞赛指南中进一步了解,并在我们的 Kaggle 竞赛教程中学习如何循序渐进分析数据集。在 Kaggle 或 DataCamp 等数据科学竞赛中,公司和机构会分享大量具有挑战性的数据科学任务并提供丰厚奖励,从初学者到资深的数据科学家都可参与角逐。Kaggle 还提供 Kaggle Notebook,与 DataLab 类似,允许您在浏览器中编辑并运行用于数据科学任务的代码,这样您的本地计算机无需承担全部计算负载,也无需自行搭建新的开发环境。
Kaggle 在云端提供强大资源,每周最多可使用 30 小时 GPU 和 20 小时 TPU。您可以将自己的数据集上传到 Kaggle,也可以下载他人的数据集。此外,您可以查看他人的数据集和笔记本,并就其发起讨论话题。平台会对您的全部活动进行评分,随着您帮助他人和分享有用信息,分数也会提升。一旦开始获得积分,您将被纳入覆盖 800 万 Kaggle 用户的实时排行榜。
Kaggle 适合不同人群,从对数据科学和人工智能感兴趣的学生,到全球最有经验的数据科学家。如果您是初学者,可以利用 Kaggle 提供的课程。加入该平台后,您能在由不同水平成员构成的社区中不断进步,并有机会与众多资深数据科学家交流。随着您积累 Kaggle 积分和奖牌(它们是您进步的证明),您甚至很可能吸引猎头和招聘人员的关注,从而解锁新的就业机会。
最后但同样重要的是,在申请数据科学岗位时,提及您的 Kaggle 经验一定会产生积极影响。无需多言,这些优势同样适用于经验丰富的数据科学家。无论您的经验如何,这个平台都提供持续学习和提升的可能性,当然,竞赛所带来的现金奖励也同样令人心动。
助您在 Kaggle 取胜的优质数据科学课程
以下是为初学者推荐的 DataCamp 课程:
- Winning a Kaggle Competition in Python:掌握您将在 Kaggle 竞赛中采用的方法与制定的策略
- Introduction to Python:学习数据科学中最流行语言的基础
- Intermediate Python:另一门关于 Python 基础知识的课程
- Linear Classifiers in Python:学习逻辑回归与支持向量机,并用 Scikit-learn 训练您的第一个模型
- Cluster Analysis in Python:使用 SciPy 库进行无监督学习
- Preprocessing for Machine Learning in Python:为机器学习模型准备数据
- Model Validation in Python:学习回答“您的模型表现如何?”这一问题
- Dimensionality Reduction in Python:数据可视化的基础
- Designing Machine Learning Workflows in Python:从高层视角审视生产就绪机器学习模型的构建流程
- Data Privacy and Anonymization in Python:关于您所在公司或您创建的任何初创企业数据隐私的必修课
- Introduction to Data Visualization with Seaborn:使用 Seaborn Python 库提升您的数据可视化技能——数据可视化初学者的理想课程
- Image Processing in Python:学习图像预处理技术,从图像中获取并提取海量信息
- Introduction to Natural Language Processing in Python:学习自然语言处理基础以及该领域的一些常用库
- Introduction to SQL:学习与数据库相关的 SQL 基础
- Intermediate SQL: 提升您的 SQL 技能
- Introduction to Deep Learning with PyTorch:使用最流行且易用的 Python Pytorch 包入门深度学习
- Time Series Analysis in Python:学习时间序列模型与技术
Kaggle Jobs
“Kaggle Jobs” 是 Kaggle 于 2014 年推出的数据科学职位分享平台。其目标是帮助公司找到最合适的候选人,并帮助数据科学家找到适合他们的公司。由于活跃度不足,该平台于 2020 年被 Kaggle 关闭。不过,以下是一些 Kaggle Jobs 的替代方案和其他就业平台:
- Linkedin:最常用的求职平台之一。只需在搜索栏输入 "data scientist",您就能找到合适的职位。您也可以设置更细的筛选条件,如远程/办公室、地点、公司规模等。
- Upwork:自由职业平台,同样适合寻找兼职和全职工作。在申请长期职位前,候选人通常需要先完成几个短期项目并获得一些评价。
- AngelList:申请初创公司职位的理想平台。
- Y Combinator:一家加速器与融资平台,遴选最具声望的初创公司。其职位发布会在平台上分享。
- StackOverflow:面向程序员和工程师的问答平台,老少皆宜、资深与新手都受益匪浅,同时也设有职位发布专区。
KAGGLE 常见问题解答(FAQ)
Kaggle 是什么,用来做什么?
Kaggle 是一个数据科学与人工智能平台。在该平台上,大型公司和组织会发布带有奖金的竞赛。除竞赛外,用户也可以分享自己的数据集并查看他人分享的数据集。此外,数据科学家可以基于这些数据集分享代码片段,并在讨论区与其他数据科学家交流。任何用户都可以参与 Kaggle 上分享的免费课程,并在成功完成后获得免费证书。
Kaggle 是免费的吗?
是的,Kaggle 上的一切都完全免费:课程、课程证书、数据集、竞赛参与、讨论区等。
什么是 Kaggle 竞赛?
Kaggle 竞赛由数据科学任务组成。有些竞赛没有任何奖金(但提供学习与知识分享机会),而另一些则有丰厚现金奖励。您可以个人参赛或组队参赛。除了在竞赛中取得好成绩能获得奖金外,您还会赢得奖牌和积分。这些积分和奖牌会将您与平台上各个水平的数据科学家一同纳入排行榜。该排名决定您在 Kaggle 的全球名次。您在 Kaggle 获胜的竞赛和您的 Kaggle 排名都可能对您的职业生涯产生有利影响。有关竞赛的更多信息,请参阅第 4 节。
Kaggle 是学习数据科学的好方式吗?
学习基础知识、入门数据科学有很多选择,但 Kaggle 脱颖而出自有其原因。在 Kaggle 上,有许多因素能帮助您提升知识并保持动力。
其中最主要的是 Kaggle 的排名系统。随着您不断进步、在竞赛中得分、为他人提供有用信息,您的全球 Kaggle 排名会提升,而且可以即时追踪。与平台上众多专家级数据科学家同台而立,本身就极具激励作用。
此外,平台上的许多人都乐于助人,他们在帮助您时也会持续获得积分并提升排名。比如,若您分享一段代码并发起讨论,在讨论中询问如何改进自己的代码,很可能会收到平台上一流数据科学家的评论与建议。这种“导师制”的效果对初学者尤其有益。
谁拥有 Kaggle?
Kaggle 由 Anthony Goldbloom 和 Ben Hamner 于 2010 年创立。2017 年 3 月 8 日,Google 收购了 Kaggle。
Kaggle 的数据集是免费的吗?
要了解数据集可用于何种目的,您需要查看其许可证。有些数据集不能用于学术发表或商业用途。不过,您可以通过 Kaggle API 将每个共享数据集免费下载到您的 Kaggle Notebook 或任何其他位置。
Kaggle 提供 GPU 吗?
在 Kaggle 笔记本中,您可随时启用 GPU。每周最多可主动使用 GPU 30 小时。Kaggle 提供的 GPU 为带有 16GB 显存的 Nvidia Tesla P100。
Jeremy Howard 是谁?
Jeremy Howard 是一位澳大利亚数据科学家和企业家,曾在 2011 年和 2010 年赢得全球 Kaggle 数据科学竞赛。此后,Howard 出任 Kaggle 的首席科学家兼总裁。
什么是 Kaggle 大师(Grandmaster)?
Grandmaster 段位是 Kaggle 表现段位(novice、contributor、expert、master 和 grandmaster)中的最高级。要达到 grandmaster 级别,用户需要在竞赛中至少赢得 5 枚金牌(其中至少 1 枚为个人金牌);在数据集中至少获得 5 枚金牌和 5 枚银牌;在笔记本中至少获得 15 枚金牌;在讨论中至少获得 500 枚奖牌(其中至少 50 枚为金牌)。目前仅有 241 位数据科学家达到了 grandmaster 段位。
Kaggle 的数据集是开源的吗?
是的。Kaggle 的数据集是开源的,但要了解这些数据集可用于何种用途,您需要查看其许可证。有些数据集不能用于学术发表或商业用途。
Kaggle 的数据集可靠吗?
绝大多数 Kaggle 数据集是可靠的。您可以通过查看其获赞数,或审阅使用该数据集分享的笔记本来判断其可靠性。然而,并非所有 Kaggle 数据集都适用于真实场景。
Kaggle 有移动应用吗?
Kaggle 目前不支持移动应用。不过,DataCamp 提供了学习数据科学和练习编程的移动应用,适用于 iOS 和 Android。
Kaggle 会使用我的 CPU 吗?
Kaggle Kernel 是可集成 GPU 的免费 Jupyter 笔记本服务器。它允许您在云端计算机上处理机器学习任务,而非在本地计算机上执行,类似于在浏览器中运行的 DataLab,使用的是云端资源而非本地资源。
我在 Kaggle 的笔记本输出在哪里?
要访问 Kaggle 笔记本的输出,您必须先提交(commit)您的笔记本。可点击笔记本左上角的“Save Version”按钮完成提交。提交后会有两个内核继续运行:一个是您当前正在编辑的内核,另一个是您提交的后台内核。后台运行的内核将生成可下载的输出文件。交互式笔记本不会保存文件。后台内核完成后,点击左上角的返回按钮进入包含以下选项卡的页面:Notebook、Code、Data、Output 和 Comments。切换到 Output 选项卡后,您将看到输出文件已准备好供下载。
在 Kaggle 应该从哪里开始?
如果您是初学者,可以从竞赛板块中的 “Getting Started” 类别入门参赛。您也可以查看他人的笔记本。若您的专业水平更高,可以直接参与当前活跃的竞赛。
Kaggle 何时重置 GPU 配额?
GPU 配额每周六更新。您可以在个人资料的 Account 选项卡进入 GPU 部分查看剩余 GPU 配额。该部分会显示您的私有数据存储,以及 GPU 和 TPU 配额。
到哪里可以找到 Kaggle 的获胜方案?
在竞赛页面点击讨论(discussion)选项卡,您会看到许多与竞赛相关的讨论话题。获赞最多的话题位于顶部,票数最高的话题通常是获胜方案,其中包含方案说明和指向获胜笔记本的链接。