斯坦福 HAI 研究院致力于以人为本的方式研究人工智能,灵感源于人类思维的深度与多样性,并在每一步都关注其对社会的伦理影响;其使命是用 AI 增强人类能力,而非取而代之。
这份第五版年度《AI 指数报告》由该机构的学术与商业领域的领先专家研究撰写,展示了过去一年 AI 领域最新趋势背后的数据。报告长达 230 页。本文将概述各章节的核心要点。
继续阅读,了解哪些国家在 AI 上取得了最大进展、全球 AI 职位的热点地区、AI 监管现状等内容。
第 1 章:研究与开发
章节摘要
AI 炙手可热,过去一年开展了广泛的研发活动。本章尝试量化学术机构、政府组织和产业界的研究与开发。
报告从会议论文、期刊文章、研究论文和专利等公开来源收集了如下数据集,还考察了开源仓库的 GitHub star 数以及会议参会人数。这使我们能从全局视角审视全球 AI 研发的推进情况。
重点速览
美国与中国是 AI 合作伙伴
从国际合作看,2010 至 2021 年间,美国与中国在 AI 论文上的合作次数最多,尽管两国存在政治分歧,合作次数较 2010 年增长了 5 倍。其次是英国与中国的合作。
中国在论文发表方面领先
从发表的论文、期刊、会议与代码库数量来看,中国当前在 AI 研究活动上处于领先地位。
期刊发表量创历史新高
2021 年,所有 AI 文献中有 51.5% 为期刊(即研究论文)。总体趋势上,AI 期刊与代码库数量均创历史新高;不过,自 2018 年以来,学术会议数量呈下降趋势。
增长最快的研究领域
自 2015 年以来,模式识别与机器学习方向的发表量均翻了一倍以上。2021 年,两领域分别发表了约 5.2 万篇与 4 万篇研究论文。
跨部门合作
2010 至 2021 年间,非营利组织与教育机构产出的跨部门 AI 论文最多。其次是私营部门与教育机构之间的合作,再次是政府与教育机构之间的合作。
AI 专利数量创历史新高
随着 AI 发展加速,越来越多的研究人员与科学家争相通过专利来保护其成果,专利申请量以 76.9% 的年复合增长率增长。
AI 代码库:分享 AI 研究的新方式
在 arXiv 与 SSRN 发布未经过同行评审的研究,已成为 AI 研究者分享发现的流行方式。过去 12 年,AI 代码库论文数量增长了近 30 倍。
流行的开源 AI 库
报告比较了近七年流行开源 AI 库的 GitHub star 总数。Tensorflow star 数最多,其次是 OpenCV、Keras、以及 Pytorch。其他 star 低于 4 万的人气库包括 faceswap、100-Days-Of-ML-Code 和 AiLearning。
第 2 章:技术性能
章节摘要
本章跟踪计算机视觉、自然语言处理、语音、推荐、强化学习、硬件与机器人等各类模型的进展,并尝试以常用的模型基准与专业调研在 10 年跨度内量化模型表现。报告中使用的部分基准如下:
|
计算机视觉 图像与视频
|
|
机器学习问题
|
使用的基准
|
|
图像分类
|
ImageNet:Top-1 与 Top-5 准确率
|
|
深度伪造检测
|
FaceForensics++ 准确率 CELEB-DF:曲线下面积得分(AUC)
|
|
语义分割
|
CITYSCAPES CHALLENGE:平均交并比(IOU)
|
|
行为识别
|
Kinetics-400、Kinetics-600、Kinetics-700 数据集:Top-1 准确率
|
|
目标检测
|
[Common Object in Context] COCO-TEST-DEV:平均精度(mAP)
|
|
语言
|
|
机器学习问题
|
使用的基准
|
|
英文语言理解
|
SUPERGLUE:分数,SQUAD 1.1 与 SQUAD 2.0:F1 分数,需逻辑推理的阅读理解数据集(RECLOR):准确率
|
|
文本摘要
|
ARXIV:ROUGE-1,PUBMED:ROUGE-1
|
|
自然语言推理
|
STANFORD NATURAL LANGUAGE INFERENCE (SNLI)
ABDUCTIVE NATURAL LANGUAGE INFERENCE (aNLI)
|
|
推荐
|
|
机器学习问题
|
使用的基准
|
|
商业推荐
|
MOVIELENS 20M:归一化折损累计增益@100
|
|
点击率预测
|
CRITEO:曲线下面积得分(AUC)
|
|
强化学习
|
|
机器学习问题
|
使用的基准
|
|
街机游戏
|
ATARI-57:平均人类归一化分数 PROCGEN:平均归一化分数
|
|
人类棋类游戏:国际象棋
|
国际象棋引擎:ELO 分数
|
重点速览
大数据是成功之钥
大规模训练数据集是构建高精度模型的关键。几乎所有拥有数百万参数的前沿模型都在大数据集上训练以取得优异表现。大型科技公司因掌握海量数据而更具优势。
可负担的 AI
多年的创新已见成效,如今普通人也更易于负担搭建大规模模型。自 2018 年以来,训练图像分类器的成本下降了 63.6%。此外,模型训练所需时间提升了 95%。训练时间的改进是成本降低的原因之一,专用云服务、高效开源工具包与人才供给等因素也共同压低了成本。
更便宜的机械臂
据 AI 指数团队的调查显示,机械臂价格呈明显下降趋势:2017 年机械臂的中位价为 42,000 美元,到了 2021 年几乎下降了 50%,为 22,600 美元。
聚焦医学影像
报告称,计算机视觉研究正转向更贴近应用场景的方向,如医学影像。根据其数据集,AI 指数发现使用 Kvasir-SEG 医学影像数据集与 CVC-ClinicDB 的研究显著增加——2020 年仅有 3 篇相关论文,而 2021 年则有 25 篇。
AI 仍欠缺语言能力
尽管如 SuperGlue 与 Squad 等基准上的模型已在相对简单的任务(如阅读理解)上超越人类,但在更复杂的语言任务(如溯因自然语言推理 aNLI)上,AI 模型仍远未达到人类水平。
通用强化学习的进步
过去 10 年,AI 在国际象棋等狭义强化学习任务上已十分出色。然而,2021 年在更通用的强化学习任务上出现显著改进趋势,例如由 OpenAI 于 2019 年发布、用于测试 AI 学习可泛化技能的强化学习环境 Procgen。
第 3 章:技术层面的 AI 伦理
章节摘要
毫无疑问,过去几年 AI 为企业创造了巨大价值。然而,随着这些机器学习模型走向生产落地,其使用也暴露出AI 偏见的一些重大短板。许多情况下,AI 模型使用包含特定社会偏见的真实世界数据进行训练,而当围绕这些有缺陷的数据构建模型时,这些偏见可能被进一步放大。
本章尝试通过为自然语言与计算机视觉等领域提供深入的基准来量化消除偏见的进展。部分使用的基准如下:
重点速览
AI 伦理走向主流
关于 AI 模型公平性的研究呈多倍增长——自 2014 年起,相关发表量以每年 71% 的速度增长。多种商用模型的结果偏见,已在信用卡评分等真实场景中对特定群体造成不公平对待,因此学术界与商业公司对公平性的关注显著升温。
大型语言模型存在偏见
拥有数千亿参数的最新大型语言模型(如 GPT-3)在语言任务上取得了巨大成功。这类模型的技术突破在于将带有注意力机制的 Transformer 进行双向训练。然而,新的数据表明,这些庞大模型更容易从海量训练数据中引入偏见。
多模态模型更易倾向偏见
与大型语言模型类似,诸如 DALL·E 2 等语言-视觉多模态模型,因对文本与图像作为单一数据流进行大规模训练而展现出多样化的能力。这不仅能够从文本提示生成顶级拟真的图像,也会在输出中反映社会刻板印象与偏见。
第 4 章:经济与教育
章节摘要
本章考察 AI 对经济与教育的影响。报告从 Linkedin、计算研究协会、麦肯锡、Netbase Quid 与 EMSI Burning Glass 等处收集了公开数据,并考察了 AI 对就业的影响,包括招聘、劳动力需求与技能渗透。
重点速览
AI 投资热度高企
2021 年,AI 初创公司共融资 935 亿美元,较 2020 年翻番。然而,新增获投的 AI 初创公司数量从 2019 年的 1051 家降至 2021 年的 746 家。2021 年有 15 笔 5 亿美元及以上的融资轮次。
美国押注 AI 创新
美国在 AI 领域的私人投资规模与新增获投公司数量均居首,分别约为第二名中国的近两倍与三倍。
云成为投资重点
云端数据管理与处理领域的公司(如 Databricks)获得了最多的私人融资。其次是医疗健康与金融科技。
AI 职位的热门地区
2016 至 2021 年间,AI 职位空缺增长最快的地区为新西兰、香港、爱尔兰、卢森堡与瑞典。
美国国内的 AI 职位概况
加利福尼亚州(硅谷所在地)的职位发布数量最高,是第二名得克萨斯州的 2.3 倍。然而,若与全美职位总量相比,华盛顿特区的 AI 职位占比最高。
AI 是计算机科学博士最热门的专攻方向
过去十年中,计算机科学博士最受欢迎的专攻是机器学习/人工智能。2020 年每五名 CS 博士毕业生中就有一人专攻 AI。
第 5 章:AI 政策与治理
章节摘要
本章解析全球范围内影响人工智能的立法与监管,考察各国与各地区如何在以民众福祉为核心的同时,容纳 AI 技术。研究者梳理了全球的政策制定情况,并量化了涉及“人工智能”的提案与通过的法案。
重点速览
越来越多国家开始规范 AI 的使用
报告统计了 2016 至 2021 年间 25 个国家通过的与 AI 相关法案(包含“人工智能”关键词)。结果显示,过去两年与 AI 相关的通过法案数量急剧上升。西班牙、英国与美国以各 3 项法案并列最多。
美国在提出 AI 相关法案方面领先
美国立法记录显示,拟议监管 AI 的法案数量大幅增加。2021 年,美国立法机构共提出 130 项法案,但仅有 2% 最终成为法律。
美国州层面的 AI 立法
在美国,全国范围内均有涉及 AI 的立法考量:2012 至 2021 年间,50 个州中有 41 个至少提出过一项与 AI 相关的法案。提出法案最多的前三个州为:
- 马萨诸塞州(40)
- 夏威夷州(35)
- 新泽西州(32)
民主党与共和党在 AI 问题上的分歧
在美国,州层面的 AI 立法数据还可按政党提案进行细分。数据显示,民主党对 AI 立法的支持度高于共和党,且差距逐年扩大。2021 年,民主党提案数比共和党多 39 项。
全球立法听证会中的 AI 提及
《AI 指数报告》分析了 2016 至 2021 年间 25 个国家以口头记录形式留存的听证会中包含“artificial intelligence”关键词的情况。过去六年中,对 AI 的提及次数增长了 7.7 倍,2021 年共提及 1,323 次。
持续关注 AI
AI 领域不断演进,全球数百万专家昼夜努力推动其发展。要进一步紧跟 AI 的最新进展,您可以查看以下资源。
斯坦福 HAI 研究院致力于以人为本的方式研究人工智能,灵感源于人类思维的深度与多样性,并在每一步都关注其对社会的伦理影响;其使命是用 AI 增强人类能力,而非取而代之。
这份第五版年度《AI 指数报告》由该机构的学术与商业领域的领先专家研究撰写,展示了过去一年 AI 领域最新趋势背后的数据。报告长达 230 页。本文将概述各章节的核心要点。
继续阅读,了解哪些国家在 AI 上取得了最大进展、全球 AI 职位的热点地区、AI 监管现状等内容。
第 1 章:研究与开发
章节摘要
AI 炙手可热,过去一年开展了广泛的研发活动。本章尝试量化学术机构、政府组织和产业界的研究与开发。
报告从会议论文、期刊文章、研究论文和专利等公开来源收集了如下数据集,还考察了开源仓库的 GitHub star 数以及会议参会人数。这使我们能从全局视角审视全球 AI 研发的推进情况。
重点速览
美国与中国是 AI 合作伙伴
从国际合作看,2010 至 2021 年间,美国与中国在 AI 论文上的合作次数最多,尽管两国存在政治分歧,合作次数较 2010 年增长了 5 倍。其次是英国与中国的合作。
中国在论文发表方面领先
从发表的论文、期刊、会议与代码库数量来看,中国当前在 AI 研究活动上处于领先地位。
期刊发表量创历史新高
2021 年,所有 AI 文献中有 51.5% 为期刊(即研究论文)。总体趋势上,AI 期刊与代码库数量均创历史新高;不过,自 2018 年以来,学术会议数量呈下降趋势。
增长最快的研究领域
自 2015 年以来,模式识别与机器学习方向的发表量均翻了一倍以上。2021 年,两领域分别发表了约 5.2 万篇与 4 万篇研究论文。
跨部门合作
2010 至 2021 年间,非营利组织与教育机构产出的跨部门 AI 论文最多。其次是私营部门与教育机构之间的合作,再次是政府与教育机构之间的合作。
AI 专利数量创历史新高
随着 AI 发展加速,越来越多的研究人员与科学家争相通过专利来保护其成果,专利申请量以 76.9% 的年复合增长率增长。
AI 代码库:分享 AI 研究的新方式
在 arXiv 与 SSRN 发布未经过同行评审的研究,已成为 AI 研究者分享发现的流行方式。过去 12 年,AI 代码库论文数量增长了近 30 倍。
流行的开源 AI 库
报告比较了近七年流行开源 AI 库的 GitHub star 总数。Tensorflow star 数最多,其次是 OpenCV、Keras、以及 Pytorch。其他 star 低于 4 万的人气库包括 faceswap、100-Days-Of-ML-Code 和 AiLearning。
第 2 章:技术性能
章节摘要
本章跟踪计算机视觉、自然语言处理、语音、推荐、强化学习、硬件与机器人等各类模型的进展,并尝试以常用的模型基准与专业调研在 10 年跨度内量化模型表现。报告中使用的部分基准如下:
计算机视觉 图像与视频
机器学习问题
使用的基准
图像分类
ImageNet:Top-1 与 Top-5 准确率
深度伪造检测
FaceForensics++ 准确率
CELEB-DF:曲线下面积得分(AUC)
语义分割
CITYSCAPES CHALLENGE:平均交并比(IOU)
行为识别
Kinetics-400、Kinetics-600、Kinetics-700 数据集:Top-1 准确率
目标检测
[Common Object in Context] COCO-TEST-DEV:平均精度(mAP)
语言
机器学习问题
使用的基准
英文语言理解
SUPERGLUE:分数,SQUAD 1.1 与 SQUAD 2.0:F1 分数,需逻辑推理的阅读理解数据集(RECLOR):准确率
文本摘要
ARXIV:ROUGE-1,PUBMED:ROUGE-1
自然语言推理
STANFORD NATURAL LANGUAGE INFERENCE (SNLI)
ABDUCTIVE NATURAL LANGUAGE INFERENCE (aNLI)
推荐
机器学习问题
使用的基准
商业推荐
MOVIELENS 20M:归一化折损累计增益@100
点击率预测
CRITEO:曲线下面积得分(AUC)
强化学习
机器学习问题
使用的基准
街机游戏
ATARI-57:平均人类归一化分数
PROCGEN:平均归一化分数
人类棋类游戏:国际象棋
国际象棋引擎:ELO 分数
重点速览
大数据是成功之钥
大规模训练数据集是构建高精度模型的关键。几乎所有拥有数百万参数的前沿模型都在大数据集上训练以取得优异表现。大型科技公司因掌握海量数据而更具优势。
可负担的 AI
多年的创新已见成效,如今普通人也更易于负担搭建大规模模型。自 2018 年以来,训练图像分类器的成本下降了 63.6%。此外,模型训练所需时间提升了 95%。训练时间的改进是成本降低的原因之一,专用云服务、高效开源工具包与人才供给等因素也共同压低了成本。
更便宜的机械臂
据 AI 指数团队的调查显示,机械臂价格呈明显下降趋势:2017 年机械臂的中位价为 42,000 美元,到了 2021 年几乎下降了 50%,为 22,600 美元。
聚焦医学影像
报告称,计算机视觉研究正转向更贴近应用场景的方向,如医学影像。根据其数据集,AI 指数发现使用 Kvasir-SEG 医学影像数据集与 CVC-ClinicDB 的研究显著增加——2020 年仅有 3 篇相关论文,而 2021 年则有 25 篇。
AI 仍欠缺语言能力
尽管如 SuperGlue 与 Squad 等基准上的模型已在相对简单的任务(如阅读理解)上超越人类,但在更复杂的语言任务(如溯因自然语言推理 aNLI)上,AI 模型仍远未达到人类水平。
通用强化学习的进步
过去 10 年,AI 在国际象棋等狭义强化学习任务上已十分出色。然而,2021 年在更通用的强化学习任务上出现显著改进趋势,例如由 OpenAI 于 2019 年发布、用于测试 AI 学习可泛化技能的强化学习环境 Procgen。
第 3 章:技术层面的 AI 伦理
章节摘要
毫无疑问,过去几年 AI 为企业创造了巨大价值。然而,随着这些机器学习模型走向生产落地,其使用也暴露出AI 偏见的一些重大短板。许多情况下,AI 模型使用包含特定社会偏见的真实世界数据进行训练,而当围绕这些有缺陷的数据构建模型时,这些偏见可能被进一步放大。
本章尝试通过为自然语言与计算机视觉等领域提供深入的基准来量化消除偏见的进展。部分使用的基准如下:
自然语言
伦理议题
基准
自然语言的毒性
Perspective API
RealToxicityPrompts
刻板印象偏见
StereoSet 随模型规模的得分
CROWS-PAIRS
性别偏见
Winogender
Winobias
WINOMT
重点速览
AI 伦理走向主流
关于 AI 模型公平性的研究呈多倍增长——自 2014 年起,相关发表量以每年 71% 的速度增长。多种商用模型的结果偏见,已在信用卡评分等真实场景中对特定群体造成不公平对待,因此学术界与商业公司对公平性的关注显著升温。
大型语言模型存在偏见
拥有数千亿参数的最新大型语言模型(如 GPT-3)在语言任务上取得了巨大成功。这类模型的技术突破在于将带有注意力机制的 Transformer 进行双向训练。然而,新的数据表明,这些庞大模型更容易从海量训练数据中引入偏见。
多模态模型更易倾向偏见
与大型语言模型类似,诸如 DALL·E 2 等语言-视觉多模态模型,因对文本与图像作为单一数据流进行大规模训练而展现出多样化的能力。这不仅能够从文本提示生成顶级拟真的图像,也会在输出中反映社会刻板印象与偏见。
第 4 章:经济与教育
章节摘要
本章考察 AI 对经济与教育的影响。报告从 Linkedin、计算研究协会、麦肯锡、Netbase Quid 与 EMSI Burning Glass 等处收集了公开数据,并考察了 AI 对就业的影响,包括招聘、劳动力需求与技能渗透。
重点速览
AI 投资热度高企
2021 年,AI 初创公司共融资 935 亿美元,较 2020 年翻番。然而,新增获投的 AI 初创公司数量从 2019 年的 1051 家降至 2021 年的 746 家。2021 年有 15 笔 5 亿美元及以上的融资轮次。
美国押注 AI 创新
美国在 AI 领域的私人投资规模与新增获投公司数量均居首,分别约为第二名中国的近两倍与三倍。
云成为投资重点
云端数据管理与处理领域的公司(如 Databricks)获得了最多的私人融资。其次是医疗健康与金融科技。
AI 职位的热门地区
2016 至 2021 年间,AI 职位空缺增长最快的地区为新西兰、香港、爱尔兰、卢森堡与瑞典。
美国国内的 AI 职位概况
加利福尼亚州(硅谷所在地)的职位发布数量最高,是第二名得克萨斯州的 2.3 倍。然而,若与全美职位总量相比,华盛顿特区的 AI 职位占比最高。
AI 是计算机科学博士最热门的专攻方向
过去十年中,计算机科学博士最受欢迎的专攻是机器学习/人工智能。2020 年每五名 CS 博士毕业生中就有一人专攻 AI。
第 5 章:AI 政策与治理
章节摘要
本章解析全球范围内影响人工智能的立法与监管,考察各国与各地区如何在以民众福祉为核心的同时,容纳 AI 技术。研究者梳理了全球的政策制定情况,并量化了涉及“人工智能”的提案与通过的法案。
重点速览
越来越多国家开始规范 AI 的使用
报告统计了 2016 至 2021 年间 25 个国家通过的与 AI 相关法案(包含“人工智能”关键词)。结果显示,过去两年与 AI 相关的通过法案数量急剧上升。西班牙、英国与美国以各 3 项法案并列最多。
美国在提出 AI 相关法案方面领先
美国立法记录显示,拟议监管 AI 的法案数量大幅增加。2021 年,美国立法机构共提出 130 项法案,但仅有 2% 最终成为法律。
美国州层面的 AI 立法
在美国,全国范围内均有涉及 AI 的立法考量:2012 至 2021 年间,50 个州中有 41 个至少提出过一项与 AI 相关的法案。提出法案最多的前三个州为:
民主党与共和党在 AI 问题上的分歧
在美国,州层面的 AI 立法数据还可按政党提案进行细分。数据显示,民主党对 AI 立法的支持度高于共和党,且差距逐年扩大。2021 年,民主党提案数比共和党多 39 项。
全球立法听证会中的 AI 提及
《AI 指数报告》分析了 2016 至 2021 年间 25 个国家以口头记录形式留存的听证会中包含“artificial intelligence”关键词的情况。过去六年中,对 AI 的提及次数增长了 7.7 倍,2021 年共提及 1,323 次。
持续关注 AI
AI 领域不断演进,全球数百万专家昼夜努力推动其发展。要进一步紧跟 AI 的最新进展,您可以查看以下资源。