“人工智能”一词的首次记录使用可追溯到 1956 年的一次学术会议上，约翰·麦卡锡在演讲中提到用机器模拟人类智能。因此，他常被誉为人工智能的开创者之一。
但关于机器能否思考的探索远早于此。事实上，1950 年，英国数学家艾伦·图灵发表论文《计算机器与智能》，提出了一种用于判断计算机是否会“思考”的测试。
如今，围绕人工智能（AI）的问题已然不同。随着我们产生的数据量激增、算法的进步以及计算能力的大幅提升，这项技术日益流行。我们也进入了一个有必要认真审视使用这些工具所带来的伦理与社会问题的阶段。
AI 技术固然能提升效率与生产力，但也可能生成有害内容、带有偏见，甚至侵犯数据隐私。这引发了关于如何以负责任的方式构建 AI的积极讨论，即在赋能员工、正向影响客户的同时，让企业能够以合乎伦理的方式扩展 AI 应用。
ChatGPT 与内容审核的演进
在大众文化中，最受关注的 AI 进展之一是 ChatGPT。ChatGPT 是由 OpenAI 开发的 AI 聊天机器人，旨在与用户进行类人交互。
ChatGPT 在上线五天即获百万用户，一度成为增长最快的在线服务。自 2018 年 6 月首次亮相以来，它经历了多个版本迭代。
彼时该模型名为生成式预训练变换器 1（GPT-1）。它是 OpenAI 在谷歌于 2017 年提出 Transformer 架构之后开发的首个大型语言模型（LLM）。这一模型为我们今日所见的 ChatGPT 奠定了基础，但在此之前还经历了进一步的迭代。
例如，2019 年 OpenAI 发布了更强大的 GPT-2。更新重点在于增强语言理解能力，这意味着要在更大规模的数据集上训练模型，并通过精调与权限控制，让用户能针对特定用例对模型进行定制。不久之后，2020 年又有了 GPT-3。
就本文写作时而言，ChatGPT 被视为最强大的语言模型之一。它能够执行翻译、文本补全、问答与文本生成等自然语言处理任务。
但这并不意味着它没有问题。
ChatGPT 的能力与局限
当下我们所熟知的 ChatGPT 基于 GPT-3.5 架构，付费订阅者可使用 GPT-4。两者主要区别在于训练数据集与针对对话场景的优化，使用户通过聊天界面与模型交互时能获得更个性化的体验。
这些变化改善了人机沟通效率，也极大提升了信息的处理与消费方式，以及客户体验。
但它并非完美无缺。近期多方讨论揭示了 ChatGPT 可能生成不当或带偏见回复的风险。我们关于生成式 AI 伦理的指南对此有更详细的探讨。
问题根源在于 ChatGPT 的构建方式——该 LLM 以来自不同背景群体的集体文本为训练材料。这种多样性有助于模型的理解能力，但也可能将偏见与成见引入其生成的内容中。
主动审核的必要性
主动内容审核是指对用户生成内容进行审查与监控的过程。其目的是确保用户内容符合特定标准与准则，从而保护您的品牌免于与负面内容挂钩，并避免用户接触到可能冒犯性的内容。
例如，主动内容审核的一方面是在平台上移除不当内容，另一方面是执行社区准则以防止诸如欺凌等行为。
ChatGPT 内容审核的机制
OpenAI 认识到用户生成内容所带来的威胁（例如损害应用声誉、对用户造成伤害等），并迅速提供了一种工具，以防止语言模型或用户产生不当内容。
这一工具以 Moderation API 的形式提供，使开发者能够将内容与 OpenAI 的使用政策进行比对。这些政策力求消除不当语言，例如：
- 仇恨言论
- 威胁性语言
- 骚扰
- 自残（意图或指示）
- 露骨内容（包括色情与暴力）
然而，当未经过滤的用户输入影响模型时，诸如 ChatGPT 等模型也可能输出带偏见或不准确的结果。因此，需要实施控制措施，防止模型无意间传播虚假信息。
因此，内容从两个层面得到控制：
用户输入控制
用于监测、过滤与管理用户生成内容的技术；其目标是在构建 LLM 应用时，帮助企业维护诚信、安全与道德标准。
模型输出控制
通过这些政策与流程，可以追踪并过滤模型与用户交互时生成的回复；这使开发者能够应对模型输出中的潜在问题，例如偏见。
实施输入与输出控制将 LLM 的伦理责任置于企业之上；企业需确保用户在其产品与服务中的良好体验，并确保以负责任的方式使用 AI。
内容审核的方法
常见的审核类型有六种：
预审核
在内容向公众可见之前，必须先行检查，这称为预审核。其好处在于，可在内容造成伤害之前，禁止被视为不适合或不受欢迎的内容出现在在线平台上。
这在面向年轻受众的线上社区中极为常见。然而，许多人认为这会削弱在线社区“即时满足”的特性，因为内容需在发布前通过审核。
后审核
与预审核相对的是后审核。从用户体验角度看，这往往更受欢迎，因为内容在提交后即可发布，随后再进入审核队列。
这种方式的主要优势是用户可实时交流，但成本可能高企，因为网站运营方作为内容的法律发布者，要为其平台所展示的内容承担责任——看到有害内容的人越多，一旦诉诸法律，潜在损害就越大。
被动（举报）审核
另一种做法是将权力交到社区成员手中。用户可以标记违反规则的内容或不当行为的成员。
被动审核常与预审核或后审核同时使用，作为防止漏网之鱼的安全网。其最大优势在于能随社区增长而扩展，而不会给您的资源带来额外压力。
分布式审核
分布式审核是一种少见的内容过滤形式。它依赖社区成员使用评分系统，对投稿是否符合社区准则进行投票。
出于法律与品牌风险考虑，企业往往不愿将自我审核的责任完全交由社区成员承担。
自动化审核
随着用户生成内容的增长，人类审核员介入并管理负载的复杂性也随之上升。人工逐一筛查海量内容不仅困难，而且令人沮丧；没人会期待上班就要处理一堆令人不适的内容。
在人工审核的基础上加入自动化审核，是极具价值的变通方案。它由多种技术工具构成，例如词语过滤器，用于拒绝或通过投稿。
无审核
内容审核员通常会建议不要采用“无审核”策略。但他们也理解，有时确实存在选择不对社区内容进行审核的合理理由。
例如，也许资源不足，或您的社区试图拥抱“言论自由”的理念。本质上，放弃审核就是放弃控制，使平台处于脆弱状态，这通常会让新用户望而却步。
现实世界中的内容审核
如今，大多数平台（如 Facebook 和 YouTube）都会利用自动化内容审核来屏蔽某些类型的内容。这通常涉及使用 AI，专门用于改进内容审核工作并提升平台上的用户体验。
然而，尽管 AI 可以检测不当内容，并接管大部分原本由人工承担的繁琐工作，但它并非没有缺陷。机器往往会忽略错误信息、偏见与仇恨言论等重要细微差别，这意味着彻底取消人工审核并不可取。
换言之，使用 AI 的自动化审核通常要与人工审核配合，以确保平台对用户安全、品牌形象不受损。以下是几个真实世界的例子：
辱骂性内容
Twitter（现为 X）因未能高效应对网络骚扰而饱受批评。然而，自埃隆·马斯克接手以来，该公司已在大量依赖自动化来审核内容。由此推出的工具如 质量筛选（Quality filter），利用自然语言处理等技术，降低低质量内容的可见度。
成人内容
YouTube 对裸露与性内容有严格政策；违规者可能面临频道被终止的风险。他们的识别方式有两种：自动化与被动（举报）审核。
在自动化路径中，谷歌部署利用计算机视觉等技术的算法来检测裸露。如果内容逃过算法检测，YouTube 则依赖观众将其标记为不当，以便进一步审核。
虚假与误导性内容
Instagram 依靠 AI 与人工审核来发现、审查并处理传播误导性信息的内容——在新冠疫情期间尤为明显。
根据 Instagram 帮助中心所述，“[Instagram 的] AI 能在无人举报前检测并移除违反我们《社区准则》的内容。其他情况下，我们的技术会将内容转交给人工审核团队进行更细致的审查和判定。”
结论
从图灵与麦卡锡的奠基理论到 ChatGPT 的实际应用，AI 的伦理版图愈发复杂。尽管 ChatGPT 等 AI 技术潜力巨大，但也带来包括内容审核与偏见在内的伦理挑战。
OpenAI 的 Moderation API 是迈向负责任 AI 的重要一步，但并非放之四海而皆准的方案。企业与开发者需共同承担伦理责任，采用多元化的审核策略，将自动化系统与人工监督相结合。来自 Twitter 与 YouTube 等平台的真实案例证明了这种混合模式的有效性。
如果您希望更深入了解负责任的 AI，我们提供了多种资源，例如一档关于负责任 AI 未来的播客、一个关于用 Python 评估机器学习模型的网络研讨会，以及一门AI 伦理课程。
AI 的伦理治理是一项集体事业，需要各方持续警惕。随着我们不断拓展 AI 的能力边界，也应同步推进伦理自律，确保技术成为向善之力。
“人工智能”一词的首次记录使用可追溯到 1956 年的一次学术会议上，约翰·麦卡锡在演讲中提到用机器模拟人类智能。因此，他常被誉为人工智能的开创者之一。
但关于机器能否思考的探索远早于此。事实上，1950 年，英国数学家艾伦·图灵发表论文《计算机器与智能》，提出了一种用于判断计算机是否会“思考”的测试。
如今，围绕人工智能（AI）的问题已然不同。随着我们产生的数据量激增、算法的进步以及计算能力的大幅提升，这项技术日益流行。我们也进入了一个有必要认真审视使用这些工具所带来的伦理与社会问题的阶段。
AI 技术固然能提升效率与生产力，但也可能生成有害内容、带有偏见，甚至侵犯数据隐私。这引发了关于如何以负责任的方式构建 AI的积极讨论，即在赋能员工、正向影响客户的同时，让企业能够以合乎伦理的方式扩展 AI 应用。
ChatGPT 与内容审核的演进
在大众文化中，最受关注的 AI 进展之一是 ChatGPT。ChatGPT 是由 OpenAI 开发的 AI 聊天机器人，旨在与用户进行类人交互。
ChatGPT 在上线五天即获百万用户，一度成为增长最快的在线服务。自 2018 年 6 月首次亮相以来，它经历了多个版本迭代。
彼时该模型名为生成式预训练变换器 1（GPT-1）。它是 OpenAI 在谷歌于 2017 年提出 Transformer 架构之后开发的首个大型语言模型（LLM）。这一模型为我们今日所见的 ChatGPT 奠定了基础，但在此之前还经历了进一步的迭代。
例如，2019 年 OpenAI 发布了更强大的 GPT-2。更新重点在于增强语言理解能力，这意味着要在更大规模的数据集上训练模型，并通过精调与权限控制，让用户能针对特定用例对模型进行定制。不久之后，2020 年又有了 GPT-3。
就本文写作时而言，ChatGPT 被视为最强大的语言模型之一。它能够执行翻译、文本补全、问答与文本生成等自然语言处理任务。
但这并不意味着它没有问题。
ChatGPT 的能力与局限
当下我们所熟知的 ChatGPT 基于 GPT-3.5 架构，付费订阅者可使用 GPT-4。两者主要区别在于训练数据集与针对对话场景的优化，使用户通过聊天界面与模型交互时能获得更个性化的体验。
这些变化改善了人机沟通效率，也极大提升了信息的处理与消费方式，以及客户体验。
但它并非完美无缺。近期多方讨论揭示了 ChatGPT 可能生成不当或带偏见回复的风险。我们关于生成式 AI 伦理的指南对此有更详细的探讨。
问题根源在于 ChatGPT 的构建方式——该 LLM 以来自不同背景群体的集体文本为训练材料。这种多样性有助于模型的理解能力，但也可能将偏见与成见引入其生成的内容中。
主动审核的必要性
主动内容审核是指对用户生成内容进行审查与监控的过程。其目的是确保用户内容符合特定标准与准则，从而保护您的品牌免于与负面内容挂钩，并避免用户接触到可能冒犯性的内容。
例如，主动内容审核的一方面是在平台上移除不当内容，另一方面是执行社区准则以防止诸如欺凌等行为。
ChatGPT 内容审核的机制
OpenAI 认识到用户生成内容所带来的威胁（例如损害应用声誉、对用户造成伤害等），并迅速提供了一种工具，以防止语言模型或用户产生不当内容。
这一工具以 Moderation API 的形式提供，使开发者能够将内容与 OpenAI 的使用政策进行比对。这些政策力求消除不当语言，例如：
然而，当未经过滤的用户输入影响模型时，诸如 ChatGPT 等模型也可能输出带偏见或不准确的结果。因此，需要实施控制措施，防止模型无意间传播虚假信息。
因此，内容从两个层面得到控制：
用户输入控制
用于监测、过滤与管理用户生成内容的技术；其目标是在构建 LLM 应用时，帮助企业维护诚信、安全与道德标准。
模型输出控制
通过这些政策与流程，可以追踪并过滤模型与用户交互时生成的回复；这使开发者能够应对模型输出中的潜在问题，例如偏见。
实施输入与输出控制将 LLM 的伦理责任置于企业之上；企业需确保用户在其产品与服务中的良好体验，并确保以负责任的方式使用 AI。
内容审核的方法
常见的审核类型有六种：
预审核
在内容向公众可见之前，必须先行检查，这称为预审核。其好处在于，可在内容造成伤害之前，禁止被视为不适合或不受欢迎的内容出现在在线平台上。
这在面向年轻受众的线上社区中极为常见。然而，许多人认为这会削弱在线社区“即时满足”的特性，因为内容需在发布前通过审核。
后审核
与预审核相对的是后审核。从用户体验角度看，这往往更受欢迎，因为内容在提交后即可发布，随后再进入审核队列。
这种方式的主要优势是用户可实时交流，但成本可能高企，因为网站运营方作为内容的法律发布者，要为其平台所展示的内容承担责任——看到有害内容的人越多，一旦诉诸法律，潜在损害就越大。
被动（举报）审核
另一种做法是将权力交到社区成员手中。用户可以标记违反规则的内容或不当行为的成员。
被动审核常与预审核或后审核同时使用，作为防止漏网之鱼的安全网。其最大优势在于能随社区增长而扩展，而不会给您的资源带来额外压力。
分布式审核
分布式审核是一种少见的内容过滤形式。它依赖社区成员使用评分系统，对投稿是否符合社区准则进行投票。
出于法律与品牌风险考虑，企业往往不愿将自我审核的责任完全交由社区成员承担。
自动化审核
随着用户生成内容的增长，人类审核员介入并管理负载的复杂性也随之上升。人工逐一筛查海量内容不仅困难，而且令人沮丧；没人会期待上班就要处理一堆令人不适的内容。
在人工审核的基础上加入自动化审核，是极具价值的变通方案。它由多种技术工具构成，例如词语过滤器，用于拒绝或通过投稿。
无审核
内容审核员通常会建议不要采用“无审核”策略。但他们也理解，有时确实存在选择不对社区内容进行审核的合理理由。
例如，也许资源不足，或您的社区试图拥抱“言论自由”的理念。本质上，放弃审核就是放弃控制，使平台处于脆弱状态，这通常会让新用户望而却步。
现实世界中的内容审核
如今，大多数平台（如 Facebook 和 YouTube）都会利用自动化内容审核来屏蔽某些类型的内容。这通常涉及使用 AI，专门用于改进内容审核工作并提升平台上的用户体验。
然而，尽管 AI 可以检测不当内容，并接管大部分原本由人工承担的繁琐工作，但它并非没有缺陷。机器往往会忽略错误信息、偏见与仇恨言论等重要细微差别，这意味着彻底取消人工审核并不可取。
换言之，使用 AI 的自动化审核通常要与人工审核配合，以确保平台对用户安全、品牌形象不受损。以下是几个真实世界的例子：
辱骂性内容
Twitter（现为 X）因未能高效应对网络骚扰而饱受批评。然而，自埃隆·马斯克接手以来，该公司已在大量依赖自动化来审核内容。由此推出的工具如 质量筛选（Quality filter），利用自然语言处理等技术，降低低质量内容的可见度。
成人内容
YouTube 对裸露与性内容有严格政策；违规者可能面临频道被终止的风险。他们的识别方式有两种：自动化与被动（举报）审核。
在自动化路径中，谷歌部署利用计算机视觉等技术的算法来检测裸露。如果内容逃过算法检测，YouTube 则依赖观众将其标记为不当，以便进一步审核。
虚假与误导性内容
Instagram 依靠 AI 与人工审核来发现、审查并处理传播误导性信息的内容——在新冠疫情期间尤为明显。
根据 Instagram 帮助中心所述，“[Instagram 的] AI 能在无人举报前检测并移除违反我们《社区准则》的内容。其他情况下，我们的技术会将内容转交给人工审核团队进行更细致的审查和判定。”
结论
从图灵与麦卡锡的奠基理论到 ChatGPT 的实际应用，AI 的伦理版图愈发复杂。尽管 ChatGPT 等 AI 技术潜力巨大，但也带来包括内容审核与偏见在内的伦理挑战。
OpenAI 的 Moderation API 是迈向负责任 AI 的重要一步，但并非放之四海而皆准的方案。企业与开发者需共同承担伦理责任，采用多元化的审核策略，将自动化系统与人工监督相结合。来自 Twitter 与 YouTube 等平台的真实案例证明了这种混合模式的有效性。
如果您希望更深入了解负责任的 AI，我们提供了多种资源，例如一档关于负责任 AI 未来的播客、一个关于用 Python 评估机器学习模型的网络研讨会，以及一门AI 伦理课程。
AI 的伦理治理是一项集体事业，需要各方持续警惕。随着我们不断拓展 AI 的能力边界，也应同步推进伦理自律，确保技术成为向善之力。