如何使用 DALL-E 3：技巧、示例与功能

什么是 DALL-E 3？

DALL-E 是由 OpenAI 创建的图像生成型生成式 AI 模型。它于 2021 年 1 月首次发布，目前的版本是第三代。

该模型基于称为提示词的自然语言输入来生成图像。也就是说，给出几句简短的描述后，模型就能理解语言并创建与描述相符的准确图像。

有个小趣闻，创作者将“DALL-E”这个名字结合自以技术功力著称的西班牙超现实主义画家萨尔瓦多·达利（Salvador Dali）以及皮克斯 2008 年的电影《机器人总动员》（WALL-E）。

正如我们上文所述，DALL-E 模型自诞生以来已经历多次升级。

DALL-E 系列的演进

DALL-E、DALL-E 2 和 DALL-E 3 的共同点在于，它们都是利用深度学习技术开发的文本到图像模型，使用户能够从自然语言生成数字图像。除此之外，它们之间还有不少差异。例如，OpenAI 在 2021 年的博文中公布的第一代 DALL-E，是使用修改后的 GPT-3 来从文本生成图像。

更具体地说，DALL-E 1 使用了一种离散变分自编码器（dVAE）技术。该技术基于 Alphabet 旗下 DeepMind 部门关于向量量化变分自编码器的研究。

时间快进一年，到了 2022 年，OpenAI 宣布了 DALL-E 的继任者 DALL-E 2。DALL-E 2 旨在生成更逼真且高分辨率的图像，能够融合概念、属性和风格。

为实现这一目标，DALL-E 2 改进了所用技术。例如，DALL-E 2 使用稳定扩散模型，并结合了对 4 亿张标注图像进行训练的对比式语言-图像预训练（CLIP）模型的数据，从而生成更高质量的图像。该模型（CLIP）通过评估哪个标题最适合生成的图像，来帮助评估 DALL-E 的输出。

来到当下。2023 年 9 月，OpenAI 宣布了 DALL-E 系列的最新成员 DALL-E 3。据 OpenAI 团队介绍，DALL-E 3 相比前代“能理解显著更多的细微差别与细节”。也就是说，该模型在遵循复杂提示词方面更为准确，并能生成更连贯的图像。它还集成到了 ChatGPT——OpenAI 的另一款生成式 AI 解决方案中。

DALL-E 3 的功能与能力

下面我们来看看 DALL-E 3 的一些主要特性，尤其是与前代模型相比的改进。

更强的语境理解

与前代相比，DALL-E 3 在把握细微差异和细节识别方面更为先进，能够将您的想法无缝转化为精确的视觉效果。传统的文本到图像技术常常会忽略某些词语或描述，从而迫使用户不断打磨提示词工程的技巧。

OpenAI 表示，DALL-E 3 在语境把握方面表现更佳，其亮点是更高的精确性与更高效的图像生成。DALL-E 3 在生成与用户文本描述相匹配且遵循描述的视觉效果方面取得了进步。

其目标是通过输入更贴合用户需求的细节，减少生成图像时的复杂度与麻烦。

与 ChatGPT 集成

DALL-E 3 本质上源自 ChatGPT，因此可以实现快速优化提示词与轻松调整图像。用户可与 ChatGPT 作为“创意伙伴”协作，帮助构思图像创意。

安全与法律规范

在更加重视安全措施的前提下，DALL-E 3 禁止生成露骨、具有攻击性或带有歧视性的图像，以保护更广泛的社区。为尊重知识产权并避免版权侵权，DALL-E 3 避免生成与在世公众人物相似的图像，或刻意模仿在世艺术家的独特风格。

与其他 AI 平台一样，DALL-E 3 的知识来源于公开可获得的视觉与文本数据。吸收这些数据使得 DALL-E 3 能以此为灵感创作新图像。

然而，并非所有艺术家都希望他们的数据被 DALL-E 3 用作训练材料，因此 OpenAI 为内容创作者提供了两种排除其图像用于训练的途径。他们可以填写此在线表单，或阻止 GPTBot（网络数据采集器）访问其内容。

可及性与发布

一次颠覆性的举措重塑了 AI 版图：Microsoft Bing 已将 OpenAI 的 DALL-E 3 与 ChatGPT 无缝整合，使人人都能轻松获取。您也可以通过订阅 ChatGPT Plus 来访问 DALL-E 3。

分阶段发布策略

Microsoft 与 OpenAI 均采取了分阶段发布策略，确保 DALL-E 3 能与 Bing 无缝整合。最初，DALL-E 3 只向部分用户与开发者开放，以收集反馈并排查潜在问题。随后，访问权限逐步扩展至更广泛的用户群体。

公众访问

OpenAI 一直致力于确保其技术能为公众所用。DALL-E 3 提供免费公共版本，使更广泛的社区无需承担经济负担即可探索 AI 的能力。OpenAI 也在持续与教育机构合作，将其技术用于教学目的。

快速上手 DALL-E 3

要使用 DALL-E 3，您只需一台可以访问 Bing 的设备与有效的互联网连接。无需专门的硬件或软件。

使用 DALL-E 3 进行图像生成

DALL-E 3 图像生成分步指南

1. 访问 Bing 网站

2. 选择左上角的“聊天”图标以打开聊天界面。

聊天界面如下所示……

3. 输入您想生成图像的详细文字描述，然后按 Enter 提交。

此处使用的提示词为：“为一部名为 '隔壁的男人' 的恐怖电影制作一张电影海报。”

以下是它生成的效果……

理解输出

DALL-E 3 会根据您的文字描述生成多张图像。浏览这些图像，选择最符合您需求的那一张。

进阶技巧

为特定任务微调 DALL-E 3

您可以更进一步，提供更具体的关键词，引导 DALL-E 3 精准产出您想要的内容。例如，当您希望生成图像时，可能会寻求某种特定主题或风格。

• 使用形容词。在提示词中加入描述性形容词有助于提升具体性。例如，不妨将“海上日落的天空”改为“火红的天空映照在宁静的蓝色海面上”。
• 分层描述。为提示词添加层次，可以让 DALL-E 3 组合多个元素。例如，“宁静的蓝粉色天空，群鸟向东北方向飞行。”
• 艺术风格。如果您心中已有特定艺术风格，请将其加入提示词——例如写实风、插画风或梵高风格。
• 迭代优化。初始提示词可能无法得到理想结果，因此可以继续尝试并不断优化。

高效使用 DALL-E 3 的最佳实践与建议

为使您使用 DALL-E 3 的体验更流畅、更高效，以下是一些可遵循的最佳实践与建议：

• 具体明确。对于 DALL-E 3 而言，语境至关重要。提示词越详尽、越具体，输出通常越好。

例如，以下是输入“一个男人”时的生成效果：

……而当您输入“一个穿西装的男人，站在城市环境中，戴着墨镜，手里拿着黑色公文包和滑板。”时，效果会大不相同：

• 大胆试验。多与 DALL-E 3 互动，了解其长处与短板。最出人意料的提示词，往往会带来最佳结果。
• 了解限制。理解系统的限制有助于与之配合，并持续优化您的提示词。
• 关注更新。及时了解更新内容，确保掌握最新变化，充分发挥 DALL-E 3 的潜力。

实践场景与用例

DALL-E 3 在 AI 驱动的图像生成领域具有重要里程碑意义。

既然我们已经与 DALL-E 3 建立了连接并了解其可能性，接下来就来探讨它的具体应用。凭借其生成式 AI 能力，DALL-E 为个人与组织提供了广泛的潜在用例，概括如下：

标志设计

无论企业规模大小，都可利用 DALL-E 3 在无需深厚设计技能的情况下创建独特且吸睛的标志。标志是品牌的视觉身份，因此至关重要。借助 DALL-E 3，企业可直接从文字描述生成独特标志，成为一种独特、高效且经济的替代方案。

• 工作原理。输入期望标志的文字描述后，DALL-E 3 会为用户呈现多种设计可能性。企业可以快速迭代想法、加以完善，并选择与品牌精髓契合的标志。

以下是一个可用的示例提示词：“扁平几何矢量图形的营地形状标志，黑色，简洁极简风，由 Ivan Chermayeff 设计。”

使用 DALL-E 3 创建标志

• 优势。此流程避免反复打回重做，节省时间与资源。企业还能快速进行细微调整，例如季节性或活动性标志变体。

广告海报

企业与个人也可利用 DALL-E 3 制作引人注目的海报，展示其产品与服务，从而吸引潜在客户。

• 工作原理。将独特的产品细节（如配色方案、主题元素与标语）输入 DALL-E 3，提供足够的文字语境，便可生成适配不同社交媒体渠道的海报。

以下是一个可用的示例提示词：“电影《搏击俱乐部》的海报，突出泰勒·德登，大量黑色，Saul Bass 风格 —ar 2:3”［来源：Awesome Poster prompts］

使用 DALL-E 3 创作的电影海报

• 优势。这可确保各平台上的品牌呈现保持统一，在不承担传统设计流程的全部成本下，强化品牌识别与客户忠诚度。

艺术与设计

艺术家可以将 DALL-E 3 作为辅助工具，借其提升创作流程。从输出时装线的基础草图、绘制一系列纹身设计，到打造独特的音乐专辑封面，DALL-E 3 都可作为艺术家进一步精修的起点。它为艺术表达与试验开辟新路径，使创作过程更具活力与多样性。

• 工作原理。艺术家可从一个粗略想法出发，使用详细的文字提示生成图像，再进一步精修以满足特定需求。

以下是一个可用的示例提示词：“罗伊·利希滕斯坦笔下的烟花满天的夜空。”

用 DALL-E 3 复刻艺术风格

• 优势。创作瓶颈在所难免，DALL-E 3 通过提供多种起点来缓解这一问题。艺术家还能探索其惯常风格之外的体裁与主题。

信息图

记者可以借助 DALL-E 3 设计信息图，将复杂数据提炼为受众易于理解的可视化内容。

• 工作原理。记者可向 DALL-E 3 提供主题、详细描述以及期望的可视化类型。AI 会给出信息图的文字描述，然后可将其输入 DALL-E 3 为您进行可视化。输出结果还可进一步优化以符合期望的美学风格。

以下是一个可用的示例提示词：“钢铁侠战衣的信息图绘制。”

使用 DALL-E 创建信息图

• 优势。利用 DALL-E 3 加速数据可视化流程，可减少时间与资源消耗。既精准又吸引人的视觉作品往往耗时，因此使用 DALL-E 3 有助于提升新闻内容的整体质量。

伦理考量与安全措施

OpenAI 一直将伦理考量与安全措施置于技术发展的首位。随着社会对 AI 系统的使用及其落地的关注度提高，这些 AI 系统的所有者有责任确保社会的安全与安定。

DALL-E 2 曾遭反弹

DALL-E 3 的前身 DALLE-2 因生成虚假、不当和带有歧视性的内容而遭到反弹。例如，DALL-E 2 生成了五角大楼附近发生爆炸的假图像，导致股市大跌。DALL-E 2 对公共数据集的依赖也影响了其输出，显示出一定偏见。

例如，生成包含男性的图像数量多于女性。这又带来另一项挑战：用于训练的数据经过筛选，删除了被认为暴力或色情的内容，进而减少了图像中出现女性的概率。

深度伪造与虚假信息

更广泛的社会关注之一，是深度伪造与其他形式虚假信息的生成。随着 AI 系统的落地，许多人担心如何区分真假。OpenAI 采取的应对方式之一，是拒绝涉及公众人物的提示词以及包含人脸的图片上传。此外，含有上传图像的提示词还将被进一步分析，以评估是否包含敏感材料，违规内容将被拦截。

然而，基于提示词的过滤也面临挑战，用户可以通过变换措辞轻松绕过与破解过滤。例如，不用“血”这个词，而改用“红色液体”，AI 可能仍会给出类似结果。

失业问题

基于我们对 DALL-E 的潜在用例及其如何惠及组织与个人的了解，也引发了对艺术家、摄影师、平面设计师等创意职业失业率上升的担忧。

OpenAI 的安全措施

OpenAI 致力于确保负责任的 AI 治理，并与 Microsoft、Google、Meta 等科技公司合作，确保对 AI 生成的音视频内容进行数字水印。然而，这一水印功能尚未在测试版本中提供，这也引发了对测试阶段缺乏安全功能的担忧。

不过，这并不意味着 OpenAI 没有安全功能与计划。他们与红队成员合作——这类人员会有意尝试攻破系统，以暴露其脆弱点、弱项及其他可改进之处。借此，OpenAI 能对 DALL-E 3 进行压力测试，并制定适当的风险评估与缓解措施，以减少虚假信息等问题。

若想更深入了解 AI 伦理基础，并学习如何自信且负责地应对这一复杂领域，欢迎立即加入我们的AI 伦理课程！

结语

活在这样的时代，令人兴奋。基于前代奠定的基础，DALL-E 3 的演进在准确性、速度与语境理解方面展现了非凡实力。

OpenAI 与 Microsoft 的战略合作，承诺向公众提供广泛的可及性，推动 AI 驱动的图像生成走向大众化。与 ChatGPT 的集成则提升了提示词优化效率，并带来更具协作性的图像生成体验。

DALL-E 3 充分展现了机器学习在高效生成视觉内容方面的潜力。

延伸阅读：

• 什么是基础模型？ 博文：DALL-E 是一种基础模型。这意味着它由旨在追求通用性的算法开发而成。此类模型基于大规模神经网络，通常在广泛的数据源上进行训练，以完成多种下游任务（包括那些它可能并非专门为之设计的任务）——在这篇综述中了解更多关于基础模型的内容。
• Python 中的 OpenAI API 速查表：OpenAI API 是一个云端接口，为用户提供对 OpenAI 新近开发的预训练 AI 模型（如 DALL-E、Codex、GPT-3）的访问。通过 DataCamp 的速查表，学习如何使用该 API 的基础知识。