近几个月来，我们见证了大型语言模型（LLM）领域的非凡进步，如 ChatGPT、Bard 和 LLaMA，正在重塑整个行业。想了解 LLM 的演进，请阅读What is GPT-4 and Why Does it Matter?
Open Assistant、Dolly 2.0、StableLM 等开源项目的出现，带来了与 ChatGPT 能力相媲美且可商用授权的 LLM。这意味着，具备技术专长的个人如今可以在云平台或本地服务器上微调并部署 LLM。这种可及性让更多用户能够利用 LLM 的潜力，实现使用的民主化。
随着获取前沿模型的途径日益开放，现在正是为 LLM 制定最佳部署策略的时候。为此，权衡在云端或本地服务器上运行 LLM 的利弊至关重要。
在云端使用 LLM 的优点
让我们来看看在云端使用大型语言模型的一些优势：
可扩展性
LLM 的训练与部署需要大量计算资源和数据存储。有时，训练过程需要多块高端 GPU，仅有通过按需提供可扩展资源的云服务才能满足。
成本效率
如果您缺乏用于运行大型语言模型的高端硬件，选择云端可能更具性价比。使用云服务，您只需为所用资源付费，而且 GPU 和 CPU 的使用价格往往更实惠。
易用性
云平台提供一系列 API、工具和语言框架，大大简化了构建、训练和部署机器学习模型的过程。
托管服务
云服务商负责基础设施的搭建、维护、安全与优化，从而显著降低用户的运维开销。
预训练模型
云平台如今可提供最新的预训练大型语言模型，既能在自定义数据集上微调，又能便捷地在云上部署。这对搭建端到端的机器学习流水线非常有用。
阅读12 GPT-4 Open-Source Alternatives，了解语言技术领域其他流行的开源进展。
以下是提供工具与预训练模型的云平台列表：
在云端使用 LLM 的缺点
当然，与任何技术一样，在云端使用大型语言模型也有一些不足：
控制力下降
使用云端托管的机器学习服务时，您对基础设施和实现细节的控制与可见性较弱。
供应商锁定
如果您在某一云平台上训练了 LLM，迁移到其他平台将变得困难。此外，单一依赖某家云服务商存在固有风险，尤其在政策和价格波动方面。
数据隐私与安全
您的数据存放在云服务商遍布全球各地的服务器上，您必须信任其能够保障数据安全。
高成本
大规模训练和运行 LLM 仍可能相当昂贵。计算与存储资源的费用会随时间累积。
网络时延
与运行在云端的模型通信会存在一定延迟，不太适合对实时性要求较高的应用。
刚接触云计算？阅读Cloud Computing and Architecture for Data Scientists，了解如何将数据科学解决方案部署到生产环境。
本地运行 LLM 的优点
我们已探讨了在云端运行大型语言模型的利弊，接下来从相同维度看一看本地运行的情况。优点包括：
更强的可控性
您可以对用于提供服务的硬件、训练后的模型、数据和软件拥有更大的掌控。您可以按特定合规要求进行设置，优化训练与推理流程，并提升 LLM 的性能。
更低成本
如果您已经具备必要的硬件，本地运行可能比支付云费用更便宜。
更低时延
本地运行大型语言模型在时延方面具有显著优势，可缩短请求与模型响应之间的时间。这对严重依赖实时响应的应用（如聊天机器人或同声传译服务）尤为重要。
更高的隐私
通过在本地训练与运行 LLM，您对数据与模型拥有更高控制权，能够建立更完善的防护措施以保护敏感信息。
本地运行 LLM 的缺点
以下是本地运行大型语言模型的一些不足：
较高的前期成本
如果缺少高端硬件和软件，搭建用于运行大型语言模型的本地服务器成本较高。
复杂性
本地运行 LLM 可能具有挑战性且耗时，并带来运维开销。涉及的组件众多，您必须同时搭建与维护软件和基础设施。
扩展受限
无法按需扩容或缩容。运行多个 LLM 可能需要超出单机可承受的算力。
可用性
本地服务器的韧性较弱。一旦发生系统故障，对 LLM 的访问将受到威胁。相较之下，云平台提供多层冗余，宕机时间更低。
获取预训练模型
用于微调和部署的最新前沿大型语言模型，您可能无法轻易获得。
阅读ChatGPT and The Future of AI Regulations，了解新的 AI 监管，并应对下一代 AI 的潜在风险。
为 LLM 选择部署策略时的考量因素
可扩展性需求
您目前有多少用户？为满足需求需要运行多少个模型？此外，您是否计划利用数据来改进模型？这些信息将决定是否需要云端解决方案。
数据隐私与安全要求
您的领域是否将用户隐私和数据保护置于首位？是否存在严格的数据隐私法规或企业政策？如果是，则有必要构建本地部署（自有机房）解决方案。
成本约束
如果预算有限，且能使用可胜任任务的硬件，本地运行模型可能更具成本效益。
易用性
如果您的技术能力较弱或团队规模有限，部署与管理模型可能具有挑战。在这种情况下，云平台通常提供即插即用的工具，简化流程，使之更易上手与管理。
对最新模型的需求
您能否获取大型语言模型？云平台通常可访问最新的前沿模型，确保您能利用最先进的能力。
可预测性
您可以管理本地基础设施的成本。这使您能够更好地预测预算，而不是承担使用云服务所带来的可变成本。
供应商锁定问题
本地基础设施可降低供应商锁定风险，但需要更多自我运维。
对网络时延的容忍度
如果您的应用需要实时响应和更低时延，那么选择本地部署是实现目标性能的最佳方案。
团队专长
如果您的团队已熟悉云端工具与服务，选择云端是理想方案。引入新方案并学习新工具会在时间、资金与人力上产生成本。
结论
本文讨论了在云端与本地运行 LLM 的优缺点。LLM 的最佳部署策略取决于模型的规模与复杂度、应用的具体需求、预算，以及安全与隐私要求。
简而言之：
- 预算受限或偏好更高控制力的企业，可选择本地运行 LLM。
- 寻求更顺畅的 LLM 部署与更高易用性的企业，可选择云端。
最终决策在于您。请务必在做出明智选择前，认真评估并权衡各方案的利弊。
若您希望进一步拓展相关知识，请查看文章Private Cloud vs. Public Cloud: Which One to Choose?。
近几个月来，我们见证了大型语言模型（LLM）领域的非凡进步，如 ChatGPT、Bard 和 LLaMA，正在重塑整个行业。想了解 LLM 的演进，请阅读What is GPT-4 and Why Does it Matter?
Open Assistant、Dolly 2.0、StableLM 等开源项目的出现，带来了与 ChatGPT 能力相媲美且可商用授权的 LLM。这意味着，具备技术专长的个人如今可以在云平台或本地服务器上微调并部署 LLM。这种可及性让更多用户能够利用 LLM 的潜力，实现使用的民主化。
随着获取前沿模型的途径日益开放，现在正是为 LLM 制定最佳部署策略的时候。为此，权衡在云端或本地服务器上运行 LLM 的利弊至关重要。
在云端使用 LLM 的优点
让我们来看看在云端使用大型语言模型的一些优势：
可扩展性
LLM 的训练与部署需要大量计算资源和数据存储。有时，训练过程需要多块高端 GPU，仅有通过按需提供可扩展资源的云服务才能满足。
成本效率
如果您缺乏用于运行大型语言模型的高端硬件，选择云端可能更具性价比。使用云服务，您只需为所用资源付费，而且 GPU 和 CPU 的使用价格往往更实惠。
易用性
云平台提供一系列 API、工具和语言框架，大大简化了构建、训练和部署机器学习模型的过程。
托管服务
云服务商负责基础设施的搭建、维护、安全与优化，从而显著降低用户的运维开销。
预训练模型
云平台如今可提供最新的预训练大型语言模型，既能在自定义数据集上微调，又能便捷地在云上部署。这对搭建端到端的机器学习流水线非常有用。
阅读12 GPT-4 Open-Source Alternatives，了解语言技术领域其他流行的开源进展。
以下是提供工具与预训练模型的云平台列表：
在云端使用 LLM 的缺点
当然，与任何技术一样，在云端使用大型语言模型也有一些不足：
控制力下降
使用云端托管的机器学习服务时，您对基础设施和实现细节的控制与可见性较弱。
供应商锁定
如果您在某一云平台上训练了 LLM，迁移到其他平台将变得困难。此外，单一依赖某家云服务商存在固有风险，尤其在政策和价格波动方面。
数据隐私与安全
您的数据存放在云服务商遍布全球各地的服务器上，您必须信任其能够保障数据安全。
高成本
大规模训练和运行 LLM 仍可能相当昂贵。计算与存储资源的费用会随时间累积。
网络时延
与运行在云端的模型通信会存在一定延迟，不太适合对实时性要求较高的应用。
刚接触云计算？阅读Cloud Computing and Architecture for Data Scientists，了解如何将数据科学解决方案部署到生产环境。
本地运行 LLM 的优点
我们已探讨了在云端运行大型语言模型的利弊，接下来从相同维度看一看本地运行的情况。优点包括：
更强的可控性
您可以对用于提供服务的硬件、训练后的模型、数据和软件拥有更大的掌控。您可以按特定合规要求进行设置，优化训练与推理流程，并提升 LLM 的性能。
更低成本
如果您已经具备必要的硬件，本地运行可能比支付云费用更便宜。
更低时延
本地运行大型语言模型在时延方面具有显著优势，可缩短请求与模型响应之间的时间。这对严重依赖实时响应的应用（如聊天机器人或同声传译服务）尤为重要。
更高的隐私
通过在本地训练与运行 LLM，您对数据与模型拥有更高控制权，能够建立更完善的防护措施以保护敏感信息。
本地运行 LLM 的缺点
以下是本地运行大型语言模型的一些不足：
较高的前期成本
如果缺少高端硬件和软件，搭建用于运行大型语言模型的本地服务器成本较高。
复杂性
本地运行 LLM 可能具有挑战性且耗时，并带来运维开销。涉及的组件众多，您必须同时搭建与维护软件和基础设施。
扩展受限
无法按需扩容或缩容。运行多个 LLM 可能需要超出单机可承受的算力。
可用性
本地服务器的韧性较弱。一旦发生系统故障，对 LLM 的访问将受到威胁。相较之下，云平台提供多层冗余，宕机时间更低。
获取预训练模型
用于微调和部署的最新前沿大型语言模型，您可能无法轻易获得。
阅读ChatGPT and The Future of AI Regulations，了解新的 AI 监管，并应对下一代 AI 的潜在风险。
为 LLM 选择部署策略时的考量因素
可扩展性需求
您目前有多少用户？为满足需求需要运行多少个模型？此外，您是否计划利用数据来改进模型？这些信息将决定是否需要云端解决方案。
数据隐私与安全要求
您的领域是否将用户隐私和数据保护置于首位？是否存在严格的数据隐私法规或企业政策？如果是，则有必要构建本地部署（自有机房）解决方案。
成本约束
如果预算有限，且能使用可胜任任务的硬件，本地运行模型可能更具成本效益。
易用性
如果您的技术能力较弱或团队规模有限，部署与管理模型可能具有挑战。在这种情况下，云平台通常提供即插即用的工具，简化流程，使之更易上手与管理。
对最新模型的需求
您能否获取大型语言模型？云平台通常可访问最新的前沿模型，确保您能利用最先进的能力。
可预测性
您可以管理本地基础设施的成本。这使您能够更好地预测预算，而不是承担使用云服务所带来的可变成本。
供应商锁定问题
本地基础设施可降低供应商锁定风险，但需要更多自我运维。
对网络时延的容忍度
如果您的应用需要实时响应和更低时延，那么选择本地部署是实现目标性能的最佳方案。
团队专长
如果您的团队已熟悉云端工具与服务，选择云端是理想方案。引入新方案并学习新工具会在时间、资金与人力上产生成本。
结论
本文讨论了在云端与本地运行 LLM 的优缺点。LLM 的最佳部署策略取决于模型的规模与复杂度、应用的具体需求、预算，以及安全与隐私要求。
简而言之：
最终决策在于您。请务必在做出明智选择前，认真评估并权衡各方案的利弊。
若您希望进一步拓展相关知识，请查看文章Private Cloud vs. Public Cloud: Which One to Choose?。