跳至主要内容

使用 Python 中的 FastAPI 将 LLM 应用作为 API 端点提供服务

通过我们的最新博文《使用 Python 中的 FastAPI 将 LLM 应用作为 API 端点提供服务》,在您的应用中释放大型语言模型(LLM)的力量。GPT、Claude、LLaMA 等 LLM 正在颠覆聊天机器人、内容创作等诸多用例。了解 API 如何充当关键桥梁,使您能够将复杂的语言理解与生成能力无缝集成到项目中。

使用 AI 探索

引言

大型语言模型(LLM)位于生成式 AI的前沿,正在改变机器理解与生成类人文本的方式。GPT、Claude、LLaMA、Mistral、等LLM 模型正推动聊天机器人、内容创作等领域的创新,在处理与生成自然语言方面展现出前所未有的能力。

然而,LLM 的真正价值不止在于其强大的算力;可及性同样关键。API(应用程序编程接口)充当桥梁,使各类应用能够利用 LLM 的能力。它们让开发者可以将高级的语言理解与生成功能集成到自己的应用中,从简单的文本分析到复杂的对话系统不一而足。

在本教程中,我们将使用 OpenAI 的 GPT 模型构建一个简单的 Python 应用,并通过 Python 的 FastAPI 框架开发一个 API 端点以对其进行服务。

大型语言模型

大型语言模型(LLM)是旨在理解并生成类人文本的高级人工智能系统。它们在海量数据上训练,能够把握复杂模式、理解语言细微差别,并生成连贯的回应。

LLM 能执行多种与语言相关的任务,包括机器翻译、文本补全、摘要,甚至进行对话式交互。GPT 就是 LLM 的一个例子。

在本文中,我们将使用 OpenAI 的 GPT API 构建一个简单的 Python 应用,然后使用 Python 的 FastAPI 框架为我们的应用创建一个 REST 端点。

LLM 属于生成式 AI 的一种。如果您想了解生成式 AI 以及它如何提升您的创造力,请查看我们的博文《用生成式 AI 提升创造力》以及播客《走进生成式 AI 革命》。

您还可以注册我们即将上线的课程《大型语言模型概念》。

什么是 API?

应用程序编程接口(API)是软件通信的基石,使不同的系统、应用与设备能够无缝交互与共享数据。它提供一组规则与协议,让软件实体彼此通信,为一个应用以预定义的方式调用另一个应用的能力或数据提供通道,而无需了解其内部机制。

在当今数字生态中,API 无处不在,为 Web 服务、移动应用和云计算提供动力,促进应用间通信与第三方服务集成。它们通过提供可复用的构件简化开发流程,帮助开发者加速构建新软件,从而在不从零开始的情况下增强功能与用户体验。

借助 API,开发者可以以原本复杂甚至不可能的方式扩展自己的应用,使其成为现代软件开发中的关键组成部分。

展示 API 如何工作的截图

图片来源

如果您对将机器学习模型部署到真实环境的工程实践感兴趣,请查看这份关于机器学习、流水线、部署与 MLOps的综合指南。您也可以在 Datacamp 上学习免费课程API 入门。

FastAPI

FastAPI 是一个用于构建高性能 API 的 Python 框架。它因速度快、易于使用以及对异步编程的兼容性而迅速走红。FastAPI 方便开发者将 LLM 功能暴露为 API 端点,从而更轻松地部署、管理并扩展由 AI 驱动的服务。

FastAPI 以性能与效率见长,利用类型注解与异步编程等现代 Python 特性,带来可与 NodeJS 乃至 Go 相媲美的速度优势。

对于需要实时数据处理与并发请求处理的应用(如与 LLM 交互的应用),这一性能优势至关重要。其对入参的自动校验与对响应的序列化能力还能减少样板代码,使 API 开发更简洁、直观。

它还提供基于 OpenAPI 等标准的自动化文档功能,为开发者与用户提供清晰、可交互的 API 文档,进一步简化集成与测试流程。

创建 API 的示例:

from typing import Union

from fastapi import FastAPI

app = FastAPI()

@app.get("/")
def read_root():
    return {"Hello": "World"}

@app.get("/items/{item_id}")
def read_item(item_id: int, q: Union[str, None] = None):
    return {"item_id": item_id, "q": q}

这段代码使用 FastAPI 创建了一个简单的 Web 服务器。服务器会对两类请求作出响应:当用户访问主页("/")时,返回“Hello World”的问候;当用户访问特定条目页面("/items/{item_id}")时,返回条目的 ID 以及可选的查询参数“q”。条目 ID 为必填且必须是整数,而查询参数“q”为可选,可以是字符串或不提供。

使用以下命令运行 FastAPI 服务器:

展示如何启动 FastAPI 服务器的 bash 截图。命令:uvicorn main:app --reload

在 Python 中构建端到端应用

本文的主要目的是展示如何快速为您的 LLM 应用构建 REST API 端点。我们将创建一个简单的 Python 应用(仅一个函数),使用 OpenAI GPT-4 API 将英文翻译成法文。该应用只有一个函数,即 translate_text:

from openai import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "..."

# Initialize OpenAI client with your API key
client = OpenAI()

def translate_text(input_str):
    completion = client.chat.completions.create(
        model="gpt-4-0125-preview",
        messages=[
            {
                "role": "system",
                "content": "You are an expert translator who translates text from english to french and only return translated text",
            },
            {"role": "user", "content": input_str},
        ],
    )

    return completion.choices[0].message.content

该函数从用户接收一个输入,并将其直接发送给 OpenAI GPT-4 模型。系统提示用于定义上下文,用户提示则是我们从 input_str 获取的用户文本。

您可以运行以下代码测试该函数。应当返回法语文本。

# test the function
translate_text("this is a test string to translate")

如果您考虑将该应用分享给他人,直接把 Python 文件发给他们在命令行运行,对一些熟悉 Python 与命令行工具的用户来说是可行的。

但这种方式也有局限。并非所有用户都习惯使用命令行;即便对熟悉者而言,运行 Python 脚本也需要搭建好包含所有依赖的 Python 环境。这可能较为繁琐,阻碍用户轻松使用您的翻译应用。

这时,将应用封装进 FastAPI 并以 REST API 端点对外提供就是一种强有力的解决方案。这样您实际上为应用创建了一个可通过互联网访问的接口,用户无需自己运行 Python 脚本即可使用。他们可以通过简单的 Web 请求与您的应用交互,而这些请求可以来自多种平台与编程语言,而不仅限于 Python。

使用 FastAPI 创建 REST API 可以自动完成接收翻译请求与返回翻译结果的流程。用户可以通过网页界面或编程方式的 API 调用发送待翻译文本,使其在不同用例下更易用且更灵活。

要将这个简单函数转换为 FastAPI 的 API 端点,我们将如下修改代码:

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
import os


os.environ["OPENAI_API_KEY"] = "..."


# Initialize OpenAI client with your API key
client = OpenAI()


# Initialize FastAPI client
app = FastAPI()


# Create class with pydantic BaseModel
class TranslationRequest(BaseModel):
    input_str: str


def translate_text(input_str):
    completion = client.chat.completions.create(
        model="gpt-4-0125-preview",
        messages=[
            {
                "role": "system",
                "content": "You are an expert translator who translates text from english to french and only return translated text",
            },
            {"role": "user", "content": input_str},
        ],
    )


    return completion.choices[0].message.content


@app.post("/translate/")  # This line decorates 'translate' as a POST endpoint
async def translate(request: TranslationRequest):
    try:
        # Call your translation function
        translated_text = translate_text(request.input_str)
        return {"translated_text": translated_text}
    except Exception as e:
        # Handle exceptions or errors during translation
        raise HTTPException(status_code=500, detail=str(e))

要在本地运行并测试该 API,只需运行以下命令:

uvicorn main:app --reload

此处,main.py 指包含您代码的文件。参数 app 指向 FastAPI 应用实例,即您代码中的 app = FastAPI()。

在浏览器中访问 localhost:8000/docs,您将看到一个 UI 界面,效果如下:

FastAPI 端点文档页面的截图

点击 POST,然后点击“try it out”,输入您的文本字符串并点击“Execute”。

FastAPI 界面截图

您应能看到发送到 API 的 curl 命令、请求 URL(此时为您的本地地址)以及服务器响应。状态码 200 表示成功;其旁边即可看到法语翻译结果。

FastAPI 界面截图

结语

本文演示了如何使用 FastAPI 设置 API 端点,以对接由 GPT 等大型语言模型驱动的应用。凭借出色的性能与易用性,FastAPI 为构建高性能 API 提供了便捷途径,是希望将 LLM 集成到项目中的开发者的理想之选。

如果您想通过一门独特的概念性课程全面探索 LLM 的潜力,涵盖 LLM 应用、训练方法、伦理考量以及最新研究,请查看 Datacamp 上这门免费课程《精通大型语言模型(LLM)》。

想要拓展您的技能与工具箱?了解软件开发、网络爬虫与开发、数据分析与可视化以及机器学习领域的 21 个必备 Python 工具。

Moez Ali

作者

Moez Ali

数据科学家,PyCaret 的创始人兼作者

主题