一个能够优化大模型流式传输质量的 API 网关项目，支持 Docker 部署

上游 API 提供商提供的流式传输可能是粗糙的、一大块一大块出现的，体感上不 “丝滑”

Gemini Balance 的流式传输优化功能就解决了这个痛点，在玩酒馆等需要流式传输的场景下，能够极大的提高体验，但是就如项目名那样，只能给 Gemini 用。

于是就有了这个项目，参考了 Gemini Balance 的思路，可以插入到任何一个 OpenAI 格式的 API 服务中间，对流式传输进行后处理，把粗糙的流切成细腻的流，再推送给最终的 AI 应用。

目前仅支持接入 OpenAI 格式的 API，推荐的使用方法是先接入 New API，再套一层这个

快速开始

前提: 您已安装 Docker。

1. 克隆本仓库:

   git clone https://github.com/2erTwo6/Smooth-Gateway.git
   cd Smooth-Gateway

2. 创建并编辑配置文件:
   将模板文件复制为您的本地配置文件。

   cp .env.example .env

   然后使用您喜欢的编辑器（如 nano 或 vim）打开 .env 文件，并至少填入必需的 UPSTREAM_API_URL。

3. 构建 Docker 镜像:

   docker build -t smooth-gateway .

4. 运行容器:
   使用 --env-file 参数，Docker 会自动加载您的 .env 文件。

   docker run -d \
     --name my-smooth-gateway \
     -p 3001:3001 \
     --env-file .env \
     --restart unless-stopped \
     smooth-gateway

   现在，您的流式优化网关已根据您的 .env 文件配置，在 http://localhost:3001 上运行！

接下来，只需要在你的 AI 应用的 API URL 那里输入 http://localhost:3001 即可（假设你的 AI 应用和此 API 网关部署在同一机器？）