Higress ，助力企业构建私有 AI 网关和 MCP 市场

显示全部楼层

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">Higress 为 Agent 开发、LLM API 管理，提供易用、可靠的集成服务。已支持 100 多种大语言模型和版本，提供开源和云上商业化版本。在 AI 应用快速发展的当下，如何高效地将存量数据服务与新兴的模型调用需求对接，成为企业和开发者关注的焦点。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">AI 网关能够将外部调用不同大模型的请求，通过统一的调用方式转发到内部对应的大模型上，使得后端模型调度更加灵活；Higress AI 网关支持常用的 100 多个模型的统一协议转换，并支持模型级 Fallback ，基于 docker 提供 Higress AI 网关一键快速部署的方式，如您需要使用其他部署方式（如标准 k8s 集群、本地 k8s 集群等）

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;margin-top: 0px;margin-bottom: 8px;font-size: 26px;padding-bottom: 12px;">安装 Higress AI 网关

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">在本地控制台，执行以下命令：

curl-sShttps://higress.cn/ai-gateway/install.sh|bash

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">按照指引可以分别录入模型供应商的 API-KEY ；也可以键入回车后跳过，之后在控制台中修改。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">如您当前端口已被占用，需要使用其他端口，可使用wgethttps://higress.cn/ai-gateway/install.sh命令下载部署脚本后，修改DEFAULT_GATEWAY_HTTP_PORT_/DEFAULT_GATEWAY_HTTPS_PORT/_DEFAULT_CONSOLE_PORT；然后使用 bash 执行脚本。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">部署完成后，会出现以下界面：

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;margin-top: 0px;margin-bottom: 8px;font-size: 26px;padding-bottom: 12px;">控制台配置

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">通过浏览器访问控制台界面http://localhost:8001/，首次登录需要配置管理员及密码。

在 AI 服务提供者管理界面，可以配置已集成供应商的 API-KEY。当前已集成的供应商有阿里云、DeepSeek、Azure OpenAI、OpenAI、豆包等。

每个AI 服务提供商都可以单独配置令牌降级策略，当某一认证令牌返回异常响应的数量超出阈值，Higress 将暂停使用该令牌发起请求，直至后续健康检测请求连续收到一定数量的正常响应。

在AI 路由管理界面，支持配置不同路由的域名、模型匹配方式、降级配置、请求消费者等。也可以通过策略，配置不同认证鉴权方式、限流策略等，也支持如 RAG、Prompt 模板、语义缓存等功能。

调试

打开系统自带命令行，通过以下命令进行请求（如 HTTP 服务未部署在 8080 端口上，修改为对应端口即可）

curl 'http://localhost:8080/v1/chat/completions' \
 -H 'Content-Type: application/json' \
 -d '{
  "model": "qwen-max",
  "messages": [
   {
    "role": "user",
    "content": "你是谁"
   }
  ]
 }'

请求结果示例：

Higress MCP：连接存量 API 与 MCP 时代的桥梁

Higress MCP 是今日投资推出的 MCP 市场，它最核心的能力是支持将今日投资丰富的金融数据存量 API，快速转化为 MCP（Model Calling Protocol）服务。

借助简单的配置操作，无需编写代码，就能把 REST API 转换为 MCP Server，这一过程极大程度上简化了开发流程。同时，平台具备强大的企业级能力，像统一认证授权、精细化流量控制、全链路可观测性等功能，都能满足企业在安全、稳定性以及性能方面的需求。

此外，平台还提供托管服务，支持弹性伸缩和灰度发布，有助于降低运维成本。可以说，Higress MCP 能帮助企业和开发者快速进入 MCP 时代，加速 AI 应用的开发与部署。

Higress MCP 的主要功能：全方位助力高效开发

Higress MCP 之所以能成为连接存量 API 与 MCP 时代的桥梁，离不开其丰富且实用的功能：

存量 API 转化：基于简单的配置，就能将现有的 REST API 快速转化为 MCP Server，整个过程无需编写代码，有效降低了开发成本。
企业级能力：提供统一认证授权、精细化流量控制、全链路可观测性等功能，可满足企业在安全和稳定性方面的需求。
托管服务：支持弹性伸缩、灰度发布和高性能处理，在降低运维成本的同时，提升了服务可用性。
协议卸载：支持多个版本的 MCP 协议，让用户无需担心协议升级带来的维护问题。
精细化调优：支持对请求和响应模板进行精细化处理，有助于提升用户体验，优化数据交互。
多客户端支持：兼容多种客户端，例如通义灵码、Cline、Cherry Studio 等，可满足不同的开发需求。

安装 Higress MCP 网关

基于 Higress AI 网关实现 Remote MCP Server 托管，Higress AI 网关提供 MCP Server 统一托管能力，可以帮助 AI Agent 快速对接各类数据源。通过 MCP Server，AI Agent 可以方便地访问数据库、REST API 等外部服务，无需关心具体的连接细节。其中，数据库对接能力是网关内置的能力；而对于 REST API，任何外部 REST API 都可以通过简单的配置转换成 MCP Server。本文将以 PostgreSQL 数据库和一个简单的 REST API 为例，介绍配置流程。

安装 Higress 时，请确保在 Helm 命令中添加以下参数：

Terminal window

helminstallhigress-nhigress-system[...其他参数...]--setglobal.enableRedis=true

MCP Server 需要依赖 Redis 服务用于数据缓存，启用后您可以通过以下命令查看 Redis 服务的地址：

Terminal window

kubectlgetsvcredis-stack-server-nhigress-system-owide

配置 MCP Server

ConfigMap 全局参数配置

在 ConfigMap 中配置 MCP Server 的相关全局参数：

Terminal window

kubectleditconfigmaphigress-config-nhigress-system

配置 Redis 连接信息和 MCP Server 的路由规则：

apiVersion: v1
data:
 higress: |-
  mcpServer:
   sse_path_suffix: /sse # SSE 连接的路径后缀
   enable: true     # 启用 MCP Server
   redis:
    address: redis-stack-server.higress-system.svc.cluster.local:6379 # Redis服务地址
    username: "" # Redis用户名（可选）
    password: "" # Redis密码（可选）
    db: 0 # Redis数据库（可选）
   match_list:     # MCP Server 会话保持路由规则（当匹配下面路径时，将被识别为一个 MCP 会话，通过 SSE 等机制进行会话保持）
    - match_rule_domain: "*"
     match_rule_path: /postgres
     match_rule_type: "prefix"
    - match_rule_domain: "*"
     match_rule_path: /user
     match_rule_type: "prefix"
   servers: []
...

kind: ConfigMap
metadata:
 name: higress-config
 namespace: higress-system

注意：

数据库类型的 MCP Server 在 ConfigMap 中配置，REST API 类型在 Higress 控制台配置。

配置 Database MCP Server

在 Config Map 中配置 Database MCP Server：

servers:
 - name: postgres   # MCP Server 名称
  path: /postgres   # 访问路径，需要与 match_list 中的配置匹配
  type: database   # 类型为数据库
  config:
   dsn: "your postgres database connect dsn" # 数据库连接串
   dbType: "postgres"            # 数据库类型，目前已支持 postgres/mysql/clickhouse/sqlite

配置 Nacos MCP Registry

注意：需要 Nacos 版本为 3.0 及以上，Higress 版本在 2.1.2 及以上

新增服务来源

创建 nacos3.x 服务来源并完善相关信息

配置 REST API MCP Server

任何 REST API 都可以通过以下步骤快速转换为 MCP Server：

1.添加服务来源

在 Higress 控制台添加目标 REST API 的服务来源，本示例使用randomuser.me作为服务来源：

2.配置路由

在 Higress 控制台添加路由并指向对应的服务来源：

3.配置 MCP Server 插件

推荐：可以使用OpenAPI to MCP工具，实现 API 文档到 MCP Server 插件配置的自动转换

对创建的路由添加 MCP Server 插件并进行配置：

插件配置示例：

server:
 name: "random-user-server"
tools:
- description: "Get random user information"
 name: "get-user"
 requestTemplate:
  method: "GET"
  url: "https://randomuser.me/api/"
 responseTemplate:
  body: |-
   # User Information
   {{- with (index .results 0) }}
   - **Name**: {{.name.first}} {{.name.last}}
   - **Email**: {{.email}}
   - **Location**: {{.location.city}}, {{.location.country}}
   - **Phone**: {{.phone}}
   {{- end }}

更多关于如何配置 REST API 到 MCP Server 的详细信息，请参考MCP Server 插件配置参考和Higress Wasm 插件使用简介

注意：对于 2025-03-26MCP streamable HTTP协议，可以直接使用此插件，无需全局 ConfigMap 配置

MCP Server 使用

在 AI Agent 中配置 MCP Server 的 SSE 连接，以 cursor 为例：

数据库类型的 MCP Server：使用 ConfigMap 中配置的 path + sse_path_suffix
REST API 类型的 MCP Server：使用控制台配置的路由 path + sse_path_suffix

"mcpServers": {
 "postgres": {
  "url": "http://your-higress-address/postgres/sse"
 },
 "rest-api": {
  "url": "http://your-higress-address/user/sse"
 }
}

cursor 中配置完成：

通过 MCP Server，您可以快速为 AI Agent 添加各种数据源支持，提高开发效率。任何 REST API 都可以通过简单的配置转换为 MCP Server，无需编写额外的代码。