链载Ai

标题: 自建 DeepSeek 时代已来，联网搜索如何高效实现 [打印本页]

作者: 链载Ai 时间: 2 小时前
标题: 自建 DeepSeek 时代已来，联网搜索如何高效实现

ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;margin-bottom: 32px;">随着 DeepSeek 等高质量开源大模型的涌现，企业自建智能问答系统的成本已降低 90% 以上。基于 7B/13B 参数量的模型在常规 GPU 服务器上即可获得商业级响应效果，ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; font-size: 15px; letter-spacing: 0.034em;">配合 Higress 开源 AI 网关的增强能力，开发者可快速构建具备实时联网搜索能力的智能问答系统。

Higress：零代码增强 LLM 的瑞士军刀

Cloud Native

Higress 作为云原生 API 网关，通过 wasm 插件提供开箱即用的 AI 增强能力：

主要能力矩阵：

联网搜索：实时接入互联网最新信息

智能路由：多模型负载均衡与自动兜底

安全防护：敏感词过滤与注入攻击防御

效能优化：请求缓存+token 配额管理

可观测性：全链路监控与审计日志

联网搜索的技术实现与场景价值

Cloud Native

Higress AI 搜索增强插件代码已经开源，可以点击阅读原文查看插件文档和代码。

核心架构解析

关键技术特性

1. 多引擎智能分流

公共搜索（Google/Bing/Quark）获取实时资讯

学术搜索（Arxiv）对接科研场景

私有搜索（Elasticsearch）连接企业/个人知识库

2. 搜索增强核心思路

LLM 重写 Query：基于 LLM 识别用户意图，生成搜索命令，可以大幅提升搜索增强效果

关键词提炼：针对不同的引擎，需要生成不同的提示词，例如 Arxiv 里英文论文居多，关键词需要用英文

领域识别：仍以 Arxiv 举例，Arxiv 划分了计算机科学/物理学/数学/生物学等等不同学科下的细分领域，指定领域进行搜索，可以提升搜索准确度

长查询拆分：长查询可以拆分为多个短查询，提高搜索效率

高质量数据：Google/Bing/Arxiv 搜索都只能输出文章摘要，而基于阿里云信息检索对接 Quark 搜索，可以获取全文，可以提高 LLM 生成内容的质量

典型应用场景效果展示

金融资讯问答

null

前沿技术探索

医疗问题解答

null

从开源到落地：三步构建智能问答系统

Cloud Native

1. 基础部署

# 一行命令安装并启动Higress网关curl -sShttps://higress.cn/ai-gateway/install.sh | bash
# 用vllm部署DeepSeek-R1-Distill-Qwen-7B示意python3 -m vllm.entrypoints.openai.api_server --model=deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --dtype=half --tensor-parallel-size=4 --enforce-eager

2. 插件配置

可以通过 http://127.0.0.1:8001 访问 higress 控制台，给 ai-search 插件做如下配置。

plugins:searchFrom:-type:quarkapiKey:"your-aliyun-ak"keySecret:"your-aliyun-sk"serviceName:"aliyun-svc.dns"servicePort:443-type:googleapiKey:"your-google-api-key"cx:"search-engine-id"serviceName:"google-svc.dns"servicePort:443-type:bingapiKey:"bing-key"serviceName:"bing-svc.dns"servicePort:443-type:arxivserviceName:"arxiv-svc.dns"servicePort:443searchRewrite:llmServiceName:"llm-svc.dns"llmServicePort:443llmApiKey:"your-llm-api-key"llmUrl:"https://api.example.com/v1/chat/completions"llmModelName:"deepseek-chat"timeoutMillisecond:15000

3. 对接 SDK 或前端

使用这个 OpenAI 协议 BaseUrl：http://127.0.0.1:8080/v1，就可以使用 ChatBox/LobeChat 等支持 OpenAI 协议的对话工具进行对话。

也可以直接使用 OpenAI 的 SDK 对接，如下所示：


import jsonfrom openai import OpenAI
client = OpenAI(api_key="none",base_url="http://localhost:8080/v1",)
completion = client.chat.completions.create(model="deepseek-r1",messages=[{"role": "user", "content": "分析一下国际金价走势"}],stream=False)
print(completion.choices[0].message.content)

通过 Higress+DeepSeek 的开源组合，企业可在 24 小时内完成从零到生产级的智能问答系统部署，使 LLM 真正成为业务增长的智能引擎。

欢迎光临链载Ai (https://www.lianzai.com/)