博主之前使用SerpAPI实现了本地LLM的Web搜索功能（可参考使用Java拓展本地开源大模型的网络搜索问答能力），但无奈每月只能免费使用100次。今天在网上冲浪的时候，发现了FreeAskInternet框架，可以实现完全免费的大模型与Web搜索的聚合。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin-right: auto;margin-bottom: 2em;margin-left: auto;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">简介FreeAskInternet是一个完全免费，私人和本地运行的搜索聚合器和答案生成使用LLM，无需GPU。用户可以提出一个问题，系统通过搜索进行多引擎搜索，并将搜索结果合并到ChatGPT3.5 LLM中，根据搜索结果生成答案。所有进程在本地运行，不需要GPU或OpenAI或Google API密钥。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">特点ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 1em;list-style: circle;color: rgb(63, 63, 63);" class="list-paddingleft-1">•完全免费(不需要任何API密钥) •完全本地(不需要GPU，任何计算机都可以运行) •完全私有(所有东西都在本地运行，使用自定义llm) •运行没有LLM硬件(不需要GPU) •使用免费的 ChatGPT3.5 / Qwen / Kimi / ZhipuAI（GLM） API •自定义LLM(ollama,llama.cpp)支持 •快速和容易部署与Docker撰写 • Web和移动友好的界面，专为Web搜索增强AI聊天，允许从任何设备轻松访问。 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">项目截图ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">工作原理
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 1em;color: rgb(63, 63, 63);" class="list-paddingleft-1">1. 系统在FreeAskInternet UI界面(本地运行)中获取用户输入问题，调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索。 2. 抓取搜索结果链接内容并传递给ChatGPT3.5 / Kimi / Qwen /知乎ai / ollama(使用自定义llm)，让llm根据该内容作为参考回答用户问题。 3. 将答案流式传输到聊天UI。 4. 支持自定义LLM设置，所以理论上是无限的LLM支持。 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">项目部署ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">官方推荐使用dockeringFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;padding: 1em;margin: 10px 8px;">gitclonehttps://github.com/nashsu/FreeAskInternet.git
cd./FreeAskInternet
docker-composeup-dingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在浏览器输入以下地址：http://localhost:3000 项目地址：https://github.com/nashsu/FreeAskInternet
写在最后
此框架的关键在于SearXNG搜索引擎，通过搜索引擎抓取搜索结果，然后使用LLM进行回答响应，整体思路与使用SerpAPI是一样的。 |
