|
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;"> 前言 大家好，这里是可爱的Cherry。 今天为大家带来一款不需要依托GPU也可以在本地运行离线AI项目——LoaclAI 该项目可以运行任何自定义的AI模型，最重要的是可以代替openAI的API用在本地的浏览界面上。
 
系统部署 ?系统部署前，先新建一个文件夹，本文实例中为/volume1/docker/localai/models。
一、下载模型?下载模型，把模型放到刚才新建的文件夹/volume1/docker/localai/models下。这里推荐的模型下载站点，第一抱脸虫（huggingface）了，访问的话需要魔法。国内用户的可以访问抱脸虫镜像站hf-mirror.
 二、docker-compose.yaml代码 ?新建一个文件夹，可以用项目为名字。在文件夹下新建一个docker-compose.yaml文件，将下面代码复制进去。
version:"3.6"services:api:image:quay.io/go-skynet/local-ai:master-ffmpeg-coreports:-56787:8080environment:-MODELS_PATH=/models#-DEBUG=true-CORS=true#允许跨越访问，使用api必须开启-CORS_ALLOW_ORIGINS=*#允许跨域的白名单-THREADS=4#这里是线程数，根据CPU情况调整volumes:-/volume1/docker/localai/models:/models:cachednetworks:{}
三、SSH部署（推荐）通过SSH工具，例如finalshell，登录NAS系统，输入如下指令。
#来到文件夹cd/volume1/docker/localai/#启动容器，这里需要NAS管理员密码sudodocker-composeup-d
四、群晖部署compose（群晖7.2）打开container manager，选择项目，点击新建，选择localai路径，点击下一步即可
五、威联通部署compose 打开container station，创建应用程序，复制代码验证后部署即可
系统使用一、查询现有模型
?项目支持两种模式查询现有的模型，第一种是打开网页查看http(s)://ip:port/v1/models 
第二种是通过curl指令查询，curl http(s)://localhosy:port/v1/models
二、API使用方案
curlhttp://localhost:56787/v1/completions-H"Content-Type:application/json"-d'{"model":"phi-2.Q8_0.gguf","prompt":"Alongtimeagoinagalaxyfar,faraway","temperature":0.7}'
model是模型的名字，就是/volume1/docker/models文件夹下的具体模型名字prompt是发送的内容 temperature是创造力水平，默认0.7
这是返回的结果，沿着我们输入的文本继续往下走了。
 三、和chatgpt-next-web对接 ?输入自定义接口地址，http://ip:port，不需要填/v1/competions的路径,模型还是选择phi-2.Q8_0.gguf 
?开启新对话设置，选择刚才的模型，并定义随机性、新鲜度等参数值。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);text-align: center;visibility: visible;">
| 
