返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

介绍 LM Studio 的使用情况

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 09:41 |阅读模式 打印 上一主题 下一主题

欢迎关注我的公众号“ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.1em;line-height: 1.75;color: rgb(250, 81, 81);">Eric技术圈”,原创技术文章第一时间推送。



ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15pt;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(250, 81, 81);color: rgb(255, 255, 255);">LM Studio官网

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;border-left: none;padding: 1em;border-radius: 8px;color: rgba(0, 0, 0, 0.5);background: rgb(247, 247, 247);margin: 2em 8px;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1em;letter-spacing: 0.1em;color: rgb(80, 80, 80);">https://lmstudio.ai/

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">因为我的MacBook CPU是Intel而不是M系列的,所以我使用Windows台式机进行安装和测试。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15pt;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(250, 81, 81);color: rgb(255, 255, 255);">模型下载

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">因为它的模型都来源于Hugging Face,需要科学上网才能下载模型。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">下载几个模型试下:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15pt;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(250, 81, 81);color: rgb(255, 255, 255);">运行使用

点击AI Chat,然后选择不同的模型,进行chat聊天。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">使用过程非常流畅,比我的MacBook本地使用Ollama搭建的,快了很多,几乎没有感受到什么延迟。而且右侧又很多内置的Prompt,也可以按照自己的需求进行调整。

切换到codellama模型让它帮我写一个贪吃蛇游戏:

下面是资源的占用情况,CPU和RAM还是比较高的,GPU占用较低:

启动本地服务

采用的是类OpenAI的接口规范,同时提供了各种Examples Code,可以一键copy进行本地快速调用。

LM Studio还有一个使用 Multi Model 模式,通过加载多个模型来一起工作,因本地RAM限制这里就不做尝试了。

总结

LM Studio 初步体验下来非常的不错,它有如下优点:

  • •可以跨平台进行安装,界面清爽,简单易用

  • •只需要安装应用程序即可使用,不需要本地安装各种语言环境

  • •响应速度非常快,使用起来很流畅,并且可以依据电脑配置推荐合适大小的开源模型,这个真的加分(也许是 Windows的配置比MacBook好?)

  • •模型非常多,几乎可以使用Hugging Face中的任何模型,但是文件格式必须为GGUF

但是也有不可忽视的一些缺点:

  • •在国内需要科学上网才能使用,这个对于部分人来说确实不大友好

  • •只能下载Huggging Face Hub中的模型,如果能够接入国产的模型Hub的话,就可以不用科学上网了

  • •并没有其他高级功能,如:传入PDF、Markdown、TXT、Video等来搭建知识库的能力,体验下来只有Chat能力,那么免费的ChatGPT 3.5不香么?

  • •比较适合于初级体验者,能够快速本地体验开源大模型,对于进阶学习者如果只是chat功能,使用python脚本也能快速实现,也无法做一些高阶定制化功能

总的来说,值得关注和使用,简单无脑,还要啥自行车。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ