优点：支持 GPU 调用，可能提升计算速度，较为推荐的方案。
AppStore可下载，安卓上使用方法参考：在手机上运行大模型（使用MLC-LLM） · Valdanitooooo/knowledge-hub · Discussion #66 · GitHub[1]，文档地址：Introduction to MLC LLM — mlc-llm 0.1.0 documentation[2]
缺点：使用旧手机时，容易出现黑屏等问题，可能是由于占用过多 GPU 资源。新手机可能会有所改善。
总结：适合较新型号的手机，老旧设备可能体验较差。
优点：通过安装 Maid APP，可以直接使用大模型，安装较为简便。
缺点：需要科学上网，运行速度非常慢，使用体验差，不推荐使用。
总结：虽然安装简便，但性能和速度的限制使得这不是一个理想选择。
优点：国外的一个应用，运行方便，速度较快，适合大多数用户使用。开源，这是重点！！！
缺点：安装包只能在谷歌商店下载，需要特殊网络才能使用，且国内用户访问速度慢
总结：瑕不掩瑜，PocketPal AI是一款比较好的选择。
接下来，我们将重点就PocketPal AI进行更为详细的介绍。
PocketPal AI 是一款袖珍型的 AI 助手，基于小型语言模型（SLMs）运行，直接在您的手机上运行。它支持 iOS 和 Android，允许您在无需互联网连接的情况下与各种 SLMs 进行互动。
•离线 AI 助手：直接在设备上运行语言模型，无需互联网连接。•模型灵活性：下载并切换多个 SLMs，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。•自动卸载/加载：当应用在后台时，自动管理内存，通过卸载模型来节省空间。•推理设置：自定义模型参数，如系统提示、温度、BOS 标记和聊天模板。•实时性能指标：查看每秒生成的令牌数量和每个令牌的毫秒数。
从 App Store 下载 PocketPal AI：在 App Store 下载[3]
通过 Google Play 获取 PocketPal AI：在 Google Play 获取[4]
PocketPal AI 预配置了一些流行的 SLMs（小型语言模型）：
•Danube 2 和 3•Phi•Gemma 2•Qwen
在使用之前，模型需要先下载。您可以直接从应用程序中下载并使用这些模型，还可以加载任何其他您喜欢的 GGUF 模型！
有关如何使用 PocketPal AI 的详细指南，请查看入门指南[5]。
•点击汉堡菜单•进入“模型”页面•选择您需要的模型并点击下载
下载后，点击加载按钮将模型加载到内存中。现在，您可以开始与模型对话！
在 iOS 设备上，默认启用了 Apple 的 GPU API（Metal）。如果您遇到性能问题，可以尝试禁用它。
为了保持设备运行顺畅，PocketPal AI 可以自动管理内存使用：
•在模型页面启用“自动卸载/加载”（默认启用）•当应用程序在后台时，它会卸载模型•当您返回时，模型会重新加载（对于较大的模型，可能需要等待几秒钟）
点击箭头图标访问高级 LLM 设置，例如：
•温度•BOS 标记•聊天模板选项•等等
一旦模型加载完成，进入“聊天”页面并开始与加载的模型对话！
生成性能指标也会显示。如果感兴趣，可以通过观察聊天气泡查看实时性能指标：每秒令牌数和每个令牌的毫秒数。
重要提示：目前，我还没有找到一种简单的方法，可以在保留文本格式的同时，从生成的响应中选择并复制文本，尤其是 Markdown 格式的支持。
在此期间，以下是复制文本的当前选项：
•段落级复制：长按特定段落以复制其内容。•全部响应复制：点击文本气泡底部的复制图标以复制整个 AI 生成的响应。
我知道这些选项可能不太理想，这也是我在使用其他应用时遇到的困扰。复制文本部分内容的困难，曾是类似 ChatGPT 等聊天应用中的一个特别令人烦恼的问题。
开发者们：PocketPal AI 是使用 React Native 构建的。找到一个平衡文本选择与保留格式（特别是 Markdown 支持）的方法对我来说一直很困难。如果您有相关经验，我非常愿意听听您的意见！
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |