昨天，微软发布了最新的轻量级大模型Phi-3 Mini，继Meta刚刚发布的Llama 3之后，为开源大模型的发展注入新的活力。
目前，Ollama已经可以下载Phi-3 Mini。下载完成后，可以运行和体验。
ollamapullphi3ollamarunphi3
Phi-3 Mini的参数量为38亿，下载大约2.3GB，是Llama3 7B的一半。
技术特点与优势
Phi-3 Mini是微软Phi系列的新一代模型，采用高达3.3T tokens的训练数据，支持4K和128K上下文窗口，使其在处理长文本时更加得心应手。
在各大基准测试平台中，即便对比参数规模更大的Mixtral 8x7b和GPT-3.5，Phi-3 Mini在语言理解、编码、数学等方面的测试中展现了出色的整体性能。
实测与问题
我通过Ollama实际测试了一下，提了一个问题：“How to learn English for a grade 10 student in China”，并对比了Phi-3 Mini，Gemma 2B和Gemma 7B各自生成的答案。
Phi-3 Mini的回答质量与Gemma 7B相当，生成速度略快。
当前，Phi-3 Mini的主要问题是语言单一，主要针对美式英语进行训练。所以如果用在中文环境中，需要通过Prompt，让Phi-3 Mini用英文推理，并对问题和答案进行相应翻译。
微软还计划在未来几周内发布70亿参数的Phi-3 Small、140亿参数的Phi-3 Medium。
让我们期待Phi-3的7B和14B版本，在多语言支持上将会有更好表现。
探索应用场景
Phi-3 Mini的4bit量化版本，能够在iPhone 14手机上运行，每秒生成12个tokens数据，展现出轻量级大模型的巨大潜力。
我非常看好轻量级大模型，在手机和个人电脑上的应用前景。
基于本地轻量级大模型开发各种智能助手、原生AI应用，在终端上提供个性化的用户体验和高效的语言处理能力。
集成到办公、教育等应用软件中，提高文本编辑、数据分析和编程辅助的智能化水平，帮助用户学习语言和提供更好的互动体验。
结合个人电脑上的知识文档，通过轻量级大模型和检索增强生成技术，实现离线的本地知识库问答。
未来，轻量级大模型的性能一定会越来越好，将足以满足在手机等终端设备上运行和应用的需求！轻量级大模型不仅能为终端应用，提供本地化支持，也会成为终端设备上的基础组件。
