|
前言
在这篇文章里，我要向你展示如何将Groq这家超快速的大语言模型（LLM）硬件制造商与目前市场上可能表现最佳的LLM，Llama3，结合起来完成一些实际有用的任务。
我们打算开发做一个基于 llama3 的代理原型，代理一位专业的经济学家，并输出为 Markdown 格式。它将充分展示Groq的处理速度和Llama 3在中文理解方面的能力。
关于Groq
如果你以前没有听说过Groq，可以官方文档详细了解。简单来说，他们是一家专注于AI和LLM解决方案的公司。他们最出名的是他们的快速处理单元（Groq把它们称为LPUs），这些单元能够加快LLM处理数据的速度。
关于Llama 3
Llama 3是Meta推出的最新开源大语言模型，被认为可能是目前市面上最优秀的LLM，无论是开源还是非开源。我在一篇文章中测试了这个模型在逻辑、推理和数学能力方面的表现，它的性能给我留下了深刻的印象。
设置新的Python开发环境
我的 Python 代码将在 Jupyter Notebook 中运行。
conda create -n gradio_llama3 python=3.11 -yconda activate gradio_llama3conda install jupyter -y
安装 Python 库
! pip install groq Markdown
获取 Groq API 密钥
您还需要一个 Groq API 密钥，您可以通过访问找到该密钥
登录（或创建帐户），创建一个新密钥并记下它，因为下一次打开将以加密的方式显示。
Groq API 密钥：https://console.groq.com/keys
Python 代码
要点
以 API 的方式接入 LlaMa-3-70b-Instruct Groq 加成，闪电生成 Syetem Prompt，提升中文回复的稳定性 & 其他增益 实现一个基于字符的简单计速——time 模块 在Notebook IDE 中直接渲染 Markdown——display(Markdown())
import osfrom groq import Groqfrom IPython.display import display, Markdownimport time
groq_api_key = os.environ["GROQ_API_KEY"]
client = Groq(api_key=groq_api_key)start_time = time. time() # 开始计时chat_completion = client.chat.completions.create( messages=[ { "role": "system", "content":""" - Think step by step. - Be precise, no preamble, get to the point. - Always response in Simplified Chinese, unless user is in Eng Lish. """ },{ "role": "user", "content":"你是一位专业的经济学家，请用小白能理解的表达来详细解析沉没成本，输出为 Markdown 格式，大标题前方请附上 1 个合适的 Emoji", } ], model="llama3-70b-8192", temperature=0.8, max_tokens=4096,top_p=0.9,)
end_time = time.time() # 结束计时elapsed_time = end_time - start_time # 计算生成时间generated_chars = len(chat_completion.choices[0].message.content) # 获取生成的字符数speed = generated_chars / elapsed_time # 计算生成速度
display(Markdown(f"生成速度:{speed:.0f}字符/秒"))display(Markdown(chat_completion.choices[0].message.content))
输出结果如下
?沉没成本（Sunk Cost）解析什么是沉没成本？沉没成本（Sunk Cost）是指已经发生的、不可回收的支出或投资。这些成本已经发生，不管未来如何决定，都不能改变或撤销。
为什么沉没成本重要？沉没成本很重要，因为它们可能会影响我们的决策。我们常常会因为已经投入的成本而继续投资或维持某个项目，即使这个项目不再有价值。这是因为我们不想“浪费”已经投入的成本。
例子你买了一张电影票，但是在电影开始前你不想去了。你仍然可以选择不去看电影，但你已经花了钱，这笔钱不能退款。你投资了一家公司，但这家公司现在正在亏损。你可以选择继续投资或撤销投资，但你已经投入的钱不能回收。沉没成本的陷阱沉没成本可能会导致以下几个问题：
继续投资不良项目：因为已经投入的成本，我们可能会继续投资一个不良项目，希望能够收回成本。错失其他机会：因为沉没成本，我们可能会错失其他更好的投资机会。情感决策：沉没成本可能会使我们基于情感做出决策，而不是基于理智。如何避免沉没成本的陷阱？理智决策：在决策时，忽略已经投入的成本，基于当前的情况和未来的预期做出决策。重新评估：重新评估当前的投资或项目，看看它们是否仍然有价值。割舍亏损：如果一个项目不再有价值，及时割舍亏损，不要继续投入。
总结
我们向您展示了如何快速创建概念验证。利用 Llama3、Groq 和 Python 等大语言模型及平台的潜力，如何轻松地利用这些尖端工具来开发实用程序。这些程序可以（以较小的方式）模拟流行的服务，例如专业领域的专家，全球数百万人使用的 Google 翻译。
资源：
Github ：https://github.com/mcks2000/llm_notebooks/blob/main/notebooks/agent/grop_llama3_agent.ipynb Docs - Groq：https://wow.groq.com/docs/ Groq API 密钥：https://console.groq.com/keys
你可以关注我以获取更多故事，并在 公众号 上阅读我的短篇技术文章。
| 
