LLM OS: 使用大型语言模型（LLMs）作为核心处理单元来构建一个新兴的操作系统.
Autonomous RAG:自主RAG结合检索和生成任务的模型，赋予了LLMs搜索它们的知识库、互联网或聊天记录的能力。
Local RAG:本地RAG利用Ollama和PgVector等技术，使得RAG模型可以完全在本地运行。
Investment Researcher:投资研究员利用Llama3和Groq生成关于股票的投资报告.
News Articles: 使用Llama3和Groq撰写新闻文章。
Video Summaries: 使用Llama3和Groq生成YouTube视频的摘要。
Research Assistant: 利用Llama3和Groq帮助研究人员编写研究报告。
官方仓库的cookbook目录里有一个demo agents程序，使用streamlit开发了交互界面，官方默认是用的open ai的GPT4。我们简单修改，支持groq。
左边支持选择模型，选择Tools与Assistant。我们来一探究竟，这里的tools与Assistant是如何协作的。
运行这个agents，我们从debug信息可以看到prompt。
上面的instructions内容较多，我们抽主要的内容画一个graph图，就方便理解了：
让LLM可以通过tools来处理一些具体的问题
对于一些类别的任务，可以委托给特定的助手，比如研究报告、投资助手等
然后针对可以委托的助手，prompt增加了具体的描述，方便LLM去调度，每个助手内部也有各种tools，LLM可以选择合适的
当我们问英伟达最新财报, LLM 识别到需求，选用Investment Assistant助手，然后调用get_investment_report工具
再换个问题，今天法国发生了什么， 这个成功调用了DD搜索。
============== user ==============DEBUG今天法国发生了什么DEBUGTime to generate response: 6.3184sDEBUG============== assistant ==============DEBUGIt seems there isn't a specific tool that provides the information you're asking for, so here's the answer to your question:Today's news from France include:- According to Reuters, trade unions at the French ports of Le Havre and Marseille-Fos have postponed planned strikes initially planned for today andtomorrow. (<https://www.reuters.com/business/retail-consumer/french-port-workers-postpone-strike-action-2023-05-23/>)- Le Point (French news outlet) reports that police detained 23 people after clashes near a migrant camp on the outskirts of Paris on Monday night.(<https://www.lepoint.fr/societe/immigration/revolte-dans-un-camp-de-migrants-a-paris-01-05-2023-2429234_26.php>)- French Prime Minister Élisabeth Borne visited the damaged areas of the flooded Aude and Hérault regions.(<https://www.france24.com/fr/france/20230523-les-inondations-en-aude-et-herault-elisabeth-borne-sur-le-terrain-pour-rencontrer-les-sinistres>)
当前像coze、dify这样的产品都支持workflow功能，可以可视化的定义workflow来解决一些相对复杂的问题，而PhiData提供了通过code编排workflow的功能。
PhiData的workflow是可以串联assistant, 比如下面的例子：
import jsonimport httpxfrom phi.assistant import Assistantfrom phi.llm.groq import Groqfrom phi.workflow import Workflow, Taskfrom phi.utils.log import loggerllm_id: str = "llama3-70b-8192"def get_top_hackernews_stories(num_stories: int = 10) -> str:"""Use this function to get top stories from Hacker News.Args:num_stories (int): Number of stories to return. Defaults to 10.Returns:str: JSON string of top stories."""# Fetch top story IDsresponse = httpx.get("https://hacker-news.firebaseio.com/v0/topstories.json")story_ids = response.json()# Fetch story detailsstories = []for story_id in story_ids[:num_stories]:story_response = httpx.get(f"https://hacker-news.firebaseio.com/v0/item/{story_id}.json")story = story_response.json()story["username"] = story["by"]stories.append(story)return json.dumps(stories)def get_user_details(username: str) -> str:"""Use this function to get the details of a Hacker News user using their username.Args:username (str): Username of the user to get details for.Returns:str: JSON string of the user details."""try:logger.info(f"Getting details for user: {username}")user = httpx.get(f"https://hacker-news.firebaseio.com/v0/user/{username}.json").json()user_details = {"id": user.get("user_id"),"karma": user.get("karma"),"about": user.get("about"),"total_items_submitted": len(user.get("submitted", [])),}return json.dumps(user_details)except Exception as e:logger.exception(e)return f"Error getting user details: {e}"groq = Groq(model=llm_id, api_key="你的API KEY")hn_top_stories = Assistant(name="HackerNews Top Stories",llm=groq,tools=[get_top_hackernews_stories],show_tool_calls=True,)hn_user_researcher = Assistant(name="HackerNews User Researcher",llm=groq,tools=[get_user_details],show_tool_calls=True,)writer = Assistant(name="HackerNews Writer",llm=groq,show_tool_calls=False,markdown=True)hn_workflow = Workflow(llm=groq,name="HackerNews 工作流",tasks=[Task(description="Get top hackernews stories", assistant=hn_top_stories, show_output=False),Task(description="Get information about hackernews users", assistant=hn_user_researcher, show_output=False),Task(description="写一篇有吸引力的介绍文章，用中文输出", assistant=writer),],debug_mode=True,)# 写一篇关于在 HackerNews 上拥有前两个热门故事的用户的报告hn_workflow.print_response("Write a report about the users with the top 2 stories on hackernews", markdown=True)
定义了三个assistant,获取hackernews排行榜，获取文章的作者，生成文章，通过Workflow来实现这三个assistant的编排。
运行结果：
┌──────────┬──────────────────────────────────────────────────────────────────┐││Writeareportabouttheuserswiththetop2storieson││Message│hackernews│├──────────┼──────────────────────────────────────────────────────────────────┤│Response│┌──────────────────────────────────────────────────────────────┐││(17.0s)││**HackerNews知名人物介绍**││││└──────────────────────────────────────────────────────────────┘││││││近日，我们对HackerNews│││的前两名热门故事进行了分析，并对这些故事背后的用户进行了深入挖…│││││││││**排名第一：onhacker**││││││以258分领跑HackerNews排行榜的用户是│││onhacker，他的故事《Windows10│││壁纸原来是真实拍摄的（2015）》引起了大家的关注。onhacker的│││HackerNews账户信息显示，他的karma分数为106，共提交了27│││条内容。他的个人介绍页面上写道：“distributingdistrubutedto│││distrub”，显露出了他幽默的一面。│││││││││**排名第二：richardatlarge**││││││排在第二位的用户是richardatlarge，他的故事《OpenAI并未复制│││ScarlettJohansson的声音，记录显示》获得了102│││分。richardatlarge的HackerNews账户信息显示，他的karma│││分数高达1095，共提交了354│││条内容。他是一名来自美国、现居新西兰的作家，个人介绍页面上留下…│││fromtheUS,livinginNZ”。││││││通过这两位用户的介绍，我们可以看到他们在HackerNews│││社区中的影响力和贡献。他们热衷于分享信息和想法，引发了大家的热…│└──────────┴──────────────────────────────────────────────────────────────────┘
llama3 的中文被弱化了，结果比较一般。
如何构建自己的RAG AI助手
基于Phidata的技术原理和优势，我们可以轻松地构建自己的RAG AI助手。以下是一些建议：
选择合适的预训练模型：选择一个性能优异的预训练模型是构建RAG AI助手的关键。Phidata提供了多种预训练模型供选择，可以根据具体需求选择合适的模型。
引入高效的检索机制：为了提升AI助手的性能，我们需要引入一种高效的检索机制。Phidata的检索机制可以为我们提供有力的支持，使得AI助手能够在需要时快速检索出相关信息。
结合实际应用场景进行优化：在构建RAG AI助手时，我们需要结合实际应用场景进行优化。例如，可以针对特定领域的数据进行训练，提升AI助手在该领域的性能。此外，还可以通过调整模型参数、优化算法等方式来进一步提升AI助手的性能。
总之，Phidata的成功登顶GitHub并非偶然，其背后的技术原理和优势使得RAG AI助手的构建变得简单高效。通过深入了解Phidata的技术原理并结合实际应用场景进行优化，我们可以轻松地构建出具有强大功能的RAG AI助手，为我们的日常生活和工作带来便利
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |