链载Ai

标题: Reader：将 URL 转换为 LLM 可以理解的输入 [打印本页]

作者: 链载Ai 时间: 2 小时前
标题: Reader：将 URL 转换为 LLM 可以理解的输入

项目简介

您LLMs应该得到更好的投入。

Reader 将任何 URL 转换为带有简单前缀https://r.jina.ai/的 LLM-friendly 输入。免费为您的代理和 RAG 系统提供改进的输出。

现场演示：https://jina.ai/reader
或者只是 https://r.jina.ai/https://github.com/jina-ai/reader 访问这些 URL，https://r.jina.ai/https://x.com/elonmusk 并查看自己。

用法

标准模式

只需https://r.jina.ai/将任何 URL 附加到前面即可。例如，若要将 URL https://en.wikipedia.org/wiki/Artificial_intelligence转换为 LLM-friendly 输入，请使用以下 URL：

https://r.jina.ai/https://en.wikipedia.org/wiki/Artificial_intelligence

流模式

使用 accept-header 控制流式处理行为：

请注意，如果您在下面运行此示例，但看不到流式输出，而是看到单个响应，则意味着其他人刚刚在 5 分钟内运行了此示例，并且结果已被缓存。因此，服务器只是立即返回结果。尝试使用其他 URL，您将看到流式处理输出。

curl-H"Accept:text/event-stream"https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page

如果下游 LLM/agent 系统需要即时内容交付，或者需要以块形式处理数据以交错 IO 和LLM时间，请使用流式处理模式。这样可以更快地访问和高效处理数据：


Reader API:streamContent1 ----> streamContent2 ----> streamContent3 ---> ... || |v| |Your LLM: LLM(streamContent1)| | v | LLM(streamContent2) | v LLM(streamContent3)

当目标页面较大而无法呈现时，流模式也很有用。如果您发现标准模式为您提供了不完整的内容，请尝试流式传输模式。

JSON 模式

这还为时过早，结果并不是真正“有用”的JSON。它包含三个字段url，title并且content只有。尽管如此，您可以使用 accept-header 来控制输出格式：

curl-H"Accept:application/json"https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page

安装

您将需要以下工具来运行该项目：

Node v18（节点版本 >18 的构建失败）
Firebase 命令行界面（npm install -g firebase-tools）

对于后端，转到backend/functions目录并安装 npm 依赖项。

gitclonegit@github.com:jina-ai/reader.gitcdbackend/functionsnpminstall

什么是thinapps-shared子模块？

您可能会注意到对thinapps-sharedsubmodule 的引用，submodule 是我们用于在产品之间共享代码的内部包。虽然它不是开源的，也不是阅读器功能的组成部分，但它主要帮助装饰器、日志记录、机密管理等。暂时可以忽略它。

也就是说，这是背后的https://r.jina.ai单一代码库，所以每次我们在这里提交时，我们都会将新版本部署到https://r.jina.ai.

欢迎光临链载Ai (https://www.lianzai.com/)