|
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;color: rgb(0, 0, 0);font-size: 14px;text-align: justify;visibility: visible;line-height: 2em;">导读本文将对大型语言模型（Large Language Models，LLM）在推荐系统中的应用进行概要介绍。首先，将介绍 LLM 在推荐系统中的两种应用方式。其次，将探讨 LLM 作为推荐系统的一部分，对推荐系统的影响方式，包括在预训练和微调阶段的应用，以及通过 Prompt 方式对推荐系统的影响。随后，重点关注 LLM 作为一个推荐系统的特点。最后，将展望 LLM 在推荐系统中的发展方向，包括对多模态推荐系统、解决 hallucination 和 bias solution 问题、提高系统性能等方面的展望，以及在推荐系统中使用 AGENT 的可能性，如何利用用户的上下文进行推荐。通过本文的综述，读者将全面了解 LLM 在推荐系统中的应用现状和未来发展趋势。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;visibility: visible;">1.概要 2.LLM+RS：LLM 作为推荐系统的一部分 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;">3.LLM AS RS：LLM 作为一个推荐系统ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;">4.未来展望分享嘉宾｜陈祖龙阿里巴巴高级算法专家 编辑整理｜苗文亚 内容校对｜李瑶 出品社区｜DataFun
01 
LLM 在推荐系统中的应用可以分为两种范式：一个是作为推荐系统的一部分，即LLM+RS，另外一个是 LLM 作为一个完整的推荐系统，即 LLM AS RS。接下来将分别介绍这两种应用方式。
LLM+RS：LLM 作为推荐系统的一部分
传统推荐系统经过多年发展，从召回、排序、销售展示到最终展示的架构已经比较成熟。LLM+RS 是将 LLM 作为推荐链路的一部分，来影响召回、排序、营销等环节。LLM 影响推荐系统的方式多种多样。
首先，第一类方式是将 LLM 引入预训练和微调阶段，包括四个方面：- 用户/商品表征：很多工作尝试通过大模型，将商品的待推荐文本、知识等融合到一起，来生成商品的表征。另一方面，通过大模型，对用户上下文进行理解，从而得到用户的表征。
- 召回匹配：LLM 作为新的召回方式，可以实现i2i 和 u2i 两种方式。
- 排序/生成：LLM 对排序的影响方式有 Point-wise、Pair-wise、List-wise 等。
- 其他：LLM 用于解决推荐系统的公平性、偏见性、隐私性、可解释性等问题。
另外一类应用方式是 Prompt，也包括四个方面：- 用户/商品表征：利用 LLM 的 In-Context Learning 能力通过 Prompt 影响 LLM 的输入、输出。这方面在工业界已经有很多落地案例。比如用大模型来做上下文常用的表征，如对季节、天气的理解等。
- 召回：使用 Prompt 作为新的交互方式影响召回逻辑。
- 排序/生成：通过 Prompt 而非模型训练来影响排序，减少系统资源投入。
- 其他：利用 Prompt 解决模型的公平性、偏见性、冷启动、可解释性等问题。
LLM 作为推荐系统，与 LLM+RS 最大的区别在于，它不再作为一个部分来影响推荐系统，而是以端到端的方式使用一个大模型作为整个系统，LLM 将直接面对用户和商品。应用也是包括预训练&微调，以及 Prompting 两部分。
- Top-K 推荐：通过 PTM 和 SFT 端到端地建模用户和商品关系。
- 评分推荐：通过 role injection、task description 等影响模型输出。
- 可解释性/其他：解决公平性、多样性、多模态等问题。
Prompting 还有一种轻量级的推荐，无论在 Top-K 推荐，还是评分预测、会话式推荐、生成式推荐等方面都有着非常好的应用场景。- Top-K 推荐：通过面向 Top-K 场景的 Prompt Designer 可以方便地让模型输出。但目前很多过程式模型在 Top-K推荐的准确性或效果方面表现不是特别好。如果想要得到比较好的效果，最好还是选一些比较可靠的模型，或自己训练一个模型。
- 评分预测：也是通过 Prompt
Designer 来进行设计。
- 会话式推荐：Prompt Designer 的设计丰富多样，引入了用户的多轮输入等交互方式。
未来展望
大模型在推荐系统的落地还将有很长一段路要走。目前主要面临的问题包括：- 如何利用用户上下文和商品信息自动设计 prompt；
- 解决 hallucination 和bias 的问题；
- 如何提高推荐系统性能，以满足 C 端的高性能要求。
另外一个值得尝试的方向是 Agent 在推荐系统中的应用，如何利用 Agent 调用不同工具，利用用户的短期和长期上下文进行推荐。 |
