Reading Notes on LLM for Recommendations Papers

一些我阅读的 LLM for Recommendations 的文章要点总结。

Recommendation LLMs

• Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5) (Shijie Geng et.al, Rutgers University)
• 用 personalized prompt template 把推荐任务的数据集转化为指令形式的自然语言数据集，用以进行预训练（仍然使用 language modeling）得到推荐语言大模型，然后将推荐任务都统一到自然语言处理中的 Pretraining, Prompt and Predict 的范式上。
• prompt template 参考其附录，主要的思想就是把很多推荐任务的数据集用模板转化为自然语言数据集，其中每个任务有几个不同的模板，对任务的子任务或者不同方面进行讨论。

• Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach （Junjie Zhang et.al., RUC）
• 通过将推荐任务统一到 instruction following 的形式上，使用指令微调的方式微调一个通用 LLM 来得到一个用于做推荐任务的 LLM。
• 设计了一个对于推荐的通用的指令模板，包含三个关键部分：preference(长期偏好), intention(目前偏好), task form(任务描述)。
• 对于一些难以获得的数据，用更弱的数据喂给 teacher LLM（比如 GPT-4）然后让他产生更强的数据，比如给他 interaction history 让他总结 explicit preference。

• PALR: Personalization Aware LLMs for Recommendation (Fan Yang et.al, Amazon)
• 用 multi-step 的办法来做推荐，先用一个推荐模型生成 candidate list，然后用一个微调的 LLM 来做 ranking.
• ranking 的时候先根据 interaction history 总结 user preference keywords，一起整合到提示模板里面。

• TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation (Keqin Bao et.al, USTC)
• 分两步走训练 instruction fine-tuned 的 LLM, 先用通用预料增强通用的 NLP 任务能力，再用推荐相关的指令数据集训练。