Reading Notes on NLP Papers

Instruction Fine-tuing

• The Flan Collection: Designing Data and Methods for Effective Instruction Tuning(Shayne Longpre et.al, Google Research)
• 从 Flan 2022 Collection 中总结的几个有效的 tricks: 混合 zero-shot, few-shots 和 CoT 的数据；增加任务的数量；输入输出反转；平衡不同任务的数据。