页面加载中
通过提供示例来引导AI,掌握零样本到少样本的进阶技巧
虽然大型语言模型展示了惊人的零样本能力,但在使用零样本设置时,它们在更复杂的任务上仍然表现不佳。 少样本提示可以作为一种技术,以启用上下文学习,我们在提示中提供演示以引导模型实现更好的性能。
💡 核心思想:演示作为后续示例的条件,引导模型生成更准确的响应。
适用于简单任务,但复杂任务可能表现不佳
通过示例引导,获得更准确的结果
以下是Brown等人2020年提出的一个经典例子,展示了少样本提示在新词学习任务中的应用:
示例提供:
"whatpu"是坦桑尼亚的一种小型毛茸茸的动物。一个使用whatpu这个词的句子的例子是:
我们在非洲旅行时看到了这些非常可爱的whatpus。
任务提示:
"farduddle"是指快速跳上跳下。一个使用farduddle这个词的句子的例子是:
模型输出:
当我们赢得比赛时,我们都开始庆祝跳跃。
通过提供一个示例(1-shot),模型学会了如何在新的上下文中使用未知词汇。
根据Min等人(2022)的研究结果,以下是在进行少样本学习时关于演示/范例的一些重要发现:
即使标签被随机化,保持格式的一致性仍然能帮助模型产生正确的输出:
输出:Negative(仍然是正确的!)
输出:Negative(新模型对格式变化更加稳健)
标准的少样本提示对许多任务都有效,但仍然不是一种完美的技术,特别是在处理更复杂的推理任务时。
即使提供多个示例,模型在复杂推理任务上仍可能失败