上下文学习:不用微调也能学会新任务

上下文学习(ICL)是大模型最神奇的能力:在提示词里给几个示例,模型就能照着做,不需要任何训练。这种“看一眼就会”的能力,是大模型通用性的直接体现。

上下文学习的美妙在于零成本的知识传递。它像一位悟性极高的员工,你演示一遍他就会了。这也给我们的沟通带来启发:与其解释半天规则,不如直接给出几个好例子——示范的力量永远大于说教。

## 核心要点


图片[1]-上下文学习:不用微调也能学会新任务-子比笔记

图片来源:Openverse / JohnSeb(https://www.flickr.com/photos/69875617@N00/6448275739)

1. 示例的格式一致性比数量更重要。

2. 示例顺序都会影响结果,这是玄学也是技术。

3. 它让产品可以“当场教会”模型新规则。

4. 上下文窗口越大,能给的示例越多,效果越好。

图片[2]-上下文学习:不用微调也能学会新任务-子比笔记

图片来源:Openverse / Genista(https://www.flickr.com/photos/50457550@N00/3432987963)

## 写在最后

以上是关于「上下文学习」的科普介绍。人工智能正在快速发展,相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片快捷回复

    请登录后查看评论内容