AI 对齐：让机器的价值观与人类一致

对齐（Alignment）是确保 AI 系统的目标、行为与人类价值观一致的技术努力。一个能力强但目标错误的 AI 会造成巨大危害——这正是对齐问题被提升到战略高度的原因。

对齐问题之所以困难，是因为它把“什么是好的”这个几千年的哲学命题塞进了工程实践。不同文化、不同群体对“好”的定义不同，任何对齐都是某种妥协。透明地讨论这些取舍，比假装存在完美答案更重要。

## 核心要点

图片来源：Openverse / dam（https://www.flickr.com/photos/36749491@N00/8383433747）

1. 对齐的难点在于人类价值观本身就多元且矛盾，难以量化。

2. RLHF 是当前主流对齐技术，用人类反馈训练奖励模型。

3. 对齐过度会导致模型过度拒绝，连正常问题也不敢回答。

4. 对齐不是一次性的工作，需要随能力提升持续迭代。

图片来源：Openverse / Bob Bekian（https://www.flickr.com/photos/53771684@N04/6359316277）

## 写在最后

以上是关于「AI 对齐」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。