Word2Vec:词向量的开山之作

Word2Vec 把每个词训练成一个低维向量,语义相近的词在向量空间里彼此靠近。它让“计算机理解语义”第一次变成了可计算的几何问题,是 NLP 进入深度学习时代的里程碑。

Word2Vec 最深远的贡献不是算法,而是证明了“语义可以几何化”。当意义变成空间中的位置,相似性变成距离,类推变成向量加减——人类几千年来对语言本质的思考,获得了一个可计算的形式。

## 核心要点


图片[1]-Word2Vec:词向量的开山之作-子比笔记

图片来源:Openverse / pdinnen(https://www.flickr.com/photos/49689051@N00/4455387348)

1. “国王-男人+女人=王后”是它最著名的演示。

2. CBOW 与 Skip-gram 是两种训练方式。

3. 它无法区分一词多义,这是后来的 ELMo/BERT 要解决的。

4. 词向量思想已融入所有现代 NLP 模型。

图片[2]-Word2Vec:词向量的开山之作-子比笔记

图片来源:Openverse / Sam Rayner(https://www.flickr.com/photos/7874590@N03/1372425761)

## 写在最后

以上是关于「Word2Vec」的科普介绍。人工智能正在快速发展,相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片快捷回复

    请登录后查看评论内容