TF-IDF：最朴素也最有效的关键词算法

TF-IDF 用“词频 × 逆文档频率”衡量一个词对某篇文档的重要性：在本文出现得多（TF 高）、但在别的文档里少见（IDF 高），就是关键词。简单到不可思议，至今仍是文本分析的基石。

TF-IDF 的美在于把“重要性”这个模糊概念精确量化，而且只用最原始的计数。它提醒我们：很多看似需要“智能”的问题，其实一个巧妙的统计量就能解决。别把简单问题复杂化，这是工程上的首要智慧。

## 核心要点

图片来源：Openverse / downloadsource.fr（https://www.flickr.com/photos/128776630@N02/16361602656）

1. 它完美诠释了“ uncommon in general, common here”的关键词直觉。

2. 搜索引擎、文档聚类、特征提取都在用它。

3. 它不理解语义，只看统计分布。

4. 配合停用词过滤，效果出人意料地好。

图片来源：Openverse / frankieleon（https://www.flickr.com/photos/23307937@N04/3435262741）

## 写在最后

以上是关于「TF-IDF」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。