12 AI说(AI Speak)：搜索引擎排序

与21世纪初期的搜索引擎相比，现在的搜索引擎分析得更深入、更全面。它们不仅能统计单词数量，还能分析和比较单词背后的含义¹。这种深度的分析主要体现在排序过程中：

第4步：查询词与索引词匹配

当用户在搜索框输入查询并点击搜索时，搜索引擎会开始处理这个查询。它会像处理文档文本一样，把查询中的词语分解成词元。为了让搜索更准确，查询可能还会被扩展，添加一些其他关键词。这是为了避免因为查询使用的词汇与网络内容作者的用词略有差异而错过相关文档。同时，这样的处理也能捕捉到不同文化和习惯用语之间的差异。例如，根据国家的不同，总统、首相和总理等词语的使用可能可以互换¹。

大多数搜索引擎都会追踪用户的搜索记录（想了解更多？可以查看常见搜索引擎的介绍）。查询记录与用户数据一起存储，以便个性化内容并提供广告。或者，将所有用户的记录汇总起来，以查看如何以及在哪里提升搜索引擎的性能。

用户日志中会记录一些信息，包含诸如过去的查询、结果页面和哪些是有效的信息。例如，用户点击了什么链接？他们花了多少时间浏览网页？有了用户日志，每个查询都可以与相关文档（用户点击、阅读并关闭网页）和非相关文档（用户未点击、未阅读或尝试重新表述查询）匹配²。

通过用户日志，搜索引擎还可以将新的查询与过去相似的查询进行匹配。判断两个查询是否相似的一种方法，是看它们是否能检索出相同的文档。有时候，两个查询的用词可能并不完全一样，但它们的搜索结果可能是相同的²。

为了扩展查询，搜索引擎还会考虑拼写因素。具体来说，它会查看过去相关文档中频繁出现的其他单词。一般而言，只有当某个单词在相关文档中的出现频率高于非相关文档时，它才会被加入到查询中，或者给予更高的权重²。

第5步：对文档进行相关性排序

在这一步，搜索引擎会对每个文档进行评分，并根据这个评分来排序。评分时，搜索引擎会考虑文档与查询在主题上的匹配度，即主题相关性，还会考虑文档与用户个人偏好的匹配度，即用户相关性。部分文档评分可以在索引时完成。搜索引擎的速度很大程度取决于索引的质量。而搜索结果的有效性，则取决于查询与文档的匹配程度，以及排名系统的优劣²。

为了衡量用户相关性，搜索引擎会根据用户之前的搜索记录、访问的网站、电子邮件内容、使用的设备、语言以及地理位置等信息，创建用户模型（或个性类型）。同时，搜索引擎还会使用Cookies来存储用户的偏好设置。有些搜索引擎甚至会从第三方购买用户信息来丰富其用户模型（您可以参考一些搜索引擎的描述）。比如，如果一个用户对足球很感兴趣，那么他搜索“曼彻斯特”时得到的结果，就会与那些刚刚预订飞往伦敦的航班的用户有所不同。与个人兴趣相关的文档中频繁出现的词语，会得到更高的权重。

商业网络搜索引擎在排名算法中融入了数百种特征，其中很多特征都来源于查询日志中大量的用户交互数据。排序函数会综合考虑文档、查询和用户相关性等特征来给出最终的评分。这些排序函数都基于可靠的数学原理。最终输出的结果，其实就是文档满足用户信息需求的概率。当这个概率超过某个阈值时，该文档就会被认为是与用户查询相关的文档²。

此外，机器学习技术也被用于分析日志中的隐性用户反馈（即在以前的查询中什么有效）从而优化排序算法。通过机器学习，搜索引擎还可以构建复杂的人类语言使用模型，用于更准确地解析用户的查询意图^1,2。

过去十年间，网络搜索技术取得了惊人的进步。尽管搜索引擎已经越来越擅长解读用户意图和提供相关结果，然而就理解特定查询的上下文而言，用户自身的参与和反馈仍然是提升搜索效果的关键。用户审查搜索结果，重新调整查询关键词，从而引导搜索引擎提供更精准的信息²。

第6步：显示结果

搜索结果已准备就绪。你会看到每个页面的标题、URL以及用粗体标记的查询词。每个链接后面，都会有一个简短的摘要，帮你快速了解文档的重点内容。

这些摘要里的句子，通常是从标题、元数据描述或和查询最相关的文本中选取的。如果标题中已经包含了所有的查询词，那么这些词在摘要里就不会重复出现²。同时，摘要还会考虑句子的可读性，让你读起来更轻松。

在搜索结果中，你可能会看到一些广告。搜索引擎公司通过展示广告来赚钱。有些搜索引擎会明确标注这些广告是赞助内容，但有些则不会。由于很多用户通常只看前几个搜索结果，所以广告的存在确实会影响我们的搜索体验。

搜索引擎公司在选择展示哪些广告时，会考虑查询的上下文以及用户模型。它们会维护一个广告数据库，当你进行搜索时，它们会从这个数据库中找出与你的查询最相关的广告。广告主会对自己产品的关键词进行竞价，而投标金额和受欢迎程度都是决定广告是否会被展示的重要因素²。

当我们搜索事实类问题时，有些搜索引擎会利用它们自己收集的大量事实来回答。比如说，谷歌的知识库就包含了超过十亿个从不同来源整理出来的事实³。搜索结果通过机器学习算法将结果归类到不同的组别中。最后，用户还会被提供查询的替代选项，以查看潜在的更好回答。

一些参考资料

谷歌的起源可以追溯到Brin和Page的原始论文。网页排名（Pagerank）背后的一些数学原理可以在维基的网页排名上找到。对于数学爱好者，这里有一个关于网页排名（Pagerank）的很好的解释。

¹ Russell, D., What Do You Need to Know to Use a Search Engine? Why We Still Need to Teach Research Skills, AI Magazine, 36(4), 2015.

² Croft, B., Metzler D., Strohman, T., Search Engines, Information Retrieval in Practice, 2015.

³ Spencer, S., Google Power Search: The Essential Guide to Finding Anything Online With Google, Koshkonong, Kindle Edition.