倒排索引由词典和 posting list 组成。词典保存所有词项,posting list 记录包含该词的文档编号、词频和位置。查询时先查词典拿到候选文档集合,再做交集与打分。位置信息让短语检索成为可能:只有相邻位置连续命中,才算真正匹配。 BM25 是经典的检索打分函数,综合考虑词频、文档长度与逆文档频率。词频越高得分越高,但增长会饱和;文档越长越吃亏,需要做长度归一化;越…
搜索引擎的核心流程分三步:爬虫抓取网页、解析正文并建立索引、接收查询后召回并排序。抓取阶段要处理重复内容、死链与抓取频率;索引阶段把文本切成词项,记录每个词出现在哪些文档、出现多少次、位置在哪里,这就是倒排索引。 倒排索引由词典和 posting list 组成。词典保存所有词项,posting list 记录包含该词的文档编号、词频和位置。查询时先查词典拿到候选文档集合,再做…
搜索引擎的核心流程分三步:爬虫抓取网页、解析正文并建立索引、接收查询后召回并排序。抓取阶段要处理重复内容、死链与抓取频率;索引阶段把文本切成词项,记录每个词出现在哪些文档、出现多少次、位置在哪里,这就是倒排索引。 倒排索引由词典和 posting list 组成。词典保存所有词项,posting list 记录包含该词的文档编号、词频和位置。查询时先查词典拿到候选文档集合,再做…
倒排索引由词典和 posting list 组成。词典保存所有词项,posting list 记录包含该词的文档编号、词频和位置。查询时先查词典拿到候选文档集合,再做交集与打分。位置信息让短语检索成为可能:只有相邻位置连续命中,才算真正匹配。 BM25 是经典的检索打分函数,综合考虑词频、文档长度与逆文档频率。词频越高得分越高,但增长会饱和;文档越长越吃亏,需要做长度归一化;越…