中文分词的三个难点：歧义、未登录词与粒度

中文没有天然空格，必须先分词。难点在于歧义切分、新词识别与粒度选择。工程上常用二元组切分保证召回，再叠加词典词提升精度；查询侧同样切分，并要求词项相邻来近似短语匹配，这样既快又稳。
搜索引擎的核心流程分三步：爬虫抓取网页、解析正文并建立索引、接收查询后召回并排序。抓取阶段要处理重复内容、死链与抓取频率；索引阶段把文本切成词项，记录每个词出现在哪些文档、出现多少次、位置在哪里，这就是倒排索引。
文中步骤已在常见环境下验证，遇到特殊情况建议先备份再操作。