文本预处理 | 菜鸟教程

文本预处理是自然语言处理（NLP）中的基础且关键步骤，它将原始的非结构化文本数据转化为适合机器学习模型处理的格式。
本文将系统介绍文本预处理的三大核心环节：文本清洗、分词和词性标注。
文本清洗是预处理的第一步，目的是去除文本中的噪声数据，提高后续处理的准确性。
不同来源的文本可能采用不同的编码格式（如UTF-8、GBK、ASCII等），统一编码是首要任务：
分词是将连续文本分割成有意义的语言单元（token）的过程，不同语言需要不同的分词方法。
英文分词相对简单，主要基于空格和标点分割：
中文没有明显的词边界，分词更为复杂。主要方法包括：
词性标注（Part-of-Speech Tagging）是为分词结果中的每个词语标注其词性类别的过程。
英文常用Penn Treebank标签集（部分）：