文本表示方法 | 菜鸟教程

文本表示是自然语言处理（NLP）中的基础任务，它将非结构化的文本数据转化为计算机可以处理的数值形式。
本文将系统介绍 NLP 中常用的文本表示方法，从传统方法到现代深度学习技术，帮助读者全面理解这一核心概念。
词袋模型是最简单的文本表示方法之一，它将文本视为一个无序的词汇集合。
TF-IDF（Term Frequency-Inverse Document Frequency）是对词袋模型的改进，考虑了词语在整个语料库中的重要性。
N-gram 模型考虑了词语的顺序信息，通过连续n个词的组合来表示文本。
Word2Vec 是一种基于神经网络的词向量表示方法，由 Google 在 2013 年提出。
GloVe（Global Vectors for Word Representation）结合了全局统计信息和局部上下文窗口的优点。
FastText 是 Facebook 开发的词向量模型，特点是考虑子词（subword）信息。
ELMo（Embeddings from Language Models）是最早的上下文相关词表示方法之一。
BERT（Bidirectional Encoder Representations from Transformers）是 Google 提出的预训练语言模型。
Doc2Vec 是 Word2Vec 的扩展，可以直接学习文档的向量表示。
潜在狄利克雷分配（LDA）是一种无监督的主题建模方法。
文本表示方法的发展经历了从简单统计到深度学习的演进：
随着大语言模型的发展，文本表示技术仍在快速演进，但理解这些基础方法对于掌握NLP仍然至关重要。