潜在语义分析(Latent semantic analysis)
潜在语义分析（LSA）是文本挖掘领域中的一个重要工具，旨在揭示文本中潜在的语义结构。要理解LSA，首先要了解词向量、话题向量空间及其在文本表示中的应用。
词向量将文本中的单词映射到实数空间中，用以捕捉词汇之间的语义关系。具体而言，将所有文本和单词映射到一个m*n矩阵X，其中X[i][j]表示单词j在文本i中的出现频率或权重，通常采用TF-IDF（词频-逆文档频率）计算。计算两个词向量的余弦值可以衡量文本间的语义相似度，直观上，共同出现的单词越多，语义越相似。然而，一个词可能在不同语境下表示不同意义，单纯基于词向量的相似度可能不准确。
为解决这一问题，引入了话题向量空间的概念。假设文本共有k个主题，每个主题对应m维向量，表示该主题内单词的共同特征。将所有文本投射到这个话题向量空间，形成m*k的单词-话题矩阵T。通过将文本向量在话题向量空间中表示，可以更全面地捕获文本的主题结构。
进一步，LSA通过矩阵分解技术将文本表示为话题和文本的乘积，即X≈TY，其中T为单词-话题矩阵，Y为话题-文本矩阵。奇异值分解（SVD）是实现这一目标的一种方法，它将词向量矩阵分解为话题向量空间和文本在该空间的表示。
除了奇异值分解，非负矩阵分解（NMF）也被用于LSA。给定非负矩阵X，找到两个非负矩阵W和H，使得X≈WH，其中W表示话题矩阵，H表示文本表示矩阵。NMF通过迭代优化过程来找到最佳分解，具有正则化效果，有助于发现隐含的语义结构。
LSA及其相关算法提供了对文本语义结构的深入理解，为信息检索、文本聚类和主题建模等领域提供了有效工具。通过分解文本表示，LSA能够揭示隐藏的主题，增强语义相似度计算的准确性，促进文本分析任务的高效执行。
继续阅读：潜在语义分析(Latent semantic analysis)词向量将文本中的单词映射到实数空间中，用以捕捉词汇之间的语义关系。具体而言，将所有文本和单词映射到一个m*n矩阵X，其中X[i][j]表示单词j在文本i中的出现频率或权重，通常采用TF-IDF（词频-逆文档频率）计算。计算两个词向量的余弦值可以衡量文本间的语义相似度，直观上，共同出现的单词越多，语义越相似。然而，一个词可能在不同语境下表示不同意义，单纯基于词向量的相似度可能不准确。
为解决这一问题，引入了话题向量空间的概念。假设文本共有k个主题，每个主题对应m维向量，表示该主题内单词的共同特征。将所有文本投射到这个话题向量空间，形成m*k的单词-话题矩阵T。通过将文本向量在话题向量空间中表示，可以更全面地捕获文本的主题结构。
进一步，LSA通过矩阵分解技术将文本表示为话题和文本的乘积，即X≈TY，其中T为单词-话题矩阵，Y为话题-文本矩阵。奇异值分解（SVD）是实现这一目标的一种方法，它将词向量矩阵分解为话题向量空间和文本在该空间的表示。
除了奇异值分解，非负矩阵分解（NMF）也被用于LSA。给定非负矩阵X，找到两个非负矩阵W和H，使得X≈WH，其中W表示话题矩阵，H表示文本表示矩阵。NMF通过迭代优化过程来找到最佳分解，具有正则化效果，有助于发现隐含的语义结构。
LSA及其相关算法提供了对文本语义结构的深入理解，为信息检索、文本聚类和主题建模等领域提供了有效工具。通过分解文本表示，LSA能够揭示隐藏的主题，增强语义相似度计算的准确性，促进文本分析任务的高效执行。