文本的空间向量表示模型
文本空间向量模型的主要思想是:将每一个文本表示为向量空间的一个向量，并以每一个不同的特征项(词条)对应为向量空间中的一个维度，而每一个维的值就是对应的特征项在文本中的权重。向量空间模型就是将文本表示成为一个特征向量:
V(d)((t1,w1),(t2,w2),...,(tn,wn))
其中ti(i1,2,...,n)为文档d中的特征项wi为ti的权重，一般取为词频的函数。
一般选取词作为文档向量的特征项,最初的向量表示完全是0,1的形式,即如果文本中出现了该词,那么文本向量的该维为1,否则为0。这种方法无法体现这个词在文本中的作用程度,所以逐渐0、1被更精确的词频代替，词频分为绝对词频和相对词频，绝对词频，使用词在文本中出现的频率表示文本，相对词频为归一化的词频，其计算方法主要运用TF-IDF公式，目前存在多种形式的TF-IDF公式。
在向量空间模型中，两个文本D1和D2之间的相关程度可以用它们之间的相似度来度量。当文本被表示为向量空间模型中的向量时，我们可以借助于向量之间的某种距离来表示文本之间的相似度，通常用向量之间的内积或者用夹角余弦值来表示。
根据以上理论的指导，我做了如下实验。选取词作为文本向量的特征项（预先把中文词汇的停止词去掉，比如标点符号，啊，阿，哎，哎呀等）。文本向量权重的选取为特征词在文本中出现的次数。两个文本间的相似度用夹角的余弦值表示。比如连个文本D1={iphone5s, 16G}，文本
D2={iphone5s, 16G, 电信版}，文本D3={iphone5s, 16G, 移动版}。现在计算D1
和D2之间的相似度。
步骤一：得到两个文本特征项集合的并集{iphone5s, 16G, 电信版}
步骤二：D1的向量表示{1,1,0} 步骤三：D2的向量表示{1,1,1} 步骤四：根据向量余弦夹角公式cos步骤五：保存结果。
实验结果D1，D2的相似度为0.[**************]9，D2和D3的相似度为
v1v2
计算两个文本的相似度。
||v1||||v2||
0.[**************]7。
主程序流程图：
这个程序还比较简陋，里面还存在一些问题，只是一个入门程序，现在正在研究TF-IDF公式。TF是词频，不同类别的文档，在特征项的出现频率上有很大差异，因此特征项频率信息是文本分类的重要参考之一，一般TF较大的特征项在该类文档中具有较高的权重，也就是说如果一个词有某类文档中经常出现，那么说明这个词对该类文档具有代表性，TF越大，表示这个词对文档越重要。如“计算机”这个词在计算机类的文档中出现的频率显然要高于政治类的文档。但是只是词频不足以表示一个词对文档的有用程度，为了消减几乎存在于所有文档中的高频词汇的影响，比较合理的办法是使用反比文档频率。
DF是文档频率，就是文档集合中出现某个特征项的文档数目；IDF是反比文档频率，IDF越大，此特征项在文档中的分布越集中，说明他在区分该文档内容属性方面的能力越强。反文档频率是特征项在文档集分布情况的量化。IDF应用时经常采用对数形式。IDF算法能够弱化一些在大多数文档中出现的高频特征项的重要度，同时增强一些在小部分文档中出现的低频特征项的重要度。
特征权重计算唯一的准则就是要最大限度的区分不同文档。因此特征项频率TF与反比文档频率IDF通常是联合使用的，也就是TF-IDF权重。 参考文献：
[1]苏力华.基于向量空间模型的文本分类技术研究[D].西安电子科技大学,2006.
[2]邬启为.基于向量空间的文本聚类方法与实现[D].北京交通大
学,2014.
[3]陈治纲.基于向量空间模型的文本分类系统研究与实现[D].天津大学,2005.