条件数学期望

条件数学期望（精选5篇）

条件数学期望 篇1

一条件概率与独立性

1. 条件概率

已知事件A发生的条件下, 事件B发生的概率

条件概率的计算多数情况下是缩小空间直接计算, 而只是少数情况下用到上述公式。

例如, 在一场足球比赛中, 一个球员独立进3个球, 称之为上演“帽子戏法”。“帽子戏法”源于杂剧节目, 一人两手抛3顶帽子, 在头上轮换。此项技术很难, 故足球比赛中借用“帽子戏法”形容在一场足球比赛中一个球员独立进三个球很难。

下面讲一个概率中的“帽子戏法”。

下面把问题改进一下:把3顶帽子分别编号为1、2、3。

问题一, 先任选定1顶帽子 (假设是1号) 。由盖帽者在剩下的两顶帽子中打开1顶空的 (假设3号空) 。现在金币必在1号或2号之中, 你重新选择。是保持不变还是改选2号?

问: (1) 和 (2) 所表达的意思相同吗?

问题三, 设选定1号帽子, 现在由非盖帽者打开2号、3号中的任意一顶, 发现是空的。你重新选择, 如何选?

注:非盖帽者打开1顶帽子有金币时, 你改与不改也是一样, 选中的概率都为零。

2. 独立性

事件A、B独立的充要条件是:

判断两个事件是否独立, 常常是直观判断, 不必验证 (1) 。而与 (1) 等价的条件还有P (B/A) =P (B) 或P (B/A) =P (A) , 即条件概率等于无条件概率。在实际应用中, 这条性质往往被忽略掉了。

例1, 赌徒的谬误:

赌徒在连续输了3次之后, 他认为第四次赢的概率会增大。不幸的是他第四次又输了 (独立性, 前几局的结果不影响后面的结果) 。

例2, 产妇的悲剧:

我国农村人重男轻女思想严重, 几乎每家庭都有这种思想:要一直生育到男孩为止 (不顾违反计划生育政策而受罚) 。一个妇女前三胎都生女儿, 她认为第四胎一定是男孩, 不幸的是第四胎又是个女孩 (独立性, 前几胎的结果不影响后面的结果) 。

此类例子还有:买彩票, 交通事故等。

二数学期望

在讲到数学期望 (均值) 的时候, 我给同学们讲了下面这个例子:

有一种赌博方式叫碰运气。盒子里有3颗骰子, 庄家随机摇动盒子然后盖在桌上, 让你猜1至6中的一个数。假设你猜1点, 若3个骰子中出现i个1点, 你就赢i倍赌金, i=1、2、3;如果3个骰子中没有出现1点, 你就输了赌金。

由此可见, 赌徒赢钱的期望值是-7.8%。

假如你一天的赌金是100万, 平均来说, 你将输了7.8万元。

分析3:还有一个简单的判断:假设有6个人参加赌博, 赌金都是1万。6个人分别赌1~6点, 看庄家如何赢钱。 (1) 3颗骰子出现的点数都不同, 庄家吃三赔三, 不输不赢; (2) 3颗骰子中有2颗相同, 庄家吃四赔三, 净赢1份赌金; (3) 3颗骰子点数都相同, 庄家吃五赔三, 净赢2份赌金。

综上所述:庄家至少保本, 还有净赢1到2份赌金的机会。

摘要：讨论条件概率、独立性与数学期望趣题, 对条件概率的理解有新的认识。

关键词：条件概率,帽子戏法,数学期望

参考文献

[1]Richard.A.Epstein.赌博的理论和统计学的逻辑[M].Academic press, 1967

[2]李泽华、谢瓯.概率论与数理统计[M].广州:广东科技出版社, 2010

[3]谢延年、尹斌庸编著.数学家传[M].长沙:湖南教育出版社, 1987

条件数学期望 篇2

随着工业经济的发展，工业企业经济决策的科学性在企业发展过程中至关重要。工业经济的发展依赖于对自然资源的占有和有效配置，以何种批量进行工业生产、投资何种机器设备等问题是工业企业经常面临的经济决策问题。数学期望作为一种科学的工具，通过相关理论知识将经济问题量化为数学问题，能够大大提高工业经济决策的科学性与高效性。

1数学期望的概念

条件数学期望 篇3

随着经济全球化和金融一体化及近年来一系列金融灾难发生, 风险管理日益成为金融体系最核心的内容。目前风险值 (VaR) 已成为一种最常用的金融风险管理工具, 它是一种用统计的方法来衡量市场风险的测度。VaR把对预期的未来损失的大小和该损失发生的可能性结合起来, 不仅风险管理者知道发生损失的规模, 而且也知道了损失发生的可能性。随着近几年来一些学者的深入研究, 在VaR的基础上又提出了一种新的度量市场风险方法——尾部条件期望 (TCE) [1]。利用TGARCH-M 模型推导出计算公式, 并利用上证指数和公用指数的历史收盘数据比较了VaR和TCE度量风险的准确性。

1模型介绍

1.1TGARCH-M 模型定义

由于金融资产收益率具有变易率聚类性、分布的尖峰厚尾性和有偏性、杠杆作用, 同时又考虑到股票风险是决定其收益的重要因素, 所以为了准确地反应这些特性, 于1987年Engle, Lilien和Robins将GARCH模型中的条件方差引入均值方程, 即原方程yt=x′tθ+εt变为yt=x′tθ+λσ${}_t^2$+εt, 还可把方程中的条件方差改为

yt=x′tθ+λlg (σ${}_t^2$) +εt或yt=x′tθ+λσ${}_t^{}$+εt[2]

以此, 利用基于GED分布和T分布的TGARCH-M 模型[3]。TGARCH-M模型为:

$\{\begin{array}{l}y{}_t=x^{\prime }{}_t\theta +\lambda \lg (\sigma {}_t^2)+\epsilon {}_t,\epsilon {}_t=\sigma {}_t\nu {}_t,\nu {}_t~\text{G}\text{E}\text{D}(0,\sigma {}_t^2,r)\\ \sigma {}_t^2=\omega +{\displaystyle \sum _{j=1}^q\beta }{}_j\sigma {}_{t-j}^2+{\displaystyle \sum _{i=1}^p\alpha }{}_i\epsilon {}_{t-i}^2+{\displaystyle \sum _{k=1}^r\gamma }{}_k\epsilon {}_{t-k}^2{\rm I}{}_{t-k}。\\ \end{array}$

其中, 如果εt-k<0, 则It-k=1, 否则It-k=0。如果yt表示股票收益率, αi为表示利好消息的影响系数, αi+γi为表示利坏消息的影响系数。如果γi显著的不等于0, 说明收益率存在杠杆效应, 因此用这种模型能较好地反应收益率序列的有偏问题。如果λ显著不为0, 说明该模型反映了股票的风险是决定其价格和收益率的重要因素。

如果所有γi=0模型就变为GARCH模型。

1.2VaR定义及计算

风险值 (VaR) 是指设随机变量表示投资一定数额的资产W后, 在未来某一持有期T内的损益率, 则满足

${\rm P}\left\{{\rm Z}{}_{{\rm T}}^{}(W)\le -VaR{}_{\alpha }\right\}=\alpha$

VaR (通常取正值) 称为该投资组合在未来持有期T内置信度为1-α的风险值。

如果已知该投资组合在[0, T]时期内的损益率X=ZT/W的分布为F (x) , 则投资组合损益率分布的α分位数, 即 xα=sup{x|P{X≤x}≤α}。

对于TGARCH-M模型, 有置信度为1-α的风险值为

VaR (rt) =- (μ+λlnσ${}_t^2$+Fασt) (1)

式 (1) 中F为随机变量rt服从的分布。Fα表示该分布的α分位数。

1.3TCE定义及计算公式

由于VaR仅度量了资产组合在一定置信度下可能损失的分位数, 而忽略了越过这个分位数的损失达到何种程度, 同时VaR不具有次可加性, 次可加性反映了风险分摊原理, 即由几项子资产构成的投资组合承受的风险不大于各项子资产所承受的风险之和, 如一个金融机构的总风险不能由各子机构风险之和来预测, 将给风险度量带来很大的困难。因此一些学者在VaR的基础上又提出了一种新的度量市场风险方法-尾部条件期望 (TCE) [1]。

尾部条件期望 (Tail conditional expectation简称TCE) 设随机变量Z表示投资一定数额的资产W后, 在未来某一持有期T内的损益, 则

$E{}_{\text{Τ}\text{C}}({\rm Z})=-\text{E}\{{\rm Z}|{\rm Z}\le -VaR\}。$

称为该投资组合在持有期T内置信度为1-α的尾部条件期望, TCE表示越过VaR值的损失的均值。

对于TGARCH-M模型, 有置信度为1-α的TCE值为

$E{}_{\text{Τ}\text{C}}(r{}_t)=-\text{E}\{r{}_t|r{}_t\le x{}_{\alpha }\}=-\frac{1}{\alpha }{\displaystyle \int }{}_{-\infty }^{x{}_{\alpha }}r{}_{t}f(r{}_t)\text{d}r{}_t$

其中f (rt) 为rt的密度函数

当rt～GED分布时, 公式为

$\begin{array}{l}E{}_{\text{Τ}\text{C}}=-\frac{r\text{Γ}\left(\frac{3}{r}\right){}^{\frac{1}{2}}}{2\alpha \text{Γ}\left(\frac{1}{r}\right){}^{\frac{3}{2}}}{\displaystyle {\int }_{-\infty }^{x{}_{\alpha }}\frac{1}{\sigma {}_t}}r{}_t\times \\ \exp \left\{-\left|\frac{r{}_t-\mu {}_t-\lambda \lg (\sigma {}_t^2)}{\sigma {}_t}\right|{}^r\left(\frac{\text{Γ}\left(\frac{3}{r}\right)}{\text{Γ}\left(\frac{1}{r}\right)}\right){}^{\frac{r}{2}}\right\}\text{d}r{}_t(2)\end{array}$

式 (2) 中r为GED分布参数。

当rt～t (n) 时, 公式为

$E{}_{\text{Τ}\text{C}}=-\frac{\text{Γ}[\left(\frac{(n+1)}{2}\right)]}{\alpha \sqrt{\pi n}\Gamma (n/2)}{\displaystyle \int }{}_{-\infty }^{x{}_t}\left[1+\frac{(r{}_t-\mu {}_t-\lambda \lg \sigma {}^2){}^2}{n\sigma {}_t^2}\right]{}^{-(n+1)/2}\text{d}x{}_t$ (3)

式 (3) 中n为T分布的自由度。

2实证研究

分别选取2000年1月至2008年12月上证指数和公用指数各2 171个收盘数据作为样本。由于许多学者研究表明, 股票指数对数收益率序列具有变易率聚类性和GARCH效应以及具有尖峰厚尾右偏的特征, 所以本文建立非对称的TGARCH-M模型来拟合上证和公用对数收益率序列, 同时在实证计算中得出随着模型中参数的增加, TGARCH-M模型的AIC值没有明显变化, 所以本文中建立TGARCH (1, 1) -M模型对VaR和TCE进行实证分析。通过在Eviews6.0[4]编制程序计算VaR值并在Matlab6.5[5]中编制程序计算TCE值。

表1列举了上证指数和公用指数的分别基于T-分布和GED分布的TGARCH-M模型的参数估计。结果表明γ1显著的大于0, 说明收益率减小的波动大于增加的波动, 表明存在杠杆效应, 用该模型能较好地反应收益率序列的有偏问题;参数λ也显著不为0, 表明模型反映了股票的风险与其价格收益率的密切关系。参数估计结果表明用该模型拟合收益率是合适的。

利用式 (1) 和式 (2) 、式 (3) , 分别计算出在各种模型下的VaR值和TCE值, 结果见表2和表3。在表2中, 利用返回检验验证得出基于GED分布的TGARCH (1, 1) -M模型在各置信水平下都较好地估计了风险。相比之下, 由于实际超过VaR的平均值远小于对应的置信度, 表明基于T分布的该模型估计过于保守。

由表1知在各种模型下, 上证指数的σ${}_t^2$均值均小于公用指数的σ${}_t^2$均值, 表明公用行业投资风险稍大, 又由表2和表3知, 在各种置信度下, 上证指数的VaR和TCE均对应地小于公用指数的VaR和TcE, 由此表明在通常情况下TCE和VaR均能较准确地度量风险。

3结论

分别通过基于T分布的和GED分布的TGARCH-M模型建立VaR和TCE计算公式, 并利用股票历史收盘数据进行实证分析, 研究结果表明:尽管VaR存在一定的缺陷, 但在通常情况下TCE和VaR均能较准确地度量市场风险, 均是较好的度量市场风险的方法。所以建议在实际应用中, 最好综合运用这两种方法度量市场风险。

参考文献

[1] Artzner P, Delbaen F, Eber J M, et al.Thinking coherently.Risk, 1997;10 (11) ;68—71

[2] Engle R F, Lilien D M, Robins R P.Estimating time-varying riskpremia in the term structure:the ARCH-M model.Econometrica, 1987;55:391—407

[3]张广玉, 丁俊君.TARCH—M模型在测度上海证券市场风险中的应用.中南财经政法大学学报, 2004; (5) :113—116

[4]于俊年.计量经济学软件-Eviews的使用.北京:对外经济贸易大学出版社, 2006

基于数学期望的决策模型 篇4

关键词：随机变量,数学期望,决策模型

一、数学期望的基本知识

定义1 (离散型随机变量的数学期) :设离散型随机变量的分布律为

若级数

定理:若随机变量X的分布用分布列P (Xi) 或用密度函数P (X) 表示, 则X的某一函数g (X) 的数学期望为:

定义3 (方差和标准差) :若随机变量X2的数学期望E (X2) 存在, 则称偏差平方 (X-E (X) ) 2的数学期望E[X-E (X) ]2为随机变量 (或相应分布) 的方差, 记为:

二、以数学期望为基础建立的各种决策模型

1. 最优存储决策

已知一商家在一展销活动期间供应一种商品, 正常进价50元/件, 售价56元/件, 若销售势头良好, 很快销售一空, 需紧急从其他渠道调货, 调货价格52元/件, 若货物供应量过大, 活动结束后造成货物积压, 每件需在现有价格上降价10元出售。已知该商品的需求量X服从[2000-6000]上的均匀分布, 商家应该准备多少货源才能获得最佳收益?

因为需求量X服从[2000-6000]上的均匀分布, 故需求量X的概率密度函数为

不妨设存储量为y, 则2000≤y≤6000

储量为y时利润为

期望利润为

取近似值y≈2700 (件)

即储存量大约是2700件时, 期望利润最大且最大期望利润为

从上述的计算可知由于一旦造成商品积压, 将有损失, 所以不是进货越多利润越大。

2. 商业营销决策

作为一种营销策略, 厂家经常推出一些有奖销售活动, 以扩大销售量, 现有一儿童食品生产厂家欲采用将印有各种图案的小卡片作为赠券放入每一包装袋中, 集齐一套有奖作为促销模式。这里假设每套张且装有各种不同类型的卡片的袋子出厂时是均匀混合的。为了使该方案可行, 厂家事先必须推算出顾客搜集齐这些卡片的难易程度, 即平均需买多少袋能集齐, 然后才能决定设置的奖项应该多大。

实际上, 该问题与下列问题同属一个模型, 即:

有一个盒子装有标号为1-n的n张不同卡片, 每次独立的从盒子中取一张, 看后放回, 并记录取出卡片的标号, 问题是平均需抽多少次才能抽齐这张不同的卡片。

引入随机变量Xk (k=1, 2, 3, …, i…) :表示已经取得k-1张不同花色的卡片后为获得第k张卡片所需的抽检次数, 若设每次抽取成功率为Pk, 则易得Xk服从参数为Pk的几何分布, 且相互独立。

下求E (Xk) (k=1, 2, 3, …, i…)

只需先求Xk的分布列

设A={收集到第k张卡片}则

所以Xk的分布列为:P (Xk=i) = (1-Pk) i-1Pk (i=1, 2, ……)

即取得第k张型卡片所需的平均抽取次数为

故取到n张不同卡片的平均次数

建立了数学模型后我们可知

当n=10时E (X) =10In10=23.03≈23

当n=15时E (X) =15In15=40.62≈41

当n=20时E (X) =20In20=59.91≈60

当n=30时E (X) =30In30=102

当n=50时E (X) =50In50=195.6≈196

当n=100时E (X) =100In100=460.51≈461

当n=200时E (X) =200In200=1059.67≈1060

由此可知, 期望次数随着n的增大而快速增加, 即使厂家没有故意让某些卡片少一些。但只要n足够大, 要收集到整套的卡片还是相当困难的。比如, 厂家若设置水浒108将作为一整套卡片, 为集齐该套卡片顾客需平均购买大约

食品。依据该数学模型的计算结果厂家制定营销计划, 对后期的营销成果做到心中有数。

3. 经济方案决策

在商业活动中偷税漏税可非法获益, 造成国家财政损失。国家为了防止税收流失, 通常对偷税者除补交税款外还要处以偷税额n倍的罚款。统计发现, 偷漏税者被查出的概率为0.2。这时罚款额度n至少多大才能起到惩罚作用, 让我们为决策者提供决策依据。

引入随机变量X, X表示偷税时商家的收益数, x为假设偷税额, 则X的数学期望为

要使处罚行之有效, 必须使逃税者无利可图, 即平均收益E (X) <0

由上式知3-n<0

也就是说一旦查出有偷税行为, 执法者至少要对偷税者处以3倍以上的罚款, 才能起到防止偷税漏税现象发生的作用。

4. 项目投资决策

现有一企业拟投资两个项目, 分别生产甲产品与乙产品, 其收益与市场状态相关。若把该项目生产的产品未来市场销售形势列为好、中、差3个等级, 根据市场调查研究发现其发生概率均分别为0.3、0.5、0.2, 但相应收益不同。详见下表:

根据这些信息该企业投资哪一个项目好呢?

我们先考虑一下平均收益, 即其数学期望值:

从平均收益上看, 生产甲产品比生产乙产品要多赢利15万元。

我们知道方差、标准差越大, 收益的波动就越大, 从而风险越大。因此, 在已知该项目的数学期望后还应考察其方差、标准差这些指标才能进行进一步的评估。

从方差标准差来看, 生产乙产品减少风险约32%, 但收入相应减少15万。

这类问题是根据期望利润最大的原则进行决策, 是建立在风险中性的基础上, 也是风险决策的前提。如果有两个方案都能使期望收益达到最大, 那么就应该比较收益的方差 (风险) , 风险较小较优。所以, 在风险投资决策中, 应综合考虑收益的期望和方差, 将超额收益 (超过无风险收益的部分) 作为承担风险的补偿。选择最优方案才是最合理的, 这是我们为决策者提供的决策理论依据。

参考文献

[1]张少华.数学期望在农业生产中的应用[J].安徽农业科学, 2011 (8) .

[2]黄旭玲.利用随机变量的和式分解计算数学期望[J].玉林师范学院学报 (自然科学) , 2003 (4) .

[3]盛骤, 等.概率论与数理统计[M].北京:高等教育出版社, 2001, 12.

条件数学期望 篇5

随着网络和信息技术的飞速发展,电子文档呈现爆炸式增长的趋势。面对具体的知识,要在这浩瀚的信息世界中快速获得相应的知识却是很困难的,因此研究利用计算机进行自动文本分类已成为自然语言处理和人工智能领域一个具有重要研究价值的课题。文本分类面临的难题之一是如何从高维的特征空间中选择对文本分类有效的特征,以适应文本分类的算法并提高分类精度[1,2]。在以往的研究者文章中,主要集中在研究文本分类器和文本特征的选择与提取,对特征的加权研究较少。

1 TFIDF计算方法

目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算法的选取上。用于表示文本的基本单位通常称为文本的特征或特征项。向量空间模型是目前最简便高效的文本表示模型之一,由于直接表示文本的维数很大,应该对表示文本的特征项进行选择[3],使得选择的特征项必须具备一定的特性:(1)特征项要能够确实标识文本内容;(2)特征项具有将目标文本与其他文本相区分的能力;(3)特征项的个数不能太多;(4)特征项分离要比较容易实现。

对文本特征项的选择一般是通过构造评估函数,对特征集合中的每个特征进行评估,并对每个特征打分,这样每个词语都获得一个评估值,又称为权值,然后将所有特征按权值大小排序,提取预定数目的最优特征作为提取结果的特征子集。TFIDF[4]是由Salton在1988年提出的,是最为经典的单词权重方法。其中TF(Term Frequency)称为词频,用于计算该词描述文档内容的能力,IDF(Inverse Document Frequency)称为反文档频率,用于计算该词区分文档的能力。TFIDF的指导思想建立在这样一条基本假设之上即在一个文本中出现很多次的单词,在另一个同类文本中出现次数也会很多,反之亦然。所以如果特征空间坐标系取TF词频作为测度,就可以体现同类文本的特点。另外还要考虑单词区别不同类别的能力,TFIDF法认为一个单词出现的文本频率越小,它区别不同类别的能力就越大,所以引入了逆文本频度IDF的概念[5],以TF和IDF的乘积作为特征空间坐标系的取值测度。IDF(t)的计算方法如下:

式中:N—文档集的总文档数,n—出现特征项t的文档数。

一个有效的特征项应既能体现所属类别的内容,又能将该类别与其他类别相互区分,因此TFIDF[6]计算方法如下:

2 TFIDF计算方法的不足

TFIDF计算方法的主要思想即一个词条在一个文档出现的频率越高,在其他文档中很少出现,则认为该词条具有很好的类别区分能力,适合用来进行分类。IDF表示包含词条t的文档数越少,IDF越大,也说明词条t具有很好的类别区分能力,但是在IDF中,首先没有考虑文档数n在各个类别中的分布情况,其次也没考虑各个类中文档数的不同[7,8,9]。

假如在某一类Ci中含有词条t的文档为n1,Ci类中总的文档数为n1,在另一类Cj中含有词条t的文档数也是n1,但是Cj类中总的文档数为2n1,包含词条t的文档数只占一半,,因此词条t在Ci中比在Cj中重要,但是它们通过TFIDF算出来的值却是一样的,这就是因为没有考虑包含词条t的文档占各个类中总的训练文档的比例。因此单独使用TFIDF就会产生大的误差。

3 基于词条数学期望的TFIDF加权方法

本文将词条t看作一个随机变量,t在各个类别中的分布来构造一个概率函数,用数学期望作为因子来改进TFIDF计算方法。由于一个词条越集中出现在一个或几个类别中,它的区分度越高。由于训练集中各个类别的文档数不同,在两个类别包含词条t的文档数相同的情况下,文档数多的赋予较小的值,为此引入了值Fi。

设总共的有n个类,m(t)代表出现t的类别个数,Pi(t)代表在词条t出现的情况下,是不是有属于类别i的文档,出现属于类别i的文档时取值为1/m(t),否则为0,fi(t)代表在类别i中包含词条t的文档数占所有包含词条t文档数的比例,Fi代表类别i中的文档数占总的文档数的比例,如表1所示。

定义词条t的数学期望如下:

用E(t)修正TFIDF,算式如下:

改进后的计算方法的实现过程如下:

1)给定一个含有N个文档的文档集,其中共n个类别,每个类别中文档数为Ni。

2)对文档进行分词,去除稀有词,然后计算每个词条t在各个类别及其文档中的频数,并记录包含词条t的类别数m(t),及其每个类别中包含词条t的文档数。

3)使用改进的计算方法来计算词条t的权重,然后进行排序,选取前面的M个词条,作为文档的特征词。

改进后的计算方法考虑到了文档的分布情况,使得在类别中包含文档数不同造成的影响变小,因此改进的计算方法是有效的。

4 实验结果与分析

4.1 数据集

实验数据集来源于复旦大学计算机信息与技术系国际数据库中心自然语言处理小组提供的语料库,其中包含环境、农业、计算机等12个类别,共有文档4995篇,其中训练集3747篇,测试集1248篇。

4.2 KNN分类器

使用KNN(K Nearest Neighbor)文本分类器来验证上述方法。KNN即K最近邻是一种传统的模式识别方法,被广泛应用于文本分类研究,有较高的准确率和召回率。KNN在已知类别样本中寻找与待分类样本X最相似的K个样本,文本样本之间的相似性可以通过文本向量之间的余弦来度量,其计算方法如下:

KNN基于这K个已知类别样本的类别属性对未知样本的类别做出预测。一种简单的预测规则就是将未知样本的类别预测为在这K个最近邻样本中包含最多实例的类别。

4.3 实验结果及其分析

为了评价分类效果,我们采用最通用的性能评价方法:召回率R(Recall)、准确率P(Precision)和F1评价[10]方法。对于某一特定的类别,召回率是被正确分类的文档数和被测试文档数的比率,即该类样本被分类器正确识别的概率。准确率是正确分类的文档数与被分类识别为该类的文档数的比率,即分类器做出的决策时正确的概率。通常还将召回率和准确率用某种方式组合成单一的度量,以便于进行比较。我们使用F1度量这种较通用的组合方式,算式如下:

混淆矩阵可以显示分类的明信,混淆矩阵的行表示原本属于某类的文档,最终分类到各个类的情况,而混淆矩阵的列表示最终分类到某个类的文档,而对角线则表示正确分类到各个类的文档数,实验结果如表2、表3所示,分类的性能比较如图1所示。

从实验结果可以看出:使用修改后的TFIDF分类的精确度和召回率都有不同程度的提高,这也就说明了包含词条文档的分布情况对分类的性能是有影响的,考虑到这一点就能有效地提高分类的精确度和召回率。

5 结束语

本文利用包含词条的文档在各个类别中的分布情况以及各个类中文档数的不同来改进TFIDF权重,提高了文本的分类精确度。下一步将结合其他的分类方法如朴素贝叶斯分类器等测试该特征选择方法,同时研究该特征选择方法对分类算法的依赖性以及在不同的数据集上测试该方法的有效性。

摘要：文本的形式化表示一直是文本挖掘的基础性问题,向量空间模型中的TFIDF计算方法是文本表示中一种效果较好的经典词条权重计算方法。在分析传统TFIDF计算方法存在问题的基础上,针对TFIDF方法中没有考虑包含词条的文档在各个类别的分布情况以及各个类别中所含的文档数的不同。提出了将词条的数学期望(TFIDF-E)作为一个文本因子来进行改进上述问题。实验结果表明,TFIDF-E计算方法表示的文本分类效果好于TFIDF,验证了TFIDF-E方法的有效性和可行性。

关键词：文本分类,词条权重,区分度,数学期望

参考文献

[1]唐焕玲,孙建涛,陆玉昌.文本分类中结合评估函数的TEF-WA权值调整技术[J].计算机研究与发展,20054,2(1):47-53.

[2]苏金树,张博锋,徐昕.一种快速文本归类算法的设计与实现[J].软件学报,2006,17(9):1848-1859.

[3]陈涛,谢阳群.文本分类中的特征降维方法综述[J].情报学报,20052,4(6):690-695.

[4]Salton G,Buckley C.Term-weighting approaches in automatic text re-trieval[J].Information Processing&Managemen,1988,24(5):513-523.

[5]代六玲,黄河燕,陈肇雄.中文文本分类中特征抽取方法的比较研究[J].中文信息学报,2004,18(1):26-32.

[6]寇莎莎,魏振军.自动文本分类中权值公式的改进[J].计算机工程与设计2,005,26(6):1616-1618.

[7]陆玉昌,鲁明羽,李凡.向量空间法中单词权重函数的分析和构造[J].计算机研究与发展,20023,9(10):1205-1210.

[8]李凡,鲁明羽,陆玉昌.关于文本特征抽取新方法的研究[J].清华大学学报:自然科学版2,00,141(7):98-101.

[9]柴玉梅,王宇.基于TFIDF的文本特征选择方法[J].微计算机信息2,006,22(8):24-26.