6-1点估计

《6-1点估计》由会员分享，可在线阅读，更多相关《6-1点估计（32页珍藏版）》请在装配图网上搜索。

1、总体,样本,统计量,描述,作出推断,研究统计量的性质和评价一个统计推断的优良性，完全取决于其,抽样分布,的性质,.,随机抽样,,参数估计问题,假设检验问题,,点 估 计,区间估 计,,统计,,推断,,的,,基本,,问题,,什么是参数估计？,参数,是刻画总体某方面概率特性的数量,.,参数的类型有,:,1,、,分布中所含的未知参数,θ,.,,例如，,X ~N,(, ,,2,),,,若,,, ,2,未知,,,通过构造统计量,,,给出,,它们的,估计值,或,取值范围,就是参数估计,,的内容,.,区间估计,参数估计的两种类型,点估计,3,、,分布的各种特征数,2,、,分布中所含的未知参数,θ,的

2、函数,g(,θ,).,例如：,EX,，,VarX,,,分布中位数等。,,例如：,X ~N,(, ,,2,),,其中,,,,2,未知，,对于某定值,a ,,要估计,即为,,,,的函数。,一般地，用,θ,（,可以是向量）来表示参数，它的所有可能取值组成的集合称为,参数空间,，用,Θ,表示,。,参数估计问题是利用从总体抽样得到的样本,,,通过,估计量,来估计上述各种参数。,估计量,就是估计总体参数的统计量,.,第一节 参数的点估计,一、替换原理与矩法估计,,二、最大似然估计,,参数的点估计,是指,:,对未知参数,θ,选用一个统计量,,的取值作为,θ,的估计值,,,就是,θ,的点估计,(

3、,量,),,简称估计,.,好的估计量体现好的统计思想,.,用样本均值 来估计总体均值,EX,;,用样本方差,(,或,S,2,),来估计总体方差,VarX,,;,一、替换原理与矩法估计,1,、矩法估计,（,Moment Estimation,),替换原理,:,,用样本矩代替总体矩；用样本矩的函数代替总体矩的函数。,如：,无论总体分布如何,,,都可以,用样本的,p,分位数来估计总体的,p,分位数,;,矩法估计的思想,：,实质是根据格里汶科定理,,,可用样本经验分布函数代替总体分布函数,.,利用,替换原理而获得的估计量称为,矩估计,(,量,).,用事件,A,出现的频率来估计事件,A,发生的概率,

4、.,,更具体地说是根据大数定律,,,有,,例,1,,某型号的,20,辆汽车记录其每,5L,汽油的行驶路程（公里）如下,:,经计算可得：,29.8,，,27.6,，,28.3,，,27.9,，,30.1,，,28.7,，,29.9,，,28.0, 27.9,，,28.7,，,,28.4,，,27.2,，,29.5,，,28.5,，,28.0,，,30.0,，,29.1,，,29.8,，,29.6,，,26. 9,由矩法估计得总体的均值、方差和中位数点估计分别为：,2.,概率函数已知时未知参数的矩法估计,,矩估计法是英国统计学家,K,.,皮尔逊,最早提出来的,.,在总体分布已知时,,,且有关各

5、阶矩存在的条件下,,,用,“总体矩等于样本矩,”,列出矩方程组，解之可得矩估计,。,设总体,X,具有已知的概率函数,x,1,,x,2,,….,x,n,,是来自,X,,的样本，假定总体的,k,阶矩存在，那么它的 前,k,阶矩 都存在。 若 能够表示为,,的函数，即由,i,=1,2, … ,,k,这,k,个方程中解出,j,=1,2,…,,k,进一步要估计 的函数,则直接可得其矩法估计,例,1,,设总体,X ~ Exp,(,,),,x,1,,,x,2

6、,,…,,x,n,为总体的样本,,,求未知参数,,的矩法估计量,.,解,则,故,j,=1,2,…,,k,那么用诸 的估计量,a,i,,分别代替上式中的诸,,,即可得诸 的,矩估计量,：,矩估计量的观察值称为,矩估计值,,.,注：,由于 由替换原理,λ,的矩估计也可取为,,，,s,*,为样本标准差,,.,因此,矩估计不唯一,,,一般采 用低阶矩作为未知参数的矩估计,。,例,2,,设总体,X ~ U,(,a, b,),,a, b,未知,,,x,1,,…,,x,n,为取自该总体的样本，求参数,a, b,,的 矩法估计量,.,解,:,即

7、,解得,于是,a , b,的矩估计量为,样本矩表示,总体矩表示,解,:,,例,3,,设总体,X,的均值 和方差 都存在,,,未知,.,是来自,X,,的样本,,,试求 的矩估计量,.,解得,于是 的矩估计量为,样本矩表示,总体矩表示,注：,该例表明无论总体,X,服从什么分布，只要总体的二阶矩存在，则样本均值就是总体均值的矩估计，样本方差就是总体方差的矩估计,.,例,4.,,已知总体,，,其中,N,为未知参数，求,N,的矩估计,.,3.,总体分布为一般情形,(,包括分布未知,),时的矩法估计方法,用样本均值 来估计总体均值

8、,EX,,.,用样本方差 来估计总体方差,VarX,.,用样本的,p,分位数来估计总体的,p,分位数。,用事件,A,出现的频率来估计事件,A,发生的概率,.,例,5.,,设总体为,N,(,μ,,1),，现对该总体观测,n,次，发现有,k,次观测值为正，使用频率替换方法求,μ,的估计值,.,优点,是简单易行,,,并不需要事先知道总体的分布形式,.,缺点,（,1,）要求总体相应原点矩必须存在，对于不存在原点矩的总体如,Cauchy,分布，则不能用矩估计。,,（,2,）当总体类型已知时，没有充分利用分布提供的信息,.,矩法的优缺点：,相比较，下面的,最大似然估计,则充分利用了总体分布所提供的信息

9、。故一般较矩法估计优,.,,二,.,最大似然估计,,它是在总体类型已知条件下使用的一种参数估计方法,.,由德国数学家,高斯,在,1821,年提出的,.,然而,,,费歇,在,1912,年重新发现了这一方法，并首先研究了这种方法的一些性质,.,Fisher,例,6,:,,有两外形相同的箱子,,,各装,100,个球,,一箱,99,个白球,1,个红球,,一箱,1,个白球,99,个红球,现从两箱中任取一箱,,,并从箱中任取一球,,,结果所取得的球是白球,.,答,:,第一箱,.,问,:,所取的球来自哪一箱？,,这个例子所作的推断已经体现了最大似然法的基本思想（即,最大似然原理,：,在一次随机试验中某一事件

10、已经发生,,,则认为试验条件有利于该事件的发生,）,.,下例说明如何求最大似然估计,例,7.,,设,X,1,,,X,2,,…,X,n,是取自总体,X,~,b,(1,,p,),的一个样本，求参数,p,(,可以是产品的不合格率,),的最大似然估计量,.,似然函数,解：,抽取一个样本值,x,1,,,x,2,,…,,x,n,,,,这些观测值发生的概率为,显然,p,,的不同取值，对应的观测值发生的概率不同，由最大似然原理，应选择使得,P,(,X,1,=,x,1,,…,X,n,=,x,n,),最大的,p,值，即为,p,的最大似然估计值,.,注：,对于连续型总体，可用联合密度代替,P,(,X,1,=,x,1

11、,,…,,X,n,=,x,n,).,∴,对数似然函数,为,对,p,求导并令其为0，,=0,得,即为,p,,的,最大似然估计,,.,,欲求似然函数,L(,p,),的最大值点，可以应用微积分中的技巧。通过求解下面的方程求得,.,,利用最大似然原理而获得的关于未知参数的估计称为最大似然估计。,为,似然函数,,定义,：,设,x,1,,,x,2,,…,x,n,是取自总体,X,的一个样本，样本的联合概率函数为,p,(,x,1,,,x,2,,… ,,x,n,,;,θ,) .,,p,(,x,1,,,x,2,,…,,x,n,; ),当,x,1,,,x,2,,…,,x,n,,为样本的观察值时，,如果某个统

12、计量 满足,则称 为 的,最大似然估计,,.,记为,MLE,.,注,1,：,求,MLE,时，只须在,支撑,上考虑,. {,x,:,p,(,x,;,θ,)>0,},叫做,支撑,.,,注,2 :,,若,θ,是,k,维向量,,,则构造,k,个统计量分别为相应参数分量的,MLE,.,称,注意似然函数与联合概率函数的区别,求,MLE,的方法：,,1,、微分法,,求,似然函数,L,(,θ,),的最大值点，可以应用微积分中的技巧。由于,ln,x,是,,x,的增函数,,,ln,L,(,θ,),与,L,(,θ,),在,θ,,的同一值处

13、达到它的最大值,.,假定,θ,,是一实数，且,ln,L,(,θ,),是,θ,,的一个可微函数。通过求解方程：,可以得到 的,MLE .,若 是向量，上述方程必须用方程组代替,.,,,2,、用定义直接求,,当用上述求导方法求参数的,MLE,有时行不通,(,如似然函数不连续,),，这时要用最大似然原理,(,即定义,),来求,.,例,8 .,,设总体,X,~,P,( ),,,未知,.,是来自,X,,的样本值,,,试求 的最大似然估计量,.,例,9,,设总体,X,~,N,( ),,,未知,.,是来自,X,,的样本值,,,试求 的最大似然估计量,

14、.,似然函数为,解：,X,的概率密度为,于是,令,解得,经检验知它们就是 的最大似然估计,注,:,对于正态总体,μ,,,σ,2,的矩估计与,MLE,是相同的,.,但对于其它很多分布,,,它们并不一样,.,例,10,,设,x,1,,,x,2,,…,x,n,是取自总体,X,~U(0,,θ,),的一个样本,求,θ,的最大似然估计和矩估计,.,故,θ,的最大似然估计为,另一方面,,,由于,EX=,θ,/2,,故,矩估计为,两者不同,!,,用求导方法无法最终确定,用定义直接来求,.,要使,L,(θ,),达到最大，,θ,应最小，但它小不过,x,(n,),，,解,:,,当,x,1,,,x,2

15、,,…,x,n,为样本值时,，,似然函数为,例,11,,设,X ~ U,(,a,b,),,x,1,,,x,2,,…,,x,n,,是,,X,,的一个,,样本值,,,求,,a , b,的最大似然估计,.,解,X,的密度函数为,似然函数为,似然函数只有当,b,-,a,最小,,时才能获得最大值,,,且,a,越大,,,b,越小,,,L,越大,.,取,则对满足,的一切,a < b,,,都有,故,是,a,,,b,的最大似然估计,.,例,12,,设,X ~ U,(,θ,,,θ,+1,),,x,1,,,x,2,,…,,x,n,,是,,X,,的一个样本值,,,求,θ,,的最大似然估计,.,注,:,这里,θ,的极大

16、似然估计不只唯一,,,可任取,,(,x,(,n,),-1,,x,(1),),之间的任一个值,.,例,13,,设,x,1,,,x,2,,…,x,n,是取自总体,X,的一个样本,其中,>0,,求 的最大似然估计和矩估计,.,,i,=1,2,…,,n,解,:,,(1),当,x,1,,,x,2,,…,x,n,为样本值时,，,似然函数为,对数似然函数为,,用求导方法无法最终确定,用定义直接来求,.,>,0,=0,令,而,是,故使 达到最大的 即 的,MLE,于是,即 分别为 的,MLE .,由上式解得,(2

17、),由密度函数知,具有均值为 的指数分布,Exp,(1/θ),即,,EX,=,,,VarX,=,E,(,X,- ) =,,Var,(,X,- )=,故,解得,也就是,,EX,=,,,VarX,=,的矩估计量为,于是,例,14,,设,X ~,Ga,(,α,,1),,x,1,,,x,2,,…,,x,n,,是,,X,,的一个样本值,,,求,α,,的最大似然估计,.,最大似然估计的性质,—,不变性,.,例,15.,,设总体,X,~,N,( ),,,未知,.,是来自,X,,的样本值,,,则 的最大似然估计为,:,于是由最大似然估计的不变性,,,可得：,标准

18、差,σ,的,最大似然估计是,；,概率 的最大似然估计是,总体,0.90,分位数,的,最大似然估计是,课堂练习,,1,,设总体,X,的概率密度为,其中 是未知参数,,,x,1,,,x,2,, … ,,x,n,,是取自,X,的样本,,,求参数 的矩估计,.,,2,,设,x,1,,,x,2,,…,x,n,是取自总体,X,的一个样本,求 的,最大似然估计值,.,其中,,,>0,未知,,,3.,,设一个试验有三种可能结果，其发生概率分别为,现做了,n,次试验，观测到三种结果发生的次数分别为,n,1,,,n,2,,,n,3,(,n,1,+n,2,+n,3,＝,n,）,.,试求,θ,的,MLE,.,，,0<,θ,<1,未知,.,这一讲，我们介绍了参数点估计,,,给出了寻求估计量最常用的矩法和最大似然法,.,参数点估计是用一个确定的值去估计未知的参数,.,看来似乎精确 ，实际上把握不大,.,小结,