连续信源及信源熵

《连续信源及信源熵》由会员分享，可在线阅读，更多相关《连续信源及信源熵（51页珍藏版）》请在装配图网上搜索。

1、,,,,,单击此处编辑母版文本样式,,第二级,,第三级,,第四级,,第五级,,,,*,单击此处编辑母版标题样式,,3.8 连续信源及信源熵(4),3.6 连续信源及信源熵,3.6.1 一些基本概念,,3.6.2 连续信源的熵,,3.6.3 几种特殊连续信源的熵,,3.6.4 连续熵的性质,,3.6.5 最大连续熵定理,,3.6.1 一些基本概念,,(1) 连续信源定义,,(2) 随机过程及其分类,,(3) 通信系统中的信号,,(4) 平稳遍历的随机过程,（1） 连续信源定义,连续信源：,输出消息在时间和取值上都连续的信源。,,例子：语音、电视等。,,连续信源输出的消息是随机的，与随机过程{,

2、x,(,t,)}相对应。可用,有限维概率密度函数,描述。,,(2) 随机过程及其分类,① 随机过程,,② 随机过程的分类,,,,① 随机过程,,随机过程定义：随机过程{,x,(,t,)}可以看成由一系列时间函数,x,i,(,t,)所组成，其中,i,=1,2,3,…，并称,x,i,(,t,)为样本函数。,,,② 随机过程的分类,,可以分为两类：根据统计特性，连续随机过程可分为,平稳,与,非平稳,随机过程两大类。,,,,,,(3) 通信系统中的信号,,一般认为，,通信系统中的信号都是平稳的随机过程,。,,(4) 平稳遍历的随机过程,随机过程{,x,(,t,)}中某一样本函数,x,(,t,)的,时间

3、平均值,定义：,,,,统计平均值,：,,遍历的随机过程：时间平均与统计平均相等，即,,,,3.6.2 连续信源的熵,,(1) 计算连续信源熵的两种方法,,(2) 连续信源的熵,,(3) 连续信源的联合熵、条件熵,,,,(1) 计算连续信源熵的两种方法,,第一种方法：把连续消息经过,时间抽样和幅度量化,变成离散消息，再用前面介绍的计算离散信源的方法进行计算。即把连续消息变成离散消息求信源熵,,,,,第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是,量化单位,Δx,趋近于零,的情况来定义和计算连续信源熵。,,,(2) 连续信源的熵,,① 单变量连续信

4、源数学模型,,② 连续信源的熵,,③ 举例,,④ 连续信源熵的意义,,,,① 单变量连续信源数学模型,,单变量连续信源数学模型,,,,,② 连续信源的熵,,,,,,,连续信源的熵,,,③ 举 例,,若连续信源的统计特性为均匀分布的概率密度函数,当(,b,-,a,)<1时，,H,c,(,X,)<0，为负值，即,连续熵,,不具备非负性,。,,,④,连续信源熵的意义,,1）连续信源熵并不是实际信源输出的绝对熵，是相对熵,,2）连续信源的绝对熵还有一项正的无限大量，虽然log,2,(,b,-,a,)小于0，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确

5、知其输出值后所得信息量也将为无限大；,,3）,H,c,(,X,)不能代表信源的平均不确定度，也不能代表连续信源输出的信息量,,,,4）这种定义可以与离散信源在形式上统一起来；,,5）在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；,,(5) 连续信源的联合熵和条件熵,两个连续变量的联合熵,两个连续变量的条件熵,,,3.6.3 几种特殊连续信源的熵,,(1) 均匀分布的连续信源的熵,,(2) 高斯分布的连续信源的熵,,(3) 指数分布的连续信源的熵,(1) 均匀分布的连续信源的熵,一维连续随机变量,X,在[a,b]区

6、间内均匀分布时的熵为,,H,c,(,X,)=log,2,(,b,-,a,),,,若,N,维矢量,X,=(,X,1,X,2,…,X,N,)中各分量彼此统计独立，且分别在[,a,1,,b,1,][,a,2,,,b,2,] …[,a,N,,,b,N,]的区域内均匀分布，即,,,,(2) 高斯分布的连续信源的熵,一维随机变量,X,的取值范围是整个实数轴,R，,概率密度函数呈正态分布，即,,,,,,这个连续信源的熵为,(3) 指数分布的连续信源的熵,若一维随机变量,X,的取值区间是[0,∞)，其概率密度函数为,,,,,3.6.4 连续熵的性质,,(1) 连续熵可为负值,,(2) 连续熵的可加性,,(3)

7、 平均互信息的非负性,,(4) 平均互信息的对称性和数据处理定理,3.6.5 最大连续熵定理,在不同的限制条件下，信源的最大熵也不同。,,(1) 限,峰值功率,的最大熵定理,,(2) 限,平均功率,的最大熵定理,,(3),均值受限,条件下的最大熵定理,,,,(1) 限,峰值功率,的最大熵定理,,① 限,峰值功率,的最大熵定理,,② 证明过程,,③ 说明,,,,① 限,峰值功率,的最大熵定理,,若代表信源的,N,维随机变量的取值被限制在一定的范围之内，则,在有限的定义域内，,均匀分布,的连续信源具有最大熵。,,,,② 证明过程,,设,N,维随机变量,,,,,定义,q,(,x,)为除均匀分布以外的

8、其它任意概率密,,度函数,,H,c,[,p,(,x,),,X,]表示,均匀分布,连续信源的熵,,H,c,[,q,(,x,),,X,]表示,任意分布,连续信源的熵,,,,,,,,,,③ 说 明,,在实际问题中，常令,b,i,≥0,,a,i,=-,b,i,,,i,=1,2,…,,N,。这种定义域边界的平移并不影响信源的总体特性，因此不影响熵的取值；,,此时，随机变量,X,i,(,i,=1,2, ,…,,N,)的取值就被限制在±,b,i,之间，峰值就是│,b,i,│；,,如果把取值看作输出信号的幅度，则相应的峰值功率为2,b,i,；,,,所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称,

9、限峰值功率的最大熵定理,。此时最大熵值为,,,(2) 限,平均功率,的最大熵定理,① 限,平均功率,的最大熵定理,,② 证明过程,,③ 说明,,,① 限,平均功率,的最大熵定理,,若信源输出信号的平均功率,P,和均值,m,被限定，则输出信号幅度的概率密度函数为,高斯分布,时，信源具有最大熵值。,,,,② 证明过程,,单变量连续信源,X,呈高斯分布时的概率密度函数为,,,对平均功率和均值的限制就等于对方差的限制；,,把平均功率受限的问题变成方差受限的问题来讨论；,,把平均功率受限当成是,m,=0情况下，方差受限的特例,。,,定义高斯分布的连续信源的熵记为,H,c,[,p,(,x,),,X,],,

10、定义任意分布的连续信源的熵记为,H,c,[,q,(,x,),,X,],,已知,Hc,[,p,(,x,),,X,]=(1/2)log,2,(2,πeσσ,),,任意分布的连续信源的熵为,,,,,,,③ 说 明,,当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。,,两种功率受限情况与噪声比较,,峰值功率受限、均匀分布的连续信源熵最大,；,,平均功率受限、均值为零高斯分布的连续信源熵最大,；,,,,,,在这两种情况下，信源的统计特性与两种常见噪声—均匀噪声和高斯噪声的统计特性相一致。,,从概念上讲这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。,（3）均值受限的最大熵定理,连续信源的均值受到限制时，则输出信号的幅度呈,指数分布,时达到最大熵。,,证明（课后自己练习）,,,3.6.6 熵功率,,熵功率的定义,,信源剩余度,,,,熵功率定义,,,若平均功率为P的非高斯分布的信源具,,有熵h(X)，称熵也为h(X)的高斯信源,,的平均功率称为熵功率。,,,连续信源的剩余度,,,