第1章 信息论基础 1.3 离散信道 第8讲2007.10.18. 本节的主要内容 信道的数学模型 信道有关的信息熵 平均互信息 信道容量 教学目的与要求 1. 掌握离散信道的数学模型及其分类. 2.熟练掌握与信道有关的各种信息熵的定 义及计算方法. 3.掌握平均互信息的定义、性质及计算方 法.(重点) 4.深刻理解信道容量的概念(难点),掌握 对称信道容量的计算方法. 计划学时:4学时 外语关键词: 信道: Channel 对称信道: Symmetric channel 传输矩阵: Transmit Matrix 噪声熵: Noise Entropy 损失熵: Loss Entropy 信道容量: Channel Capacity 联合熵: Joint Entropy 平均互信息: Average Mutual Information 参考文献 1.傅祖芸:信息论—基础理论与应用 电子工业出版社(2001年8月第一版) 2.傅祖芸:信息理论与与编码学习辅导及精选题解 电子工业出版社(2004年7月第一版) 3.吴伟陵:信息处理与编码 人民邮电出版社(1999年7月第一版) 4.曹雪虹:信息论与编码 北京邮电大学出版社 (2001年8月第一版) [温旧引新] 信息熵的定义: ∑ ∑ ∑ = = = ? = = = m i i i m i m i i i i p p i p p I p X H 1 1 1 log 1 log ) ( 通信系统的基本组成 信源 信道 信宿 发出信息 传输信息 接收信息 1.3.1 信道的数学描述 信道是信息的传输媒体.这里存在噪声干 扰,也包含通信设备对信号的作用,是通信 系统最为复杂的部分. 在讨论信道中的信息传输规律这个主要问 题时,对实际信道抽象出三个简化模型: . 1. 广义信道模型: 2. 符号映射模型: 3. 传输概率模型: (1)广义信道模型 把码型变换、调制与解调、复用与交换等信号 处理过程,统统概括在广义信道之中. 广义信道对于信源,就是代码序列的入口;对 信宿,是代码序列的出口;它只是一个不透明的 通道,所有的传输与处理过程都被屏蔽其中. 信源 信宿 代码序列X 代码序列Y (2)符号映射模型 信源发出的是序列X ,信宿收到的是代码Y . 代码序列X取自符号集合A={a1, a2,……, am } 代码序列Y出现的符号构成集合B={b1, b2,……, bs } 为了模型具有普遍性,假设两个集合不同,以便讨 论信道中由于噪声、损耗等因素造成误码. 通信不是实物的传递,不要求发a1收a1,只要X与Y 有一定的对应关系,即可传输信息. (3)传输概率模型 当进入广义信道的符号为ai 时,由于噪声与损耗, 从广义信道出来的符号有可能是集合B 中的任意一 个,其中是 bj的概率为 pij=p(bj|ai),叫前向概率. 由于 i=1, 2, ……, m; j=1, 2, ……, s;所以上述条件 概率共有ms个. 将它们排列成矩阵,叫做信道传输矩阵. ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ms m m s s p p p p p p p p p P L L L L L L L L L L L 2 1 2 22 21 1 12 11 信道的基本类型 根据三个简化模型,把信道分为以下类型: (1)无噪无损信道: ai ? bj 是一一对应的, pij=p(bj|ai)= 传输矩阵为单位方阵: ? ? ? = ≠ j i j i 当当10??????????????=100010001LLLLLLPa1 b1 a2 b2 ………… am bs (2)有噪有损信道: ai ? bj 是多----多对应的, pij= p(bj|ai) ≠ δij 传输矩阵为m*s矩阵. a1 b1 a2 b2 …… …… am bs 二元对称信道(BSC) 二元删除信道(BEC) ? ? ? ? ? ? ? ? ? ? = p p p p P 1 1 ? ? ? ? ? ? ? ? ? ? = q q p p P 1 0 0 1 其中两个典型实例是: a1 b1 b3 a2 b2 1-p 1-q p q a1 b1 a2 b2 1-p 1-p p p (3)有噪无损信道与无噪有损信道: ?噪声与损耗都会造成误码,原因很难区分,而且往往综合 发生作用.但是作为数学模型把二者加以区分,可以简化 问题,有利于梳理概念. ?假设噪声是加性的,作用只是增加接收符号的不确定性, 让原来的一个接收符号对应一组(多个)接收符号,而不会改 变原来的发送符号.我们把这种分组一多对应关系称之为 "弥散". ?假设损耗是减性的,它只会使若干发送符号因为损失了信 息而变得模糊难辨,而不会创生出新的接收符号.其结果 是让一组发送符号对应一个接收符号,我们把这种分组多 一对应关系称之为"归并". 有噪无损信道是只存在弥散不存在归并的传输 过程,其结果只能是分组一多对应. b1 a1 b2 b3 a2 b4 b5 a3 b6 ? ? ? ? ? ? ? ? ? ? = 36 25 24 13 12 11 0 0 0 0 0 0 0 0 0 0 0 0 p p p p p p P 有损无噪信道是只存在归并不存在弥散的传输 过程,其结果只能是分组多一对应. a1 a2 b1 a3 a4 b2 a5 a6 b3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 63 43 42 31 21 11 p p p p p p P (4)对称信道: 如果传输矩阵各行各列都是一些相同元素的 重排,则成为对称矩阵.如: 如果仅行是重排或仅列是重排,则只能算是 准对称矩阵.如: ? ? ? ? ? ? ? ? = 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3 1 P ? ? ? ? ? ? ? ? ? ? ? ? = 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 P ? ? 4 . 0 6 . 0 ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ε ε ε ε ε ε 2 1 2 1 p p p p P ? ? ? ? ? ? ? ? = 6 . 0 4 . 0 5 . 0 5 . 0 P 1.3.2 信息在信道中的传输特性 1. 通信过程所涉及的各种概率 ?信源符号概率(先验概率):p(ai) i=1, 2, ……m ?信道传输概率(前向概率): p(bj|ai) j=1, 2, ……s ?联合概率: p(ai bj) = p(ai)·p(bj|ai) ?接收符号概率: p(bj) = ∑ p(ai bj) ?后验概率: p(ai | bj) = p(ai bj) / p(bj) i =1 m 条件概率:P(A|B), P(B|A) 联合概率:P(AB)=P(A)P(B|A) 或:P(AB)=P(B)p(A|B) 归一化条件: ΣA P(A)=1; ΣA P(A|B)=1; ΣAP(AB)= P(B) ; ΣBP(AB)= P(A) ; ΣA ΣB P(AB)=1; ? 贝叶斯公式: 有关数学知识 ∑ ∑ = = = A A A B P A P A B P A P AB P A B P A P B P AB P B A P ) | ( ) ( ) | ( ) ( ) ( ) | ( ) ( ) ( ) ( ) | ( 2. 通信过程所涉及的各种信息熵 每种概率都反映一个方面的不确定性,用(-log p) 将其表达为自信息,再求出统计平均,就是该方面 的信息熵. (1)信源熵 (先验熵): 它是信源符号概率的统计平均值,代表信源 发出符号的平均不确定度. ∑ = ? = m i i i a p a p X H 1 ) ) ( log ( ) ( 它是前向传输概率的统计平均值,反映了信道中噪声的 有无与大小.理由如下: ?只要是无噪,就不会有"弥散"发生.不论是无损无噪信道 还是有损无噪信道,pij= p(bj|ai)都是非1即0(同一分组为1, 不同分组为0),必然使H(Y|X)=0; ?若噪声存在,则有"弥散"发生,pij必为小数,使H(Y|X) ≠ 0; ?噪声越强,"弥散"越严重,pij就越小,H(Y|X)越大 ) | ( log ) ( ) | ( 1 1 i j m i s j j i a b p b a p X Y H ∑∑ = = ? = (2)噪声熵 (散布度): 它是联合概率的统计平均值,代表每发送并 接收一个符号(无论正确还是误码)的平均不确 定程度. (4)接收符号熵: 它是接收符号概率的统计平均值,代表信宿 接收一个符号的平均不确定程度. ) ( log ) ( ) ( 1 1 j i m i s j j i b a p b a p XY H ∑∑ = = ? = (3)联合熵: ∑ = ? = m i j j b p b p Y H 1 ) ) ( log ( ) ( 它是后验概率的统计平均值,代表信道中损失掉的平均不 确定程度,它反映了损失的有无与大小.理由如下: ?只要是无损,不论是无噪无损还是有噪无损信道,都不会 有"归并"发生,从接收符号能唯一指认所发符号,其后验概 率p(ai|bj|) 非1即0(同一分组为1,不同分组为0),必然使 H(X|Y)=0; ?若损失存在,后验概率则为小数,使H(X|Y) ≠ 0; ?损失越多,"归并"越严重,后验概率就越小,H(X|Y)越大. ) | ( log ) ( ) | ( 1 1 j i m i s j j i b a p b a p Y X H ∑∑ = = ? = (5)损失熵(后验熵): 3. 平均互信息 ?系统完成收发一个符号的通信过程后,关于符号ai 的不确定度的变化为: ∑∑ = = = = m i s j i j i j i j i a p b a p b a p b a I E Y X I 1 1 ) ( ) | ( log ) ( )] ; ( [ ) ; ( ) ( ) | ( log )] | ( log [ )] ( log [ ) ; ( i j i j i i j i a p b a p b a p a p b a I = ? ? ? = 式中p(ai|bj)是收到符号bj后,关于发送符号为ai的后 验概率. ?统计平均而言,平均每收发一对符号信宿所获得的 信息量为: 利用信源熵与损失熵的定义,可推知:I(X;Y) = H(X) – H(X|Y) I (X;Y)叫做平均互信息.代表系统完成收发一个 符号的通信过程后,所消除掉的平均不确定度,即 信宿从每个符号中平均所获得的信息量,是扣除了 损失之后的净信息量. 从概念上讲,信息熵与信息量是不同的,信息熵 代表平均不确定度,它是一个相对量.信息量是两 熵之差,反映通信后中不确定度的变化,它是一个 绝对量. 4. 各种信息熵及平均互信息之间的关系 利用:p(ai bj) = p(ai ) p(bj|ai ) = p(bj ) p(ai|bj ) 有: log p(ai bj) = log p(ai ) +log p(bj|ai ) = log p(bj ) +log p(ai|bj ), 两边求统计平均则不难得到: H(XY) = H(X) + H(Y|X) = H(Y) + H(X|Y) 移项:I (X;Y) = H(X) – H(X|Y) = H(Y) – H(Y|X) 两式相加可得: I (X;Y) = H(X) +H(Y) –H(XY) H(X|Y) I (X;Y) H(Y|X) 损失熵 平均互信息 噪声熵 H(XY) H(X) H(Y) 信源熵 接收符号熵 下图示出信源熵、接收符号熵、损失熵、噪声熵 以及平均互信息之间的关系: 从信源熵中扣除损失熵,或从接收符号熵中扣除 噪声熵,都会得到平均互信息. [例2]已知信源先验概率p(x)={0.7,0.3},信道传输 矩阵 ;试计算各信息熵和互信息. ? ? ? ? ? ? ? ? = 3 . 0 3 . 0 4 . 0 5 . 0 2 . 0 3 . 0 P ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? * * * * * * = 09 . 0 09 . 0 12 . 0 35 . 0 14 . 0 21 . 0 3 . 0 3 . 0 3 . 0 3 . 0 4 . 0 3 . 0 5 . 0 7 . 0 2 . 0 7 . 0 3 . 0 7 . 0 ) (XY P H(XY)= -0.21log0.21 –0.14log0.14 –0.35log0.35 –0.12log0.12 –0.09log0.09–0.09log0.09 =2.3924 bit/符号 解:(1)先验熵: H(X)= -0.7log20.7 –0.3log20.3 = (-0.7lg0.7 –0.3lg0.3)/lg2 = 0.881 bit/符号 (2)联合熵: H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5 –0.12log0.4 –0.09log0.3–0.09log0.3 = 1.5114 bit/符号 (4)接收符号熵:由∑==mijijyxpyp1)()(P(Y)=(0.21+0.12,0.14+0.09,0.35+0.09) = (0.33, 0.23, 0.44) H(Y)= -0.33log0.33 -0.23log0.23 -0.44log0.44 =1.5366 bit/符号 ? ? ? ? ? ? ? ? = 09 . 0 09 . 0 12 . 0 35 . 0 14 . 0 21 . 0 ) (XY P ? ? ? ? ? ? ? ? = 3 . 0 3 . 0 4 . 0 5 . 0 2 . 0 3 . 0 P 由和(3)噪声熵: H(X|Y)= -0.21log(7/11) - ……0.09log(9/44)=0.8558 bit/符号 或:H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558 bit/符号 (6)平均互信息: I(X;Y)=H(X)-H(X|Y)= 0.881 –0.8558=0.0252 bit/符号 ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? = 44 9 23 9 11 4 44 35 23 14 11 7 44 . 0 09 . 0 23 . 0 09 . 0 33 . 0 12 . 0 44 . 0 35 . 0 23 . 0 14 . 0 33 . 0 21 . 0 ) | ( Y X P ) ( ) ( ) | ( j j i j i b p b a p y x p = ? ? ? ? ? ? ? ? = 09 . 0 09 . 0 12 . 0 35 . 0 14 . 0 21 . 0 ) (XY P (5)损失熵: 1.3.3 平均互信息的性质 1. 非负性 平均互信息不会是负值: I(X;Y)≥0 实际上,因为条件熵不大于无条件熵: H(X)≥H(X|Y) 必然有:I (X;Y)=H(X)-H(X|Y) ≥0 表明通信总可以获得一些信息,至少是零信 息,不会是负信息. ? 值得注意的是平均互信息作为互信息统计平均 值: I(X;Y) = E[ I(ai ; bj) ] 是恒为正的,但并不意味着每对互信息 I(ai ; bj) 也都恒为正值.对于具体问题中指定的一对ai 和bj ,为正为负都有可能. ? 但只要统计平均值为正,就能保证通信总能获 得非负的净信息. 2. 有界性 根据定义式 I(X;Y)=H(X)-H(X|Y) 和H(X|Y) 的非负性即可证明: I(X;Y)≤H(X) 表明平均互信息是有界的,最大不会超过信源熵. 这也提示我们,不要奢望获取多于信源所能提供的 净信息量. 3. 对称性 I(X ; Y)=I(Y ; X) 证明如下: ) ( ) ( ) ( ) ( ) ( ) | ( ) ( ) ( ) | ( ) ; ( j i j i i j j i j i j i j i b p a p b a p a p b p b a p b p a p b a p b a I = = = ) ; ( ) ( ) | ( ) ( ) ( ) | ( ) ( i j j i j j i i j i a b I b p a b p b p a p a b p a p = = = 所以 I(X;Y) = E[ I(ai ; bj) ]= E[ I(bj ; ai) ]= I(Y;X) ?对称性表明信道是可逆的. 4. 极值性 ∑∑ ∑∑ = = = = = = m i s j j i j i j i m i s j j i j j i b p a b p a b p a p b p a b p b a p Y X I 1 1 1 1 ) ( ) | ( log ) | ( ) ( ) ( ) | ( log ) ( ) ; ( 归根结底,平均互信息I(X;Y)是信源发信概率 p(ai )和信道传输概率p(bj|ai )的泛函,信源和信道 的统计性质共同决定了互信息的大小. ∑ ∑ = = = = m i i j i m i j i j a b p a p b a p b p 1 1 ) | ( ) ( ) ( ) ( 式中: 定理1:当信道给定时,平均互信息仅由信源性质 决定,总存在一个信源能使互信息取极大值; 信源是信息的提供者,对互信息作正贡献. 能使信宿得到最大净信息的信源是最佳匹配信源. 定理2:当信源给定时,平均互信息仅由信道性质 决定,总存在一个信道能使互信息取极小值. 信道是信息被损失与受干扰的地方,对互信 息起负贡献.能使信宿得到最小净信息的信道是最 差不匹配信道. [例3] 无记忆信源发出0和1两符号的概率分别为ω 和1-ω,信道为二元对称信道,错传概率为p;验 证极值性. ?解:已知信源概率矢量p(X)=(ω, 1-ω) 信道传输矩阵: ? ? ? ? ? ? ? ? ? ? = p p p p X Y P 1 1 ) | ( ? ? ? ? ? ? ? ? ? ? ? ? = ) 1 )( 1 ( ) 1 ( ) 1 ( ) ( ω ω ω ω p p p p XY P 于是联合概率矩阵: 接收符号概率: p(Y)={(1-p)ω+p(1-ω) , pω+(1-p)(1-ω)} 平均互信息: I(X;Y)=H(Y)-H(Y|X) H(Y) = - [(1-p)ω+p(1-ω)] log[(1-p)ω+p(1-ω)] -[pω+(1-p)(1-ω)] log[pω+(1-p)(1-ω)] H(Y|X)= -(1-p) ω· log(1-p)-p(1-ω)·log p -pω·log p-(1-p)(1-ω)·log(1-p) ?代入整理化简得:I(X;Y)=H(w)- H(p) ?式中:H(p)= -plogp–(1-p)log(1-p) H(w)= -wlogw–(1-w)log(1-w) w= (1-p)ω+p(1-ω) I (X;Y) =I(ω) 1 p=0 ω 0 0.5 1.0 p=0.2 p=0.4 信道p给定时,平均互 信息随信源概率ω的变 化情况: 信源ω给定时,平均 互信息随信道传输概率 p的变化情况: 1 ω=0.5 ω=0.3 ω=0.1 p 0 0.5 1.0 I(X;Y) =I (p) 1.3.4 信道容量 1. 传码率与传信率 传码率RB:每秒信道所传输的码元数.单位是波 特(B),所以传码率也叫波特率.一般说来信道所传 输的码元就是信源所发出的码元,传码率=发码率. 发信率Rb:每秒信源所发送的信息数.单位叫比 特/秒(b/s),所以发信率也叫比特率,Rb=RB·H(X) . 传信率Rt:每秒信道所传输的净信息数.单位也 是比特/秒(b/s),Rt =RB·I(X;Y). 2. 信道容量的定义 ? 对于给定的信道,传信率最大可达到多大呢? ?由上节定理1知,I(X;Y)存在一个极大值,这就是 该信道所能达到的最大传信率. ) ; ( } ) ( { Y X I Max C x p = ?定义 叫做信道容量,它反映给定信道在通信中平均 每符号所能传递的最大净信息量. ?有时,也把单位时间的最大传信率定义为信道容 量,记做 Ct =C RB; 如何找到这个极大值?由定理1知,给定信道传输 概率后,平均互信息只是信源概率的函数,通过改 变信源概率,来寻找能使平均互信息取极大的那个 信源,然后就能求出该极大值. 信道容量的大小,是给定信道的属性,完全由信道 本身的性质决定. 不要因为是通过寻找最佳信源的方法来求信道容量 的就无认为信道容量是与信源有关.信道给定,信 道容量就给定了. 不论你用什么方法去寻找它,甚 至你不去寻找,它也是存在的. 3. 简单信道的信道容量 (1)无损信道: 因损失熵H(X|Y)=0,故互信息: I(X;Y)=H(X)-H(X|Y)=H(X); 其最大值出现在m个信源符号等概的情况下: C = max{I(X;Y)}= max{H(X)}=log m ; 等概信源是最佳信源. (2)无噪信道: 因噪声熵H(Y|X)=0,故: I(X;Y)=H(Y)-H(Y|X)=H(Y); 其最大值出现在S个输出符号等概的情况下: C = max{I(X;Y)}=max{H(Y)}=log S; ?须注意,信源发送符号等概未必保证输出符号 也等概,这里的最佳信源不一定是等概信源,而 是某个能使输出符号等概的信源. (3)对称信道: 设对称信道的传输矩阵某行元素为:p1 ,p2 ,…… , pS , 这里的pi是相应收、发符号的前向传输概率p(bj|ai).则该 行元素的平均不确定度为: H(p1,p2,……,pS)=-p1 log p1 -p2log p2……-pS log pS 既然对称信道的传输矩阵各行都是相同元素的重排, 那么H(p1,p2,……,pS)就是与行无关的常数,于是噪声 熵: ) , , , ( ) , , ( ) ( ) | ( log ) | ( ) ( ) | ( 2 1 2 1 1 1 1 2 s s m i i i m i s j j i j i p p p H p p p H a p a b p a b p a p X Y H L L = = ? = ∑ ∑ ∑ = = = 因此,对称信道的容量为: C =max{I(X;Y)}=max{H(Y)-H(Y|X)} =logS -H(p1, p2,……, pS); 解: C =log4-H(0.2,0.3,0.2,0.3) =2+2*(0.2log0.2+0.3log0.3)=0.03 bit/ 符号; ? ? ? ? ? ? ? ? = 2 . 0 3 . 0 2 . 0 3 . 0 3 . 0 2 . 0 3 . 0 2 . 0 P [例3]求对称信道 的信道容量 4. 信道容量的泛函求解方法 当m=s且传输矩阵非奇异时,利用拉格朗日乘 子法求解泛函极值,得到以下计算信道容量与最 佳信源的方法: ) | ( log ) | ( ) | ( 1 1 i j s j i j j s j i j a b p a b p a b p ∑ ∑ = = = β ? ? ? ? ? ? ? ? = 8 . 0 02 . 1 . 0 9 . 0 P 例如信道: 方程为: ? ? ? + = + + = + 8 . 0 log 8 . 0 2 . 0 log 2 . 0 8 . 0 2 . 0 1 . 0 log 1 . 0 9 . 0 log 9 . 0 1 . 0 9 . 0 2 1 2 1 β β β β ① 列方程: 求解得到:β1=-0.433;β2=-0.794; ②由公式 可求出信道容 量: ∑ = = s j j C 1 2 log β 例中信道容量:C=log(2-0.433+2-0.794)=0.398 ③ 接收符号概率: C j j b p ? = β 2 ) ( 例中 p(b1)=2-0.433-0.398 =0.562;同理p(b2)=0.438 ④由 列出关于p(ai)的方 程: ∑ = = m k k j k j a b p a p b p 1 ) | ( ) ( ) ( 解得最佳信源概率为:p(a1)=0.517;p(a2)=0.483 ? ? ? = + = + 438 . 0 ) ( 8 . 0 ) ( 1 . 0 562 . 0 ) ( 2 . 0 ) ( 9 . 0 2 1 2 1 a p a p a p a p 例中: 小结 ? 信道的描述: 信道传输概率,信道的分类. ? 信道有关是信息熵: 噪声熵,损失熵,信源符号熵,接收符号 熵,联合熵. ? 平均互信息: 定义,计算方法. ? 信道容量:定义,含义,计算. 课后复习题 ?思考题: 1.为什么说平均互信息是通信的净信 息? 2.如何理解信道容量? ?作业题: 教材第32页习题一第11、14、23题; 第1章 信息论基础 1.4 连续信源和波形信道 第16讲2007.12.4. 本节的主要内容 连续信源的数字化 连续信源的信息熵 波形信道 Shannon公式 教学目的与要求 1.正确理解连续信源的信息熵的定义. 2.掌握连续信源信息熵的特点及计算方 法. 3.掌握波形信道的特点及信道容量的定 义、性质. (难点) 4.深刻理解Shannon公式的概念和重要意 义. (重点) 计划学时:2学时 外语关键词: 随机过程:random process 抽样定理:sampling theorem 连续信源: continuous information source 波形信道: wave channel 香农公式:Shannon formula [温旧引新] 离散信源信息熵的定义: ∑ ∑ ∑ = = = ? = = = m i i i m i m i i i i p p i p p I p X H 1 1 1 log 1 log ) ( 离散信道平均互信息的定义: I (X;Y) = H(X)–H(X|Y)= H(Y) – H(Y|X) 离散信道信道容量的定义: ) ; ( } ) ( { Y X I Max C x p = 1.4.1 连续信源的信息熵 连续信号是应用极广的一类信号. 发送连续信号的信源叫连续信源. 传输连续信号的信道叫波形信道. 如何将离散信源与信道的信源熵的理论推广到 连续信号的有关问题中呢? 首先是连续信号信息熵定义问题. 通信中的连续信号是用随机过程来描述的. 随机过程有两个要素,一是时间,二是样本. 从头到尾地观测一次随机信号,则得到它的一个 样本函数xi(t),它随时间无规变化,并且每次观测 都不会相同.全体样本的集合构成随机过程.样本 函数是随机过程的一次实现. 每给定一个时间s,各个样本函数都会有一个不同 的取值,它们随机分布,其全体构成一个随机变量 Xs.随机变量是随机过程在给定时刻的抽样. 1. 连续信号的数学描述 连续信号通过抽样、量化两步变为离散信号. 抽样就是抽取随机过程在给定时刻的随机变量. 量化则是将随机变量离散化的过程. 为了将离散信号的信源熵的理论推广到连续信 号,也应当分两步来实现: (1)实现量化的逆过程:将离散随机变量的信息 熵推广到连续的随机变量; (2)实现抽样的逆过程:将某时刻的一个样本的 信息熵推广到等间隔的各个时刻. (1)从离散到连续的推广: ?高等数学定积分中曾多次用等份区间的方法,化 连续函数为分段不连续变量来求面积、弧长……, 当区间无穷小时,其极限便是相应的结果. ?现在用这个方法来计算连续信源的信息熵. ?设连续信号取值范围在[a,b]的有限区间,其概 率密度函数为p(x); ?将[a,b]均分为M个量化台阶,宽度?=(b-a)/M 2.连续信源的信息熵的定义 根据中值定理,在该台阶内总有一点xi能使: Pi= p(xi)·? ?于是离散分布的量化值的信息熵为: ∑ ∑ ∑ ∑ = = = = Δ Δ ? Δ ? = = Δ Δ ? = ? = M i M i i i i M i M i i i i i M x p x p x p x p x p P P X H 1 1 1 1 log ) ( ) ( log ) ( ] ) ( log[ ] ) ( [ log ) ( 样本落在第i个量化台阶的概率: ∫ Δ + Δ ? + = i a i a i dx x p P ) 1 ( ) ( 信息熵代表信源发信的不确定度,连续信源取值 无穷多,其信息熵无穷大是合理的. 求熵差时两个无穷大互相抵消,并不影响信息量 的大小 定义连续信源的相对熵为: ∫ ∞ ∞ ? ? = dx x p x p x h ) ( log ) ( ) ( 当M→∞时?→0,求和就变成了积分: ∫ ∞ + ? = = → Δ a a M dx x p x p X H x H ) ( log ) ( ) ( lim ) ( 0 (2)从单个样本到序列的推广: ?抽样定理指出,对于频率有限的连续信号,只要 抽样频率不小于信号最高频率F的两倍,就能无失 真地恢复原信号. ?如果信号存在的时间为T,那么抽样信号就是一 个具有N=2FT个样值的离散时间函数. ?从信息角度看,它就是长度为N的随机符号序 列. ?如果各个样值彼此无关,则序列的信息熵等于: ) ( ) ( x h N x h ? = r 如果各个样值相互关联(有记忆信源),则序列 的信息熵: ) ( ) ( x h N x h ? ≤ r [例1]一维连续信号x(t)在[a,b]取间均匀分布,其概 率密度函数为: ? ? ? ? ? ≤ ≤ > < = ? b x a b x a x x p a b 当和当10)(求相对熵和序列信息熵. 解: ∫ ∫ ? = ? ? = ? = ∞ ∞ ? b a a b dx a b a b dx x p x p x h ) log( ) log( 1 ) ( log ) ( ) ( ) log( 2 ) ( ) ( a b FT x h N x h ? = ? = r [例2]一维高斯分布的连续信号,其概率密度函数 为: ? ? ? ? ? ? ? ? ? ? = 2 2 2 ) ( exp 2 1 ) ( σ σ π m x x p 求相对熵和序列信息熵. 解:因emxxplog 2 ) ( ) 2 log( 2 1 ) ( log 2 2 2 σ πσ ? + = ? 利用 和∫∞∞?=1 ) ( dx x p ∫ = ? 2 2 ) ( ) ( σ dx x p m x ) 2 log( 2 1 ) ( log ) ( ) ( 2 σ π e dx x p x p X h ∫ ∞ ∞ ? = ? = ) 2 log( 2 ) ( 2 σ π e N X h = → 1、峰值功率受限条件下的信源最大熵: 峰值功率受限等价于信号幅度(即随机变量的 取值)受限. 可以证明:若输出波幅度限定在[a, b]之内,则均匀分布的连续信源具有最大熵,熵值为hmax(X)=log (b-a); 进而推知,当随机向量幅度受限时,只有各分 量统计独立且均匀分布时,信源具有最大熵. 1.4.2 具有最大熵的连续信源 2、平均功率受限条件下的信源最大 熵: 对均值为零的信号而言,平均功率受限等价于 方差受限. 可以证明:当输出波方差为有限值时,正态分 布的连续信源具有最大熵,熵值为; ) 2 ( log 2 1 ) ( 2 max σ π e X h = 均值为零时,方差σ2就等于平均功率P,所以这 个最大熵又可写为: ) 2 ( log 2 1 ) ( max eP X h π = 3、熵功率: 高斯白噪声是均值为零、平均功率为n0/2的正态 随机过程,它具有最大熵: ) ( log 2 1 ) ( 0 max en X h π = 其它分布方式的连续信源,若平均功率相同,熵 值必小于此值. 反之,在相同熵值的条件下高斯信源应具有最小 的平均功率; e P h π 2 22 0 = 其它分布形式的信源,若熵值也等于h,则平均 功率一定大于P0 , P0是与该信源有相同熵值的 高斯信源的平均功率,叫做熵功率. 1.4.3 波形信道的信道容量 1、波形信道的互信息: ?原理: ? 把离散信道理论推广到波形信道,同样也经历 两步过渡: ? 第一步,从单符号离散信道过渡到传输单个连 续随机变量的基本连续信道; ? 第二步,从传输单个连续随机变量的基本连续 信道过渡到传输多个连续随机变量的多维连续 信道;当维数趋于无穷时,多维连续信道就回 到了波形信道. ?对于基本连续信道,需要讨论输入和输出两个 随机变量的X与Y的问题. ?仿照对连续信源信息熵的推广办法,不难推广 得到连续信道的联合熵、条件熵、以及互信息: ∫∫ ? = dxdy xy p xy p XY h ) ( log ) ( ) ( ∫∫ ? = dxdy x y p xy p X Y h ) | ( log ) ( ) | ( ∫∫ ? = dxdy y x p xy p Y X h ) | ( log ) ( ) | ( ?联合熵: ?噪声熵: ?损失熵: ?平均互信息: I(X;Y) = h(X) - h(X|Y) = h(Y)-h(Y|X)= h(X)+h(Y)- h(XY) ?推广到多维连续信道时,输入、输出的随机变量X 和Y过渡为随机向量X=(x1x2……xN)和Y=(y1y2……yN) ?联合熵、条件熵以及互信息过渡为: ∫∫ ? = y d x d y x p y x p Y X h r r r r r r r r ) ( log ) ( ) ( ∫∫ ? = y d x d x y p y x p X Y h r r r r r r r r ) | ( log ) ( ) | ( ∫∫ ? = y d x d y x p y x p Y X h v v v v v v v v ) | ( log ) ( ) | ( ?联合熵: ?噪声熵: ?损失熵: ?平均互信息: ) ( ) ( ) ( ) | ( ) ( ) | ( ) ( ) ; ( Y X h Y h X h X Y h Y h Y X h X h Y X I v v v v v v v v v v v v ? + = ? = ? = 2、波形信道的信道容量: 先考虑传输单个随机变量的高斯加性信道.输入、输出信道的随机变量为X和Y,高斯信道指 混入信道中的噪声的概率密度分布呈高斯型,加 性信道指噪声n与输入变量X的关系是统计无关 的相加关系:Y = X + n 因联合概率密度:p(xy)=p(xn)=p(x)p(n) 故信道传输概率:p(y|x)=p(xy)/p(x)=p(n) ∫∫ ∫ ? = ? = dn n p n p dxdy x y p xy p X Y h ) ( log ) ( ) | ( log ) ( ) | ( 互信息:I(X;Y)=h(Y)-h(Y|X)= h(Y)- h(n) 信道容量: C = max [h(Y)- h(n)] 实际通信系统中,大量存在的热噪声和环境噪 声都具有高斯白噪声的特点,设它的平均功率 为Pn,则; 另一方面,在平均功率为有限值时,h(Y)的最大值 应出现在Y的均值为零且为高斯分布的的情况下, 于是,平均功率受限的高斯加性信道的信道容量为 ) 2 log( 2 1 ) 2 log( 2 1 ) ( 2 n P e e n h π σ π = = n Y n Y P P P e P e C log 2 1 ) 2 log( 2 1 ) 2 log( 2 1 = ? = π π 习惯上,用发送端信号功率来写公式,由222nXYσσσ+=)1(log 2 1 n X P P C + = ) 1 ( log 2 1 n X P P N C + = 得到:PY=PX+ Pn; 推广到多维无记忆高斯加性连续信道,当各 抽样值(i=1,2, ……,N )方差都相同时 所以 1.4.4 香农公式及其意义 当抽样频率为2F时,注意N=2FT就有: C= FT log (1+ PX /Pn ) 香农公式,适用于高斯加性信道.但是它也可 作为非高斯加性信道的信道容量上限值. 一般认为,最高频率就是带宽,取单位时间的 最大净信息为信道容量,香农公式也常写为: C= B log(1+ PX /Pn ) 由公式可见,信道容量的大小与带宽B和信噪 比PX /Pn 有关,它随着带宽的增大和信噪比的 增大而变大. 但是因为噪声功率Pn =n0B,式中n0为噪声的功 率谱密度,所以随着带宽的增大,噪声功率会 变大,信噪比随之减小,又会使信道容量变 小. 综合起来分析,如果把香农公式写为: C= B log(1+ PX /n0B) ,并令x= PX /(n0 B), 则: x X X x n P x x n P C 1 0 0 ) 1 ( log ) 1 log( + = + = 当B→∞时,x→0,(1+x) 1/ x→e,于是: 0 0 4427 . 1 log n P e n P C Lim X X B = == ∞ → 随着带宽的增大,信道容量的增大会越来越慢, 最后不再改变,趋于一个理论极限值1.4427PX /n0 定义B0= PX /n0叫做临界带宽,由n0B0= PX知,临 界带宽B0的含义是噪声与信号功率相等时的带 宽.于是,无限带宽所对应的信道容量理论极限 值为临界带宽的1.4427 倍. 香农公式给出了带宽F、时间T、和信噪比PX /Pn 三者之间的制约关系. 对于给定的信道(即信道容量不变)的情况下, 可以牺牲一些通信效率,用扩展带宽(如CDMA) 或延长时间(如积累法接收弱信号)的办法赢得 信噪比(通信的质量)的改善; 也可以牺牲一些信噪比来换取更高的信道传输 率.(如IP电话以及可视电话) 香农公式的意义 [例3]某图片含2.25*106 个像素,采用12级量化电 平传输.假定各电平等概出现,信道中信噪比为 30dB,若要求3分钟完成传输,需要多大的带宽? 解: 传信率: C s bit R ≤ * = * * * = / 10 48 . 4 60 3 12 log 10 25 . 2 4 6 信噪比: 10 log(Px/Pn)=30dB;即Px/Pn =103 根据香农公式: kHz P P C B n x 49 . 4 1001 log 10 48 . 4 ) 1 ( log 2 4 2 = * = + = [例4]某通信系统采用调制指数β=5的调频方式发送时,接 收端信噪比为20dB;如果信道不变,采用单边带调制,理 论上接收端信噪比应为多少分贝才能使通信质量保持不变? 解:用脚标1表示调频,脚标2表示调幅.应有: B1log2(1+S1/N1)= B2log2(1+S2/N2) 换底: B1lg(1+S1/N1)= B2lg (1+S2/N2) 在信噪比比1大很多时:B1lg(S1/N1)= B2lg (S2/N2) 现在 B1=2(β+1)Bm = 2(β+1) B2 =12 B2 所以 lg (S2/N2)=12 lg(S1/N1) 即: (S2/N2)dB= 12 (S1/N1)dB =240dB 香农公式在C=常数条件下给出的是出了带宽B与 信噪比PX /Pn的等效搭配关系:较大的带宽搭配 较小的信噪比与较大的带宽搭配较小的信噪比均 能得到同样的信道容量,达到相同的通信效果. 决不要以为这个公式给出的是带宽B与信噪比PX /Pn之间的因果关系:误认为当带宽较大时信噪 就会比较小,尤其是不能得出"较大的带宽得到 了较小的输出信噪比"这样的错误结论. 小结 ?连续信源信息熵的定义: ?波形信道有关的信息熵: 联合熵,噪声熵,损失熵,平均互信息 ?波形信道的信道容量 ?香农公式极其意义 ∫ ∞ ∞ ? ? = dx x p x p x h ) ( log ) ( ) ( 课后复习题 ?思考题: 1.如何理解连续信源信息熵无穷? 2.举例说明香农公式对通信的指导意义. ?作业题: 教材第32页习题一第17、20题;
下载该文档
文档格式：PDF
更新时间：2014-08-27
下载次数：0
点击次数：1
第1章 信息论基础 1.3 离散信道 第8讲2007.10.18. 本节的主要内容 信道的数学模型 信道有关的信息熵 平均互信息 信道容量 教学目的与要求 1. 掌握离散信道的数学模型及其分类. 2.熟练掌握与信道有关的各种信息熵的定 义及计算方法. 3.掌握平均互信息的定义、性质及计算方 法.(重点) 4.深刻理解信道容量的概念(难点),掌握 对称信道容量的计算方法. 计划学时:4学时 外语关键词: 信道: Channel 对称信道: Symmetric channel 传输矩阵: Transmit Matrix 噪声熵: Noise Entropy 损失熵: Loss Entropy 信道容量: Channel Capacity 联合熵: Joint Entropy 平均互信息: Average Mutual Information 参考文献 1.傅祖芸:信息论—基础理论与应用 电子工业出版社(2001年8月第一版) 2.傅祖芸:信息理论与与编码学习辅导及精选题解 电子工业出版社(2004年7月第一版) 3.吴伟陵:信息处理与编码 人民邮电出版社(1999年7月第一版) 4.曹雪虹:信息论与编码 北京邮电大学出版社 (2001年8月第一版) [温旧引新] 信息熵的定义: ∑ ∑ ∑ = = = ? = = = m i i i m i m i i i i p p i p p I p X H 1 1 1 log 1 log ) ( 通信系统的基本组成 信源 信道 信宿 发出信息 传输信息 接收信息 1.3.1 信道的数学描述 信道是信息的传输媒体.这里存在噪声干 扰,也包含通信设备对信号的作用,是通信 系统最为复杂的部分. 在讨论信道中的信息传输规律这个主要问 题时,对实际信道抽象出三个简化模型: . 1. 广义信道模型: 2. 符号映射模型: 3. 传输概率模型: (1)广义信道模型 把码型变换、调制与解调、复用与交换等信号 处理过程,统统概括在广义信道之中. 广义信道对于信源,就是代码序列的入口;对 信宿,是代码序列的出口;它只是一个不透明的 通道,所有的传输与处理过程都被屏蔽其中. 信源 信宿 代码序列X 代码序列Y (2)符号映射模型 信源发出的是序列X ,信宿收到的是代码Y . 代码序列X取自符号集合A={a1, a2,……, am } 代码序列Y出现的符号构成集合B={b1, b2,……, bs } 为了模型具有普遍性,假设两个集合不同,以便讨 论信道中由于噪声、损耗等因素造成误码. 通信不是实物的传递,不要求发a1收a1,只要X与Y 有一定的对应关系,即可传输信息. (3)传输概率模型 当进入广义信道的符号为ai 时,由于噪声与损耗, 从广义信道出来的符号有可能是集合B 中的任意一 个,其中是 bj的概率为 pij=p(bj|ai),叫前向概率. 由于 i=1, 2, ……, m; j=1, 2, ……, s;所以上述条件 概率共有ms个. 将它们排列成矩阵,叫做信道传输矩阵. ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ms m m s s p p p p p p p p p P L L L L L L L L L L L 2 1 2 22 21 1 12 11 信道的基本类型 根据三个简化模型,把信道分为以下类型: (1)无噪无损信道: ai ? bj 是一一对应的, pij=p(bj|ai)= 传输矩阵为单位方阵: ? ? ? = ≠ j i j i 当当10??????????????=100010001LLLLLLPa1 b1 a2 b2 ………… am bs (2)有噪有损信道: ai ? bj 是多----多对应的, pij= p(bj|ai) ≠ δij 传输矩阵为m*s矩阵. a1 b1 a2 b2 …… …… am bs 二元对称信道(BSC) 二元删除信道(BEC) ? ? ? ? ? ? ? ? ? ? = p p p p P 1 1 ? ? ? ? ? ? ? ? ? ? = q q p p P 1 0 0 1 其中两个典型实例是: a1 b1 b3 a2 b2 1-p 1-q p q a1 b1 a2 b2 1-p 1-p p p (3)有噪无损信道与无噪有损信道: ?噪声与损耗都会造成误码,原因很难区分,而且往往综合 发生作用.但是作为数学模型把二者加以区分,可以简化 问题,有利于梳理概念. ?假设噪声是加性的,作用只是增加接收符号的不确定性, 让原来的一个接收符号对应一组(多个)接收符号,而不会改 变原来的发送符号.我们把这种分组一多对应关系称之为 "弥散". ?假设损耗是减性的,它只会使若干发送符号因为损失了信 息而变得模糊难辨,而不会创生出新的接收符号.其结果 是让一组发送符号对应一个接收符号,我们把这种分组多 一对应关系称之为"归并". 有噪无损信道是只存在弥散不存在归并的传输 过程,其结果只能是分组一多对应. b1 a1 b2 b3 a2 b4 b5 a3 b6 ? ? ? ? ? ? ? ? ? ? = 36 25 24 13 12 11 0 0 0 0 0 0 0 0 0 0 0 0 p p p p p p P 有损无噪信道是只存在归并不存在弥散的传输 过程,其结果只能是分组多一对应. a1 a2 b1 a3 a4 b2 a5 a6 b3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 63 43 42 31 21 11 p p p p p p P (4)对称信道: 如果传输矩阵各行各列都是一些相同元素的 重排,则成为对称矩阵.如: 如果仅行是重排或仅列是重排,则只能算是 准对称矩阵.如: ? ? ? ? ? ? ? ? = 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3 1 P ? ? ? ? ? ? ? ? ? ? ? ? = 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 P ? ? 4 . 0 6 . 0 ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ε ε ε ε ε ε 2 1 2 1 p p p p P ? ? ? ? ? ? ? ? = 6 . 0 4 . 0 5 . 0 5 . 0 P 1.3.2 信息在信道中的传输特性 1. 通信过程所涉及的各种概率 ?信源符号概率(先验概率):p(ai) i=1, 2, ……m ?信道传输概率(前向概率): p(bj|ai) j=1, 2, ……s ?联合概率: p(ai bj) = p(ai)·p(bj|ai) ?接收符号概率: p(bj) = ∑ p(ai bj) ?后验概率: p(ai | bj) = p(ai bj) / p(bj) i =1 m 条件概率:P(A|B), P(B|A) 联合概率:P(AB)=P(A)P(B|A) 或:P(AB)=P(B)p(A|B) 归一化条件: ΣA P(A)=1; ΣA P(A|B)=1; ΣAP(AB)= P(B) ; ΣBP(AB)= P(A) ; ΣA ΣB P(AB)=1; ? 贝叶斯公式: 有关数学知识 ∑ ∑ = = = A A A B P A P A B P A P AB P A B P A P B P AB P B A P ) | ( ) ( ) | ( ) ( ) ( ) | ( ) ( ) ( ) ( ) | ( 2. 通信过程所涉及的各种信息熵 每种概率都反映一个方面的不确定性,用(-log p) 将其表达为自信息,再求出统计平均,就是该方面 的信息熵. (1)信源熵 (先验熵): 它是信源符号概率的统计平均值,代表信源 发出符号的平均不确定度. ∑ = ? = m i i i a p a p X H 1 ) ) ( log ( ) ( 它是前向传输概率的统计平均值,反映了信道中噪声的 有无与大小.理由如下: ?只要是无噪,就不会有"弥散"发生.不论是无损无噪信道 还是有损无噪信道,pij= p(bj|ai)都是非1即0(同一分组为1, 不同分组为0),必然使H(Y|X)=0; ?若噪声存在,则有"弥散"发生,pij必为小数,使H(Y|X) ≠ 0; ?噪声越强,"弥散"越严重,pij就越小,H(Y|X)越大 ) | ( log ) ( ) | ( 1 1 i j m i s j j i a b p b a p X Y H ∑∑ = = ? = (2)噪声熵 (散布度): 它是联合概率的统计平均值,代表每发送并 接收一个符号(无论正确还是误码)的平均不确 定程度. (4)接收符号熵: 它是接收符号概率的统计平均值,代表信宿 接收一个符号的平均不确定程度. ) ( log ) ( ) ( 1 1 j i m i s j j i b a p b a p XY H ∑∑ = = ? = (3)联合熵: ∑ = ? = m i j j b p b p Y H 1 ) ) ( log ( ) ( 它是后验概率的统计平均值,代表信道中损失掉的平均不 确定程度,它反映了损失的有无与大小.理由如下: ?只要是无损,不论是无噪无损还是有噪无损信道,都不会 有"归并"发生,从接收符号能唯一指认所发符号,其后验概 率p(ai|bj|) 非1即0(同一分组为1,不同分组为0),必然使 H(X|Y)=0; ?若损失存在,后验概率则为小数,使H(X|Y) ≠ 0; ?损失越多,"归并"越严重,后验概率就越小,H(X|Y)越大. ) | ( log ) ( ) | ( 1 1 j i m i s j j i b a p b a p Y X H ∑∑ = = ? = (5)损失熵(后验熵): 3. 平均互信息 ?系统完成收发一个符号的通信过程后,关于符号ai 的不确定度的变化为: ∑∑ = = = = m i s j i j i j i j i a p b a p b a p b a I E Y X I 1 1 ) ( ) | ( log ) ( )] ; ( [ ) ; ( ) ( ) | ( log )] | ( log [ )] ( log [ ) ; ( i j i j i i j i a p b a p b a p a p b a I = ? ? ? = 式中p(ai|bj)是收到符号bj后,关于发送符号为ai的后 验概率. ?统计平均而言,平均每收发一对符号信宿所获得的 信息量为: 利用信源熵与损失熵的定义,可推知:I(X;Y) = H(X) – H(X|Y) I (X;Y)叫做平均互信息.代表系统完成收发一个 符号的通信过程后,所消除掉的平均不确定度,即 信宿从每个符号中平均所获得的信息量,是扣除了 损失之后的净信息量. 从概念上讲,信息熵与信息量是不同的,信息熵 代表平均不确定度,它是一个相对量.信息量是两 熵之差,反映通信后中不确定度的变化,它是一个 绝对量. 4. 各种信息熵及平均互信息之间的关系 利用:p(ai bj) = p(ai ) p(bj|ai ) = p(bj ) p(ai|bj ) 有: log p(ai bj) = log p(ai ) +log p(bj|ai ) = log p(bj ) +log p(ai|bj ), 两边求统计平均则不难得到: H(XY) = H(X) + H(Y|X) = H(Y) + H(X|Y) 移项:I (X;Y) = H(X) – H(X|Y) = H(Y) – H(Y|X) 两式相加可得: I (X;Y) = H(X) +H(Y) –H(XY) H(X|Y) I (X;Y) H(Y|X) 损失熵 平均互信息 噪声熵 H(XY) H(X) H(Y) 信源熵 接收符号熵 下图示出信源熵、接收符号熵、损失熵、噪声熵 以及平均互信息之间的关系: 从信源熵中扣除损失熵,或从接收符号熵中扣除 噪声熵,都会得到平均互信息. [例2]已知信源先验概率p(x)={0.7,0.3},信道传输 矩阵 ;试计算各信息熵和互信息. ? ? ? ? ? ? ? ? = 3 . 0 3 . 0 4 . 0 5 . 0 2 . 0 3 . 0 P ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? * * * * * * = 09 . 0 09 . 0 12 . 0 35 . 0 14 . 0 21 . 0 3 . 0 3 . 0 3 . 0 3 . 0 4 . 0 3 . 0 5 . 0 7 . 0 2 . 0 7 . 0 3 . 0 7 . 0 ) (XY P H(XY)= -0.21log0.21 –0.14log0.14 –0.35log0.35 –0.12log0.12 –0.09log0.09–0.09log0.09 =2.3924 bit/符号 解:(1)先验熵: H(X)= -0.7log20.7 –0.3log20.3 = (-0.7lg0.7 –0.3lg0.3)/lg2 = 0.881 bit/符号 (2)联合熵: H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5 –0.12log0.4 –0.09log0.3–0.09log0.3 = 1.5114 bit/符号 (4)接收符号熵:由∑==mijijyxpyp1)()(P(Y)=(0.21+0.12,0.14+0.09,0.35+0.09) = (0.33, 0.23, 0.44) H(Y)= -0.33log0.33 -0.23log0.23 -0.44log0.44 =1.5366 bit/符号 ? ? ? ? ? ? ? ? = 09 . 0 09 . 0 12 . 0 35 . 0 14 . 0 21 . 0 ) (XY P ? ? ? ? ? ? ? ? = 3 . 0 3 . 0 4 . 0 5 . 0 2 . 0 3 . 0 P 由和(3)噪声熵: H(X|Y)= -0.21log(7/11) - ……0.09log(9/44)=0.8558 bit/符号 或:H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558 bit/符号 (6)平均互信息: I(X;Y)=H(X)-H(X|Y)= 0.881 –0.8558=0.0252 bit/符号 ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? = 44 9 23 9 11 4 44 35 23 14 11 7 44 . 0 09 . 0 23 . 0 09 . 0 33 . 0 12 . 0 44 . 0 35 . 0 23 . 0 14 . 0 33 . 0 21 . 0 ) | ( Y X P ) ( ) ( ) | ( j j i j i b p b a p y x p = ? ? ? ? ? ? ? ? = 09 . 0 09 . 0 12 . 0 35 . 0 14 . 0 21 . 0 ) (XY P (5)损失熵: 1.3.3 平均互信息的性质 1. 非负性 平均互信息不会是负值: I(X;Y)≥0 实际上,因为条件熵不大于无条件熵: H(X)≥H(X|Y) 必然有:I (X;Y)=H(X)-H(X|Y) ≥0 表明通信总可以获得一些信息,至少是零信 息,不会是负信息. ? 值得注意的是平均互信息作为互信息统计平均 值: I(X;Y) = E[ I(ai ; bj) ] 是恒为正的,但并不意味着每对互信息 I(ai ; bj) 也都恒为正值.对于具体问题中指定的一对ai 和bj ,为正为负都有可能. ? 但只要统计平均值为正,就能保证通信总能获 得非负的净信息. 2. 有界性 根据定义式 I(X;Y)=H(X)-H(X|Y) 和H(X|Y) 的非负性即可证明: I(X;Y)≤H(X) 表明平均互信息是有界的,最大不会超过信源熵. 这也提示我们,不要奢望获取多于信源所能提供的 净信息量. 3. 对称性 I(X ; Y)=I(Y ; X) 证明如下: ) ( ) ( ) ( ) ( ) ( ) | ( ) ( ) ( ) | ( ) ; ( j i j i i j j i j i j i j i b p a p b a p a p b p b a p b p a p b a p b a I = = = ) ; ( ) ( ) | ( ) ( ) ( ) | ( ) ( i j j i j j i i j i a b I b p a b p b p a p a b p a p = = = 所以 I(X;Y) = E[ I(ai ; bj) ]= E[ I(bj ; ai) ]= I(Y;X) ?对称性表明信道是可逆的. 4. 极值性 ∑∑ ∑∑ = = = = = = m i s j j i j i j i m i s j j i j j i b p a b p a b p a p b p a b p b a p Y X I 1 1 1 1 ) ( ) | ( log ) | ( ) ( ) ( ) | ( log ) ( ) ; ( 归根结底,平均互信息I(X;Y)是信源发信概率 p(ai )和信道传输概率p(bj|ai )的泛函,信源和信道 的统计性质共同决定了互信息的大小. ∑ ∑ = = = = m i i j i m i j i j a b p a p b a p b p 1 1 ) | ( ) ( ) ( ) ( 式中: 定理1:当信道给定时,平均互信息仅由信源性质 决定,总存在一个信源能使互信息取极大值; 信源是信息的提供者,对互信息作正贡献. 能使信宿得到最大净信息的信源是最佳匹配信源. 定理2:当信源给定时,平均互信息仅由信道性质 决定,总存在一个信道能使互信息取极小值. 信道是信息被损失与受干扰的地方,对互信 息起负贡献.能使信宿得到最小净信息的信道是最 差不匹配信道. [例3] 无记忆信源发出0和1两符号的概率分别为ω 和1-ω,信道为二元对称信道,错传概率为p;验 证极值性. ?解:已知信源概率矢量p(X)=(ω, 1-ω) 信道传输矩阵: ? ? ? ? ? ? ? ? ? ? = p p p p X Y P 1 1 ) | ( ? ? ? ? ? ? ? ? ? ? ? ? = ) 1 )( 1 ( ) 1 ( ) 1 ( ) ( ω ω ω ω p p p p XY P 于是联合概率矩阵: 接收符号概率: p(Y)={(1-p)ω+p(1-ω) , pω+(1-p)(1-ω)} 平均互信息: I(X;Y)=H(Y)-H(Y|X) H(Y) = - [(1-p)ω+p(1-ω)] log[(1-p)ω+p(1-ω)] -[pω+(1-p)(1-ω)] log[pω+(1-p)(1-ω)] H(Y|X)= -(1-p) ω· log(1-p)-p(1-ω)·log p -pω·log p-(1-p)(1-ω)·log(1-p) ?代入整理化简得:I(X;Y)=H(w)- H(p) ?式中:H(p)= -plogp–(1-p)log(1-p) H(w)= -wlogw–(1-w)log(1-w) w= (1-p)ω+p(1-ω) I (X;Y) =I(ω) 1 p=0 ω 0 0.5 1.0 p=0.2 p=0.4 信道p给定时,平均互 信息随信源概率ω的变 化情况: 信源ω给定时,平均 互信息随信道传输概率 p的变化情况: 1 ω=0.5 ω=0.3 ω=0.1 p 0 0.5 1.0 I(X;Y) =I (p) 1.3.4 信道容量 1. 传码率与传信率 传码率RB:每秒信道所传输的码元数.单位是波 特(B),所以传码率也叫波特率.一般说来信道所传 输的码元就是信源所发出的码元,传码率=发码率. 发信率Rb:每秒信源所发送的信息数.单位叫比 特/秒(b/s),所以发信率也叫比特率,Rb=RB·H(X) . 传信率Rt:每秒信道所传输的净信息数.单位也 是比特/秒(b/s),Rt =RB·I(X;Y). 2. 信道容量的定义 ? 对于给定的信道,传信率最大可达到多大呢? ?由上节定理1知,I(X;Y)存在一个极大值,这就是 该信道所能达到的最大传信率. ) ; ( } ) ( { Y X I Max C x p = ?定义 叫做信道容量,它反映给定信道在通信中平均 每符号所能传递的最大净信息量. ?有时,也把单位时间的最大传信率定义为信道容 量,记做 Ct =C RB; 如何找到这个极大值?由定理1知,给定信道传输 概率后,平均互信息只是信源概率的函数,通过改 变信源概率,来寻找能使平均互信息取极大的那个 信源,然后就能求出该极大值. 信道容量的大小,是给定信道的属性,完全由信道 本身的性质决定. 不要因为是通过寻找最佳信源的方法来求信道容量 的就无认为信道容量是与信源有关.信道给定,信 道容量就给定了. 不论你用什么方法去寻找它,甚 至你不去寻找,它也是存在的. 3. 简单信道的信道容量 (1)无损信道: 因损失熵H(X|Y)=0,故互信息: I(X;Y)=H(X)-H(X|Y)=H(X); 其最大值出现在m个信源符号等概的情况下: C = max{I(X;Y)}= max{H(X)}=log m ; 等概信源是最佳信源. (2)无噪信道: 因噪声熵H(Y|X)=0,故: I(X;Y)=H(Y)-H(Y|X)=H(Y); 其最大值出现在S个输出符号等概的情况下: C = max{I(X;Y)}=max{H(Y)}=log S; ?须注意,信源发送符号等概未必保证输出符号 也等概,这里的最佳信源不一定是等概信源,而 是某个能使输出符号等概的信源. (3)对称信道: 设对称信道的传输矩阵某行元素为:p1 ,p2 ,…… , pS , 这里的pi是相应收、发符号的前向传输概率p(bj|ai).则该 行元素的平均不确定度为: H(p1,p2,……,pS)=-p1 log p1 -p2log p2……-pS log pS 既然对称信道的传输矩阵各行都是相同元素的重排, 那么H(p1,p2,……,pS)就是与行无关的常数,于是噪声 熵: ) , , , ( ) , , ( ) ( ) | ( log ) | ( ) ( ) | ( 2 1 2 1 1 1 1 2 s s m i i i m i s j j i j i p p p H p p p H a p a b p a b p a p X Y H L L = = ? = ∑ ∑ ∑ = = = 因此,对称信道的容量为: C =max{I(X;Y)}=max{H(Y)-H(Y|X)} =logS -H(p1, p2,……, pS); 解: C =log4-H(0.2,0.3,0.2,0.3) =2+2*(0.2log0.2+0.3log0.3)=0.03 bit/ 符号; ? ? ? ? ? ? ? ? = 2 . 0 3 . 0 2 . 0 3 . 0 3 . 0 2 . 0 3 . 0 2 . 0 P [例3]求对称信道 的信道容量 4. 信道容量的泛函求解方法 当m=s且传输矩阵非奇异时,利用拉格朗日乘 子法求解泛函极值,得到以下计算信道容量与最 佳信源的方法: ) | ( log ) | ( ) | ( 1 1 i j s j i j j s j i j a b p a b p a b p ∑ ∑ = = = β ? ? ? ? ? ? ? ? = 8 . 0 02 . 1 . 0 9 . 0 P 例如信道: 方程为: ? ? ? + = + + = + 8 . 0 log 8 . 0 2 . 0 log 2 . 0 8 . 0 2 . 0 1 . 0 log 1 . 0 9 . 0 log 9 . 0 1 . 0 9 . 0 2 1 2 1 β β β β ① 列方程: 求解得到:β1=-0.433;β2=-0.794; ②由公式 可求出信道容 量: ∑ = = s j j C 1 2 log β 例中信道容量:C=log(2-0.433+2-0.794)=0.398 ③ 接收符号概率: C j j b p ? = β 2 ) ( 例中 p(b1)=2-0.433-0.398 =0.562;同理p(b2)=0.438 ④由 列出关于p(ai)的方 程: ∑ = = m k k j k j a b p a p b p 1 ) | ( ) ( ) ( 解得最佳信源概率为:p(a1)=0.517;p(a2)=0.483 ? ? ? = + = + 438 . 0 ) ( 8 . 0 ) ( 1 . 0 562 . 0 ) ( 2 . 0 ) ( 9 . 0 2 1 2 1 a p a p a p a p 例中: 小结 ? 信道的描述: 信道传输概率,信道的分类. ? 信道有关是信息熵: 噪声熵,损失熵,信源符号熵,接收符号 熵,联合熵. ? 平均互信息: 定义,计算方法. ? 信道容量:定义,含义,计算. 课后复习题 ?思考题: 1.为什么说平均互信息是通信的净信 息? 2.如何理解信道容量? ?作业题: 教材第32页习题一第11、14、23题; 第1章 信息论基础 1.4 连续信源和波形信道 第16讲2007.12.4. 本节的主要内容 连续信源的数字化 连续信源的信息熵 波形信道 Shannon公式 教学目的与要求 1.正确理解连续信源的信息熵的定义. 2.掌握连续信源信息熵的特点及计算方 法. 3.掌握波形信道的特点及信道容量的定 义、性质. (难点) 4.深刻理解Shannon公式的概念和重要意 义. (重点) 计划学时:2学时 外语关键词: 随机过程:random process 抽样定理:sampling theorem 连续信源: continuous information source 波形信道: wave channel 香农公式:Shannon formula [温旧引新] 离散信源信息熵的定义: ∑ ∑ ∑ = = = ? = = = m i i i m i m i i i i p p i p p I p X H 1 1 1 log 1 log ) ( 离散信道平均互信息的定义: I (X;Y) = H(X)–H(X|Y)= H(Y) – H(Y|X) 离散信道信道容量的定义: ) ; ( } ) ( { Y X I Max C x p = 1.4.1 连续信源的信息熵 连续信号是应用极广的一类信号. 发送连续信号的信源叫连续信源. 传输连续信号的信道叫波形信道. 如何将离散信源与信道的信源熵的理论推广到 连续信号的有关问题中呢? 首先是连续信号信息熵定义问题. 通信中的连续信号是用随机过程来描述的. 随机过程有两个要素,一是时间,二是样本. 从头到尾地观测一次随机信号,则得到它的一个 样本函数xi(t),它随时间无规变化,并且每次观测 都不会相同.全体样本的集合构成随机过程.样本 函数是随机过程的一次实现. 每给定一个时间s,各个样本函数都会有一个不同 的取值,它们随机分布,其全体构成一个随机变量 Xs.随机变量是随机过程在给定时刻的抽样. 1. 连续信号的数学描述 连续信号通过抽样、量化两步变为离散信号. 抽样就是抽取随机过程在给定时刻的随机变量. 量化则是将随机变量离散化的过程. 为了将离散信号的信源熵的理论推广到连续信 号,也应当分两步来实现: (1)实现量化的逆过程:将离散随机变量的信息 熵推广到连续的随机变量; (2)实现抽样的逆过程:将某时刻的一个样本的 信息熵推广到等间隔的各个时刻. (1)从离散到连续的推广: ?高等数学定积分中曾多次用等份区间的方法,化 连续函数为分段不连续变量来求面积、弧长……, 当区间无穷小时,其极限便是相应的结果. ?现在用这个方法来计算连续信源的信息熵. ?设连续信号取值范围在[a,b]的有限区间,其概 率密度函数为p(x); ?将[a,b]均分为M个量化台阶,宽度?=(b-a)/M 2.连续信源的信息熵的定义 根据中值定理,在该台阶内总有一点xi能使: Pi= p(xi)·? ?于是离散分布的量化值的信息熵为: ∑ ∑ ∑ ∑ = = = = Δ Δ ? Δ ? = = Δ Δ ? = ? = M i M i i i i M i M i i i i i M x p x p x p x p x p P P X H 1 1 1 1 log ) ( ) ( log ) ( ] ) ( log[ ] ) ( [ log ) ( 样本落在第i个量化台阶的概率: ∫ Δ + Δ ? + = i a i a i dx x p P ) 1 ( ) ( 信息熵代表信源发信的不确定度,连续信源取值 无穷多,其信息熵无穷大是合理的. 求熵差时两个无穷大互相抵消,并不影响信息量 的大小 定义连续信源的相对熵为: ∫ ∞ ∞ ? ? = dx x p x p x h ) ( log ) ( ) ( 当M→∞时?→0,求和就变成了积分: ∫ ∞ + ? = = → Δ a a M dx x p x p X H x H ) ( log ) ( ) ( lim ) ( 0 (2)从单个样本到序列的推广: ?抽样定理指出,对于频率有限的连续信号,只要 抽样频率不小于信号最高频率F的两倍,就能无失 真地恢复原信号. ?如果信号存在的时间为T,那么抽样信号就是一 个具有N=2FT个样值的离散时间函数. ?从信息角度看,它就是长度为N的随机符号序 列. ?如果各个样值彼此无关,则序列的信息熵等于: ) ( ) ( x h N x h ? = r 如果各个样值相互关联(有记忆信源),则序列 的信息熵: ) ( ) ( x h N x h ? ≤ r [例1]一维连续信号x(t)在[a,b]取间均匀分布,其概 率密度函数为: ? ? ? ? ? ≤ ≤ > < = ? b x a b x a x x p a b 当和当10)(求相对熵和序列信息熵. 解: ∫ ∫ ? = ? ? = ? = ∞ ∞ ? b a a b dx a b a b dx x p x p x h ) log( ) log( 1 ) ( log ) ( ) ( ) log( 2 ) ( ) ( a b FT x h N x h ? = ? = r [例2]一维高斯分布的连续信号,其概率密度函数 为: ? ? ? ? ? ? ? ? ? ? = 2 2 2 ) ( exp 2 1 ) ( σ σ π m x x p 求相对熵和序列信息熵. 解:因emxxplog 2 ) ( ) 2 log( 2 1 ) ( log 2 2 2 σ πσ ? + = ? 利用 和∫∞∞?=1 ) ( dx x p ∫ = ? 2 2 ) ( ) ( σ dx x p m x ) 2 log( 2 1 ) ( log ) ( ) ( 2 σ π e dx x p x p X h ∫ ∞ ∞ ? = ? = ) 2 log( 2 ) ( 2 σ π e N X h = → 1、峰值功率受限条件下的信源最大熵: 峰值功率受限等价于信号幅度(即随机变量的 取值)受限. 可以证明:若输出波幅度限定在[a, b]之内,则均匀分布的连续信源具有最大熵,熵值为hmax(X)=log (b-a); 进而推知,当随机向量幅度受限时,只有各分 量统计独立且均匀分布时,信源具有最大熵. 1.4.2 具有最大熵的连续信源 2、平均功率受限条件下的信源最大 熵: 对均值为零的信号而言,平均功率受限等价于 方差受限. 可以证明:当输出波方差为有限值时,正态分 布的连续信源具有最大熵,熵值为; ) 2 ( log 2 1 ) ( 2 max σ π e X h = 均值为零时,方差σ2就等于平均功率P,所以这 个最大熵又可写为: ) 2 ( log 2 1 ) ( max eP X h π = 3、熵功率: 高斯白噪声是均值为零、平均功率为n0/2的正态 随机过程,它具有最大熵: ) ( log 2 1 ) ( 0 max en X h π = 其它分布方式的连续信源,若平均功率相同,熵 值必小于此值. 反之,在相同熵值的条件下高斯信源应具有最小 的平均功率; e P h π 2 22 0 = 其它分布形式的信源,若熵值也等于h,则平均 功率一定大于P0 , P0是与该信源有相同熵值的 高斯信源的平均功率,叫做熵功率. 1.4.3 波形信道的信道容量 1、波形信道的互信息: ?原理: ? 把离散信道理论推广到波形信道,同样也经历 两步过渡: ? 第一步,从单符号离散信道过渡到传输单个连 续随机变量的基本连续信道; ? 第二步,从传输单个连续随机变量的基本连续 信道过渡到传输多个连续随机变量的多维连续 信道;当维数趋于无穷时,多维连续信道就回 到了波形信道. ?对于基本连续信道,需要讨论输入和输出两个 随机变量的X与Y的问题. ?仿照对连续信源信息熵的推广办法,不难推广 得到连续信道的联合熵、条件熵、以及互信息: ∫∫ ? = dxdy xy p xy p XY h ) ( log ) ( ) ( ∫∫ ? = dxdy x y p xy p X Y h ) | ( log ) ( ) | ( ∫∫ ? = dxdy y x p xy p Y X h ) | ( log ) ( ) | ( ?联合熵: ?噪声熵: ?损失熵: ?平均互信息: I(X;Y) = h(X) - h(X|Y) = h(Y)-h(Y|X)= h(X)+h(Y)- h(XY) ?推广到多维连续信道时,输入、输出的随机变量X 和Y过渡为随机向量X=(x1x2……xN)和Y=(y1y2……yN) ?联合熵、条件熵以及互信息过渡为: ∫∫ ? = y d x d y x p y x p Y X h r r r r r r r r ) ( log ) ( ) ( ∫∫ ? = y d x d x y p y x p X Y h r r r r r r r r ) | ( log ) ( ) | ( ∫∫ ? = y d x d y x p y x p Y X h v v v v v v v v ) | ( log ) ( ) | ( ?联合熵: ?噪声熵: ?损失熵: ?平均互信息: ) ( ) ( ) ( ) | ( ) ( ) | ( ) ( ) ; ( Y X h Y h X h X Y h Y h Y X h X h Y X I v v v v v v v v v v v v ? + = ? = ? = 2、波形信道的信道容量: 先考虑传输单个随机变量的高斯加性信道.输入、输出信道的随机变量为X和Y,高斯信道指 混入信道中的噪声的概率密度分布呈高斯型,加 性信道指噪声n与输入变量X的关系是统计无关 的相加关系:Y = X + n 因联合概率密度:p(xy)=p(xn)=p(x)p(n) 故信道传输概率:p(y|x)=p(xy)/p(x)=p(n) ∫∫ ∫ ? = ? = dn n p n p dxdy x y p xy p X Y h ) ( log ) ( ) | ( log ) ( ) | ( 互信息:I(X;Y)=h(Y)-h(Y|X)= h(Y)- h(n) 信道容量: C = max [h(Y)- h(n)] 实际通信系统中,大量存在的热噪声和环境噪 声都具有高斯白噪声的特点,设它的平均功率 为Pn,则; 另一方面,在平均功率为有限值时,h(Y)的最大值 应出现在Y的均值为零且为高斯分布的的情况下, 于是,平均功率受限的高斯加性信道的信道容量为 ) 2 log( 2 1 ) 2 log( 2 1 ) ( 2 n P e e n h π σ π = = n Y n Y P P P e P e C log 2 1 ) 2 log( 2 1 ) 2 log( 2 1 = ? = π π 习惯上,用发送端信号功率来写公式,由222nXYσσσ+=)1(log 2 1 n X P P C + = ) 1 ( log 2 1 n X P P N C + = 得到:PY=PX+ Pn; 推广到多维无记忆高斯加性连续信道,当各 抽样值(i=1,2, ……,N )方差都相同时 所以 1.4.4 香农公式及其意义 当抽样频率为2F时,注意N=2FT就有: C= FT log (1+ PX /Pn ) 香农公式,适用于高斯加性信道.但是它也可 作为非高斯加性信道的信道容量上限值. 一般认为,最高频率就是带宽,取单位时间的 最大净信息为信道容量,香农公式也常写为: C= B log(1+ PX /Pn ) 由公式可见,信道容量的大小与带宽B和信噪 比PX /Pn 有关,它随着带宽的增大和信噪比的 增大而变大. 但是因为噪声功率Pn =n0B,式中n0为噪声的功 率谱密度,所以随着带宽的增大,噪声功率会 变大,信噪比随之减小,又会使信道容量变 小. 综合起来分析,如果把香农公式写为: C= B log(1+ PX /n0B) ,并令x= PX /(n0 B), 则: x X X x n P x x n P C 1 0 0 ) 1 ( log ) 1 log( + = + = 当B→∞时,x→0,(1+x) 1/ x→e,于是: 0 0 4427 . 1 log n P e n P C Lim X X B = == ∞ → 随着带宽的增大,信道容量的增大会越来越慢, 最后不再改变,趋于一个理论极限值1.4427PX /n0 定义B0= PX /n0叫做临界带宽,由n0B0= PX知,临 界带宽B0的含义是噪声与信号功率相等时的带 宽.于是,无限带宽所对应的信道容量理论极限 值为临界带宽的1.4427 倍. 香农公式给出了带宽F、时间T、和信噪比PX /Pn 三者之间的制约关系. 对于给定的信道(即信道容量不变)的情况下, 可以牺牲一些通信效率,用扩展带宽(如CDMA) 或延长时间(如积累法接收弱信号)的办法赢得 信噪比(通信的质量)的改善; 也可以牺牲一些信噪比来换取更高的信道传输 率.(如IP电话以及可视电话) 香农公式的意义 [例3]某图片含2.25*106 个像素,采用12级量化电 平传输.假定各电平等概出现,信道中信噪比为 30dB,若要求3分钟完成传输,需要多大的带宽? 解: 传信率: C s bit R ≤ * = * * * = / 10 48 . 4 60 3 12 log 10 25 . 2 4 6 信噪比: 10 log(Px/Pn)=30dB;即Px/Pn =103 根据香农公式: kHz P P C B n x 49 . 4 1001 log 10 48 . 4 ) 1 ( log 2 4 2 = * = + = [例4]某通信系统采用调制指数β=5的调频方式发送时,接 收端信噪比为20dB;如果信道不变,采用单边带调制,理 论上接收端信噪比应为多少分贝才能使通信质量保持不变? 解:用脚标1表示调频,脚标2表示调幅.应有: B1log2(1+S1/N1)= B2log2(1+S2/N2) 换底: B1lg(1+S1/N1)= B2lg (1+S2/N2) 在信噪比比1大很多时:B1lg(S1/N1)= B2lg (S2/N2) 现在 B1=2(β+1)Bm = 2(β+1) B2 =12 B2 所以 lg (S2/N2)=12 lg(S1/N1) 即: (S2/N2)dB= 12 (S1/N1)dB =240dB 香农公式在C=常数条件下给出的是出了带宽B与 信噪比PX /Pn的等效搭配关系:较大的带宽搭配 较小的信噪比与较大的带宽搭配较小的信噪比均 能得到同样的信道容量,达到相同的通信效果. 决不要以为这个公式给出的是带宽B与信噪比PX /Pn之间的因果关系:误认为当带宽较大时信噪 就会比较小,尤其是不能得出"较大的带宽得到 了较小的输出信噪比"这样的错误结论. 小结 ?连续信源信息熵的定义: ?波形信道有关的信息熵: 联合熵,噪声熵,损失熵,平均互信息 ?波形信道的信道容量 ?香农公式极其意义 ∫ ∞ ∞ ? ? = dx x p x p x h ) ( log ) ( ) ( 课后复习题 ?思考题: 1.如何理解连续信源信息熵无穷? 2.举例说明香农公式对通信的指导意义. ?作业题: 教材第32页习题一第17、20题;