信息论与编码理论
The Theory of Information and Coding
Robert J. McEliece [US]
Chongqing Jiaotong University
Computer and Information College
Dept. Telecommunication Engineering
LI-Yicai
Email: Lycyt_1@163.com
Mobile Phone:
Aug. 2007
Where there is a will,
there is a way.
教材及参考书目
李斗 信息论与编码理论 电子工业出版社
冯桂 信息论与编码技术 清华大学出版社
王新梅 纠错码—原理与方法 西安电子科大出版社
相结合逐步发展而形成的一门新兴科学
本章内容:
信息的概念
数字通信系统模型
信息论与编码理论研究的主要内容及意义
奠基人:美国数学家香农(C.E.Shannon)
1948年"通信的数学理论"
信息论
通信技术
概率论
随机过程
数理统计
0.1 信息的概念
信息是信息论中最基本,最重要的概念,既抽象又复杂
信息在日常生活中被认为是"消息","知识","情报"等
"信息"不同于消息(在现代信息论形成之前,信息一直被看作是通信中消息的同义词,没有严格的数学含义),消息是表现形式,信息是实质;
"信息"不同于情报,情报的含义比"信息"窄的多,一般只限于特殊的领域,是一类特殊的信息;
信息不同于信号,信号是承载消息的物理量;
信息不同于知识,知识是人们根据某种目的,从自然界收集得来的数据中整理,概括,提取得到的有价值的信息,是一种高层次的信息.
就狭义而言,在通信中对信息的表达分为三个层次:信号,消息,信息.
信号:是信息的物理表达层,是三个层次中最具体的层次.它是一个物理量,是一个载荷信息的实体,可测量,可描述,可显示.
消息:(或称为符号)是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象,可将具体物理信号抽象为两大类型:
离散(数字)消息,一组未知量,可用随机序列来描述: X=(X1…Xi…Xn)
连续(模拟)消息,未知量,它可用随机过程来描述: X( t, ω)
信息:它是更高层次哲学上的抽象,是信号与消息的更高表达层次.

下一页