信息的概念信息论属于通信的数学理论它利用近代数理统计方法研究信息的传输、存储与处理是伴随着通信技术发展而诞生的交叉学科。1948年香农发表《通信的数学理论》标志信息论正式创立。香农在这篇论文里创新性地将概率论用于通信问题研究解决噪声信道下信息有效传输的难题对信息进行科学的定量描述首次提出信息熵。信息是信息论中最基础、最重要的概念也是一个复杂抽象的概念。1924年奈奎斯特Nyquist开始研究电报信号传输探究脉冲速率与信道带宽之间的关系。2. 1928年奈奎斯特发表论文建立限带信号的采样定理。哈特莱Hartley提出消息是符号而不是内容区分了消息与信息首次提出利用对数函数度量信息量消息包含的信息量等于取值个数的对数。3. 1935年阿姆斯特朗Armstrong提出增大带宽可以加强通信系统的抗干扰能力。4. 1948年香农在奈奎斯特、哈特莱、阿姆斯特朗的研究基础上发表《通信的数学理论》。使用概率论研究通信系统揭示通信传递对象是信息给出信息的定量描述提出信息熵奠定经典信息论基础这篇文章也标志信息论正式诞生。5. 1949年香农发表《噪声下的通信》指出通信系统的核心问题是在噪声环境中如何有效、可靠地传递信息并且指明编码是实现可靠通信的主要手段。6. 1959年香农发表《保真度准则下的离散信源编码定理》系统提出信息率失真理论也就是限失真信源编码定理。信息的特征① 在于它的不确定性任何已确定的事件不包含信息② 接收者在收到信息之前对它的内容是不知道的信息是新知识③ 信息能使人认识主体对某一事物的未知性和不确定性减少的有用知识④ 信息可以产生、可以消失可以被携带、存储和处理⑤ 信息可以被度量① 信息包含在消息之中消息是信息的载体② 信号是消息的表现形式③ 消息是信息的具体内容信息论解决的问题设计实现如何信息传输传输的可靠性有效性。有效性信源编码可靠性信道编码保密性信道编码通信模型系统通信系统模型七个部分信源 → 编码器 → 调制器 → 信道 → 解调器 → 译码器 → 信宿1.信源信息的来源称为信源可以是人、机器或者其他事物。尽管信源是信息的来源但是信源不直接输出信息信源输出的是信息的载体消息。2. 编码器编码器将消息变换为符号或者对应的符号序列目的是提高传输有效性。3. 调制器调制器负责将编码器输出的符号转换为适合信道传输的信号目的是提高传输效率使远距离传输成为可能。如果要进行远距离传输还可进行载波调制将电平信号变换为高频谐波。为了分析方便也可以将调制器看作编码器的一部分。4. 信道信道是信息传输的通道始于调制器终于解调器它是包括收发设备在内的物理设施。在狭义的通信系统中实际信道有架空明线、电缆、波导、光纤和无线电波传播空间等。对于广义的通信系统信道还可以是其他类型的传输媒介。通常情况下信道中存在噪声和干扰。5. 解调器解调器位于信息的接收端负责将信道输出的信号转换为符号是调制器的逆变换。6. 译码器译码器位于信息的接收端是编码器的逆变换。7. 信宿信宿是信息的接收者即接收消息的人或事物。离散信息的度量概率基本知识1. 随机试验随机性是一种物理现象一般通过试验结果来呈现和观察。由于试验结果不可预测此类试验称为随机试验通常用字母E表示。2. 样本空间由于随机性每次随机试验的具体结果无法预知但随机试验所有的可能结果都在一个已知的集合内。这个已知集合就是一次随机试验可能呈现的所有结果称为样本空间记为。如果某一试验结果则称为样本点。随机试验1抛掷一枚硬币。样本空间{H,T}样本点 H 表示硬币正面朝上Head样本点 T 表示正面朝下Tail。随机试验2抛掷两枚硬币。样本空间{HH,HT,TH,TT}其中样本点 HH 表示第一枚硬币正面朝上第二枚硬币正面朝上其余类推。随机试验3二元信源发送一个符号。样本空间{0,1}。随机试验4二元信源发送两个符号。样本空间{00,01,10,11}样本点01 表示第一个符号为1第二个符号为0。其余样本点类推。定义2.1 随机事件样本空间中的任一子集称为随机事件简称事件。定义2.2 概率对于样本空间的每个事件 E假设存在满足以下三个条件的实数 P[E](1)(2)(3) 对于任意互不相容的事件序列当时有]将 P[E] 称为事件 E 的概率简记为 p(E)。定义2.3 条件概率在事件 A 已经发生的条件下事件 B 发生的概率称为 B 对 A 的条件概率记为 p(B|A)。特别地当事件 A 和事件 B 相互独立时即无论事件 A 是否发生事件 B 发生的概率不变有p(B|A) p(B)条件概率计算公式式2.2定义2.4 联合概率事件 A 和事件 B 同时发生的概率称为联合概率记为 p(AB)且有p(AB)p(A)p(B|A)p(B)p(A|B)定义2.5 完备事件组设为样本空间 \Omega 的一组事件且(1)(2)则称为完备事件组或样本空间的一个划分。2. 全概率公式假设 \{} 为样本空间 的一个划分集合 B 是样本空间中的一个随机事件则事件 B 发生的概率可以表示为例2.1 全概率公式应用例题已知乞丐 B 在街边乞讨。行人 a_1 停下的概率为 0.1停下并捐款的概率为 0.2行人 a_2 停下的概率为 0.6停下并捐款的概率为 0.8行人 a_3 停下的概率为 0.3停下并捐款的概率为 0.9。求乞丐 B 获得捐款的概率。解由已知可得行人停下并捐款乞丐 B 将获得捐款。因此乞丐 B 获得捐款有三个来源行人a1停下并捐款行人a2停下并捐款行人a3停下并捐款由全概率公式求得乞丐 B 获得捐款的概率根据例题可以发现全概率公式寻找触发事件 B 发生的全部来源或者原因并把所有来源或者原因所对应的发生概率相加得到事件 B 发生的概率。3. 贝叶斯公式对例2.1中的情景换一种角度求取另外一个概率。例2.2 贝叶斯公式应用已知乞丐 B 获得了行人捐款。求行人 a1 捐款给乞丐 B 的概率。解这是与例2.1完全相反的问题求取款款来自特定行人的概率即根据上述公式可以求得其实式 (2.5) 就是贝叶斯公式。可以发现贝叶斯公式求取的是事件 B 的某个来源在事件 B 所有来源中所占的比率。贝叶斯公式的一般形式根据例2.2和式 (2.6) 可以发现全概率公式计算事件 B 发生的概率贝叶斯公式则是计算触发事件 B 的某个原因的发生概率。