由第1章可知香农信息又称为概率信息信息的度量建立在概率基础上与载荷信息的消息所发生的概率有关。因为信息的载体是随机事件因此利用概率论中的随机变量来描述随机事件或者消息。最简单的一类随机变量是离散随机变量本章将从离散随机变量开始介绍信息的度量。在深入信息度量之前我们需要先回顾概率论的基础知识。信息的载体是随机事件消息的发生带有不确定性因此我们用随机变量描述消息离散随机变量便是信息论入门的起点。1.样本空间与随机事件随机试验是指结果无法预先预测的试验。样本空间是随机试验全部可能结果的集合集合里每一个结果叫做样本点。举个典型例子抛掷一枚硬币样本空间Ω\OmegaΩ{H,T}H代表正面朝上T代表反面朝上抛掷两枚硬币样本空间Ω\OmegaΩ{HH,HT,TH,TT}随机事件样本空间Ω\OmegaΩ的任意一个子集就称为随机事件。比如抛硬币试验中子集E{H}就代表“硬币正面朝上”这个事件。2.概率、条件概率与联合概率概率用来描述事件发生可能性大小满足三条公理取值在0到1之间全部样本的概率总和等于1互不相交事件的概率可相加。条件概率在事件A已经发生的前提下事件B发生的概率记作p(B|A)。如果A、B相互独立p(B|A)p(B)意思就是A发不发生都不会影响B发生的概率。联合概率事件A、B同时发生的概率记为p(AB)满足公式p(AB)p(A)p(B|A)p(B)p(A|B)基于上面两个概率延伸出全概率公式和贝叶斯公式。3.全概率公式和贝叶斯公式全概率公式假设{ai,i1,2,…,N}\{a_i,i1,2,\dots,N\}{ai​,i1,2,…,N}为样本空间Ω\OmegaΩ的一个划分集合BBB是样本空间Ω\OmegaΩ中的一个随机事件则事件BBB发生的概率p(B)∑i1Np(ai)p(B∣ai)p(B)\sum_{i1}^{N}p(a_i)p(B|a_i)p(B)i1∑N​p(ai​)p(B∣ai​)贝叶斯公式的一般形式为p(ai∣B)p(ai)p(B∣ai)∑k1Np(ak)p(B∣ak) p(a_i|B)\frac{p(a_i)p(B|a_i)}{\displaystyle\sum_{k1}^{N}p(a_k)p(B|a_k)}p(ai​∣B)k1∑N​p(ak​)p(B∣ak​)p(ai​)p(B∣ai​)​贝叶斯公式求取的是事件BBB的某个来源在事件BBB所有来源中所占的比率。4.先验概率和后验概率在通信系统或者信息论中经常会遇到先验概率和后验概率两个概念。贝叶斯公式所计算的概率就是后验概率事件BBB发生后触发BBB发生的第iii个原因aia_iai​发生的条件概率p(ai∣B)p(a_i|B)p(ai​∣B)先验概率是指某一件事BBB本身所具有的随机性程度是不依赖其他事件而得到的一个计量。5.离散随机变量随机变量设EEE是一随机试验其样本空间Ω{ω}\Omega\{\omega\}Ω{ω}。若对每个样本点ω∈Ω\omega\in\Omegaω∈Ω总存在一个实数 X 与之对应则可以得到一个从样本空间Ω\OmegaΩ到实数集R\mathscr{R}R的单值实函数f(ω)Xf(\omega)Xf(ω)X简记为X(ω)X(\omega)X(ω),X(ω)X(\omega)X(ω)称为随机变量。由于自变量肯定是样本点ω\omegaω一般省略不写直接记为 X。离散随机变量取值为有限个或者无限但可数这样的随机变量称为离散随机变量。无限但可数集合中的元素可以与正整数建立一一对应关系。累积分布函数对于离散随机变量 X 以及任意实数x(−∞x∞)x(-\infty x \infty)x(−∞x∞)F(x)P[X≤x]F(x)P[X \le x]F(x)P[X≤x]F(x) 称为离散随机变量 X 的累积分布函数简称分布函数。累积分布函数四条核心性质1.分布函数 F(x) 是随机变量 X 取值小于或等于 x 的概率2. F(x) 是 x 的非减函数3.lim⁡x→∞P[X≤x]F(∞)\lim\limits_{x \to \infty} P[X \le x] F(\infty)x→∞lim​P[X≤x]F(∞)14.lim⁡x→−∞P[X≤x]F(−∞)\lim\limits_{x \to -\infty} P[X \le x] F(-\infty)x→−∞lim​P[X≤x]F(−∞)0。6.离散随机变量的统计特性离散随机变量XXX的概率分布P(x)P(x)P(x)描述了随机变量取某一具体值时的随机性。但在实际应用中更关心的是群体的平均分布情况对于离散随机变量而言常用的统计特性有数学期望及其函数的数学期望。数学期望设一离散随机变量 X其概率分布为p(xn)(n1,2,…,N)p(x_n)(n1,2,\dots,N)p(xn​)(n1,2,…,N)则离散随机变量 X 的数学期望定义为E[X]∑n1Nxnp(xn)E[X]\sum_{n1}^{N} x_n p(x_n)E[X]∑n1N​xn​p(xn​)由定义可知离散随机变量 X 的数学期望就是 X 可能取值的加权平均其加权权重就是对应的概率。两个离散随机变量的数学期望已知离散随机变量 X 和 Y 的联合分布p(xiyj)(i1,2,…,N;j1,2,…,M)p(x_iy_j)(i1,2,\dots,N;j1,2,\dots,M)p(xi​yj​)(i1,2,…,N;j1,2,…,M)则离散随机变量 XY 的数学期望为E[XY]∑i1N∑j1Mxiyjp(xiyj)E[XY]\sum_{i1}^{N}\sum_{j1}^{M} x_iy_j p(x_iy_j)E[XY]∑i1N​∑j1M​xi​yj​p(xi​yj​)离散随机变量函数的数学期望已知离散随机变量 X 的概率分布p(xi)(i1,2,…,N)p(x_i)(i1,2,\dots,N)p(xi​)(i1,2,…,N)则 X 函数 f(X) 的数学期望E[f(X)]∑i1Nf(xi)p(xi)E[f(X)]\sum_{i1}^{N} f(x_i)p(x_i)E[f(X)]∑i1N​f(xi​)p(xi​)