自信息量

对于离散信源而言，信源概率空间的概率分别为P(x1),P(x2),P(x3),P(x4)...P(xn)。显然信源这时输出一个消息提供的信息量就等于信源的不确定度。