自信息

可寻得自信息定义式为:
、
当 r = 2 时,自信息单位为比特(bit)
当 r = e 时,自信息单位为奈特(nat)
当 r = 10时,自信息单位为哈特(hart)
自信息的意义
若 a 未发生,则 I(a) 表示a发生的不确定性;
若 a 已发生,则 I(a) 表示a提供的信息量。
自信息与概率
自信息描述的是事物的不确定度,而概率论是数学中描述不确定性的部分。自信息的数学描述将依托概率的描述和计算进行。
自然语言描述:事物的自信息等于该事件发生的概率取倒再取对数的值。
联合自信息

条件自信息