信息论初级——信源概述——2020-11-11

最新推荐文章于 2025-03-24 14:15:42 发布

青州街打工人

最新推荐文章于 2025-03-24 14:15:42 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

文章标签：信息熵

本文链接：https://blog.csdn.net/Max_one/article/details/109605783

这篇博客介绍了信息论中离散信源的数学模型，包括离散无记忆信源、离散平稳信源和二维离散平稳信源。重点讲解了离散信源的熵及其性质，并探讨了马尔可夫信源的概念，强调了马尔可夫信源的时齐性和遍历性特点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

信息论初级——信源概述

内容：
一、信源的数学模型以及分类
二、离散信源信息熵以及其性质
三、随机波形信源
四、信源的冗余度

   关于连续与离散的一些思考：我觉得，连续的本质是离散，即万物皆离散。在定义中，连续的例子有语音信号、热噪音信号等，这些例子如果以生活的角度去看，确实是连续的，因为你发音的时候喉咙是一直在震动的，发出的声音是“连续”的，但是如果将你发出声音的单位时间无限缩小，其实你发出的声音是一帧一帧的，就跟电影录像带一样。**
      
1.离散信源的信息熵以及其性质：
      ——自信息：某个随机变量所携带的信息量
              I（x）= - log P（x）  log默认是以二为底的对数；p(x)为先验概率。
              在事件发生前，I（x）代表事件 包含的不确定性。事件发生后，I（x）代表事件所提供的信息量。

     ——信息熵：H(x)平均自信息量,单位是bit/符号；还包括联合熵与条件熵
     
     基本性质：
                       1.离散信息熵是非负的，非负性。
                       2.对称性，即调换信源内信息元的位置后所得的信息熵仍旧不变。
                       3.确定性，即当信源中有一信息元基本确定会出现时，其他信息元基本不会出现，故可得该信源的信息熵为0。
                       4.扩展性，信源的取值数增多时，如若增多的这些值对应的概率很小，则信源的熵不变。
                       5.可加性，H(xy)=H(x)+H(y)；条件：x与y相互独立。
                       6.强可加性，H(xy)=H(x)+H(y/x)； 条件：x与y相互关联。
                       7.递增性，如果信源中有一信息元被分裂成为了多个信息元，且该信源所有信息元概率和仍然为1，那么该信源的熵增大，且熵的增量等于由于