chap3 measuring information

本文探讨了信息价值(H)在不同情境下如何影响信号传输的效率,特别是在Alice和Bob的系统中,通过对比抛硬币结果和单词传输,分析了字符集合范围(S)和底层信号数量(i)对传输次数(N)的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

H = N * \log_iS

H为information value,N为要发送的字符个数,S为字符的space即集合范围,i为底层发送的signal个数。

情景模拟:Alice和Bob他们的系统发展的很好,然后他们就想要盈利,然后就卖出了自己的系统。即他人可以借助他们的系统传递信息。他们根据他人传递的信息的多少来收费。那么H就是他们的收费多少。目前他们的系统底层传输仍然是pluck,分强弱,那么一共就只有两种状态,即i为2。考虑两种情况:朋友A想要让他们发送10个抛硬币的结果。朋友B想要让他们发送单词cat。朋友A每发送一个结果,结果只有两种(即S为2),正面或者反面,那么每一个结果只要发送一次就好了。例如hard pluck代表正面,soft pluck代表反面。一共要发送10次(N为10)。那么朋友A的H = 10 * \log_22 = 10 * 1 = 10

对于朋友B而言,他要发送3个字母。i还是2.但是英文字母一共有26个(S为26)。而Alice的系统只能传送两种状态。那么针对第一个字母,好的方法是,你需要先问该字母在A-L之间吗(二分法)?然后按照二分法一路分下去。这样的话,一共需要传送\log_226 \approx 4.7次,才能确定第一个字母。那么一共发送3次(N为3)。那么朋友B的H = 3 * \log_226 = 3 * 4.7 = 14.1.

笔者认为,接下来实际传输中可能遇到的问题是一传递的信息模式应该要统一,比如传送结果也用字母保存或者其他;二优化传送方式,让传送的字数尽量少。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值