信息熵的公式，平均信息量的計(jì)算公式是什么 _公式

平均信息量的計(jì)算公式是什么
平均信息量的計(jì)算公式是I=log2（1/p），其中p是概率， log2指以二為底的對(duì)數(shù) 。但對(duì)信息量作深入而系統(tǒng)研究，還是從1948年C.E.香農(nóng)的奠基性工作開始的。在信息論中，認(rèn)為信源輸出的消息是隨機(jī)的。
信息量與信息熵在概念上是有區(qū)別的。在收到符號(hào)之前是不能肯定信源到底發(fā)送什么符號(hào) ，通信的目的就是使接收者在收到符號(hào)后，解除對(duì)信源存在的疑義（不確定度），使不確定度變?yōu)榱?。這說明接收者從發(fā)送者的信源中獲得的信息量是一個(gè)相對(duì)的量（H（U）-0）。而信息熵是描述信源本身統(tǒng)計(jì)特性的物理量，它表示信源產(chǎn)生符號(hào)的平均不確定度，不管有無(wú)接收者，它總是客觀存在的量。
信息熵的公式H(x)=E[I(xi)]=E[log2 1/p(xi)] = - ξp(xi)log2 p(xi)(i=1,2,..n)
信息熵就是平均信息量，平均信息量越大熵就越大。
信息量與該事件發(fā)生的概率成反比，當(dāng)事件為必然事件是，信息量為零。
通信原理平均信息量的計(jì)算單個(gè)字符的概率p1=1/5*1/2=1/10
;連續(xù)兩個(gè)字符的概率p2
=
1/20*1/2=1/40
同概率平均信息量：h(p)=∑p(x)log1/p(x)
所以，h(p)=5*1/10*log10
+
20*1/40*log40
=1.66+2.16
=3.82
bit/字符
【信息熵的公式，平均信息量的計(jì)算公式是什么】符號(hào)周期為t
符號(hào)速率r1=1/t
平均信息速率為r2=r1*h(p)=3.82/t
符號(hào)周期自帶
高手幫忙解決簡(jiǎn)單的《通信原理》題目麻煩給出解答過程平均信息量：H(x)=1/2log2+2*1/8log8+1/16log16+3/16log(16/3)+5/16log(16/5)=a(自己算)
1小時(shí)的信息量：I=3600*Rb*H（x）=b(自己算)
最大信息量==>等概率分布==>H(x)=log5==>Imax=3600*Rb*log5=c
另外，log如果沒寫下標(biāo) ，都是以2為底。
符號(hào)的信息量怎么求AI智能問答
題目：
13 級(jí)電信通信率分別為 1/4 、1/4 、3/16 、5/16 ,試求該信息源中每個(gè)符號(hào)的信息量。
答案：
解:根據(jù) I=-p(x) 得:符號(hào)A的信息量為=-p(A)=-=2 (b)符號(hào)B的信息量為=-p(B)=-=2 (b)符號(hào)C的信息量為=-p(C)=-=4-3 (b)符號(hào)D的信息量為=-p(D)=-=4-5 (b)2.某個(gè)信息源由A、B、C和D等4個(gè)符號(hào)組成。這些符號(hào)分別用二進(jìn)制碼組 00、 01、 10、 11 表示。若每個(gè)二進(jìn)制碼元用寬度為5ms的脈沖傳輸,試分別求出在下列條件下的平均信息速率。(1)這 4 個(gè)符號(hào)等概率出現(xiàn);(2)這 4 個(gè)符號(hào)出現(xiàn)的概率分別為 1/4、 1/4 、 3/16 、 5/16 。解:(1)平均信息量 I=-4*=2 (b) 平均信息速率 ==200 b/s(2)平均信息量 I= =1.977 (b)
百度教育

則這58 個(gè)符號(hào)所帶的總信息量為I=23 I 0=23 1.415=110.545bit而...
1每個(gè)字母的平均信息量為 H(x) log2 2比特/ 符號(hào)4平均信息速率為 R rH (x) 2 100 200 bit /s1 1 3 10( 2)平均信息量為 H(x...
百度教育

3(1) 求符號(hào)的平均信息量;(2) 由1000個(gè)符號(hào)構(gòu)成的序列,求某一...
(1)求符號(hào)的平均信息量; (2)由1000個(gè)符號(hào)構(gòu)成的序列,求某一特定序列(例如有 m個(gè)" 0 " , (1000-m )個(gè) 1")的自信量的表達(dá)式; (3...

文章插圖
以上就是關(guān)于信息熵的公式，平均信息量的計(jì)算公式是什么的全部?jī)?nèi)容，以及平均信息量的計(jì)算公式是什么的相關(guān)內(nèi)容,希望能夠幫到您。