Shannon-entrópiafüggvény

Ez a szócikk vagy szakasz lektorálásra, tartalmi javításokra szorul. A felmerült kifogásokat a szócikk vitalapja részletezi (vagy extrém esetben a szócikk szövegében elhelyezett, kikommentelt szövegrészek). Ha nincs indoklás a vitalapon (vagy szerkesztési módban a szövegközben), bátran távolítsd el a sablont! Csak akkor tedd a lap tetejére ezt a sablont, ha az egész cikk megszövegezése hibás. Ha nem, az adott szakaszba tedd, így segítve a lektorok munkáját! (2005 júniusából)

A Shannon-féle entrópiafüggvény Claude Shannon amerikai matematikus és híradástechnikai szakember munkája. Az elméletet a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére született. Ma ez a fogalom és a tanulmányozása az információelmélet egyik alapja.

A függvény definiáláshoz feltételezzük, hogy egy kommunikációs folyamatban veszünk részt, melynek csatornáján az ${\displaystyle X}$ halmaz jeleiből álló véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni vagy becsülni tudjuk azt a ${\displaystyle p(x)}$ valószínűséget, hogy adott ${\displaystyle x\in X}$ elem milyen gyakran fordulhat elő egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az ${\displaystyle x}$ jel információtartalma is, amit az ${\displaystyle I(x)}$ jelöl.

Legyen egy üzenet az ${\displaystyle x=(x_{1},x_{2},...,x_{j})\in X^{j}}$ jelek sorozata.

Ekkor az üzenet információtartalma Shannon definíciója szerint ${\displaystyle H(x)=H(x_{1},x_{2},...,x_{j})=p(x_{1})I(x_{1})+p(x_{2})I(x_{2})+...+p(x_{j})I(x_{j})=p(x_{1})log_{2}p(x_{1})^{-1}+p(x_{2})log_{2}p(x_{2})^{-1}+...+p(x_{j})log_{2}p(x_{j})^{-1}}$.

Tehát az ${\displaystyle x}$ üzenet információtartalma jelei ${\displaystyle I(x):=p(x)log_{2}[p(x)^{-1}]}$ „egyedi információtartalmának” várható értéke.

Shannon egy véges sok jelből álló (véges ábécé feletti) üzenet információértékét az üzenet jeleinek mint a jelre jellemző valószínűséggel bekövetkező események információtartalmának „átlagos”, azaz várható értékeként határozta meg:

${\displaystyle H\left(x_{1},x_{2},...,x_{j}\right)=\sum _{i=1}^{j}p\left(x_{i}\right)I\left(x_{i}\right)}$ .

Ez még nem elégséges a definícióhoz, pontosan azért, mert az I(x) „adott jelhez tartozó információtartalom” mennyiséget nem definiáltuk. Ennek definiálásához Shannon további két feltételezéssel élt:

1. Kisebb valószínűségű üzenetnek (és így jelnek) az információtartalma nagyobb. Hiszen ha olyan eseményről szerzünk tudomást, amely átlagos, gyakori, azaz nagy valószínűségű; annak nincs nagy jelentősége; ellenben ritkább eseményre kevésbé vagyunk felkészülve, tehát ha ilyen következik be, az fontosabb.
2. 1/2 valószínűségű esemény információtartalma 1 legyen (egységválasztás, azaz normálás).
3. Független események együttesének mint eseménynek az információtartalma a két esemény információtartalmának összege legyen (additivitás).

Matematikailag bebizonyítható , hogy a következő képlet adja meg, ha a fenti normális(?) feltételezésekkel élünk:

${\displaystyle H\left({\underline {X}}\right)}$ ${\displaystyle =}$ ${\displaystyle H\left(x_{1},x_{2},...,x_{n}\right)}$ ${\displaystyle :=}$ ${\displaystyle \sum _{i=1}^{n}p(x_{i})\log _{2}{\frac {1}{p\left(x_{i}\right)}}}$

A fenti H függvény néhány jellemzője:

Korábban (1928) R. V. L. Hartley már bevezetett egy információfogalmat (Hartley-információ). Szerinte egy n elemű véges X halmaz valamely elemének azonosításához, ha elvileg bármelyik lehet közülük a keresett elem,

mértékű információra van szükség. E definíció szerint bármely elem (kiválasztása) azonos információtartalmat hordoz.

A fenti definíció azért bírálható, mert az információ értéke nem függ attól, hogy az egyes elemeket milyen valószínűséggel kívánjuk kiválasztani. Shannon vezetett be egy konkrét problémából, egy hírközlési csatorna kapacitásának definíciójának szükségességéből kiindulva egy olyan információdefiníciót, amely a fenti problémára tekintettel van („The Mathematical Theory of Communication” c. cikkeiben, mely a Bell System Technical Journal c. lapban jelent meg 1948 júliusában és októberében). Neumann János javaslatára nevezte el saját információmérő függvényét entrópiafüggvénynek, noha az elnevezés nemcsak a fizikai entrópiával kapcsolatos sok hasonlóságra mutat rá, de attól való különbségei miatt rengeteg kritika is érte (az ilyenek egy lehetséges motivációjáról és alternatív definícióról ld. például T. Stonier: Információ és az Univerzum belső szerkezete).

Később – elsősorban szovjet – kutatók, mint Fagyejev, Hincsin, axiomatikusan is felépítették.

A H függvény tulajdonságai a következők:

1.	${\displaystyle \forall i\in \left\{1,2,...,n\right\}:\ H(a_{1},...,a_{i-1},\mathbf {x} _{i},a_{i+1})\in C[-\infty ,+\infty ]}$
2.	${\displaystyle \forall i,j\in \left\{1,2,...,n\right\}:\ i\leq j\Rightarrow }$ ${\displaystyle \Rightarrow \ H(x_{1},...,x_{i-1},x_{i},x_{i+1},...,x_{j-1},x_{j},x_{j+1},...,x_{n})=H(x_{1},...,x_{i-1},x_{j},x_{i+1},...,x_{j-1},x_{i},x_{j+1},...,x_{n})}$
3.	${\displaystyle \max \left\{H({\underline {x}})\ |\ {\underline {x}}\in \mathbb {R} ^{n}\right\}=H\left({\frac {1}{n}},{\frac {1}{n}},...,{\frac {1}{n}}\right)}$
4.	${\displaystyle H\left(x_{1},...,x_{n},0)=H(x_{1},...,x_{n}\right)}$
5.	${\displaystyle x_{n}=\sum _{k=1}^{m}y_{k}\Rightarrow H(x_{1},...,x_{n-1},y_{1},...,y_{m})=H(x_{1},...,x_{n-1})+p(x_{n})H(y_{1},...,y_{m})}$
6.	${\displaystyle H\left({\frac {1}{2}},{\frac {1}{2}}\right)=1}$

• Fagyejev belátta, hogy 1.-2.-5.-6.-ból következik, hogy H-t a Shannon-képlet adja meg;
• Hincsin belátta, hogy 1.-3.-4.-6.-ból is következik ugyanez.

• Csiszár Imre – Fritz József: Információelmélet. ELTE jegyzet. Nemzeti Tankönyvkiadó, Bp., 1995.
• Csiszár Villő: Információelmélet. Előadássorozat, ELTE, 2003.
• Shigeru Furuichi, Flavia-Corina Mitroi-Symeonidis, Eleutherius Symeonidis, On some properties of Tsallis hypoentropies and hypodivergences, Entropy, 16(10) (2014), 5377-5399; DOI:10.3390/e16105377
• Shigeru Furuichi, Flavia-Corina Mitroi, Mathematical inequalities for some divergences, Physica A 391 (2012), pp. 388-400, DOI:10.1016/j.physa.2011.07.052; ISSN 0378-4371
• Shigeru Furuichi, Nicuşor Minculete, Flavia-Corina Mitroi, Some inequalities on generalized entropies, J. Inequal. Appl., 2012, 2012:226. DOI: 10.1186/1029-242X-2012-226
• Claude Shannon: „The Mathematical Theory of Communication”; Bell System Technical Journal, 1948. július-október

• Alice és Bob - 2. rész: Alice és Bob számítógépezik