Vi så før, at den reelle entropi \(H_0\) var det spørgsmål man i gennemsnit skal stille, for at få klarhed, når man spørger efter den optimale spørgstrategi.
Antag nu at vi trækker et kort fra et kortspil med 52 kort.
Først er vi interesseret i om kuløren er sort, dvs. om kuløren er spar eller klør. Det er klart at det kræver præcis ét ja/nej spørgsmål, så den reelle entropi er 1.
Antag nu at vi er interesseret i, om det er spar es. Vi kan spørge ‘er det spar es?’. Det er et ja/nej spørgsmål. Når vi har fået svar på det spørgsmål, så ved vi om det udtrukne kort var spar es. Igen kræves netop ét ja-nej spørgsmål, så den relle entropi er 1.
Men i hvilken af de to situationer vindes der mest viden? I føste tilfælde er der 50% chance for farven sort. I tilfælde 2 er der 1/52 chance, dvs. lidt under 2%, for at det er spar es.
Hvis man i første situation for at vide at kuløren er sort, så bliver man næppe overrasket, for det er et meget sandsynligt udfald. Hvis man i andet situation får at vide at det udtrukne kort er spar es, så bliver man nok noget overrasket.
Pointen er, at man ikke får ret meget ekstra viden når man får at vide at kortet ikke er spar es, men men får mere viden når man får at vide at kortets kulør er sort.
Den reelle entropi kan altså godt være ens i to forskellige situationer, der nok ikke umiddelbart kan sammenlignes.
Lad os nu se på plat eller krone med en uærlig mønt. Vi er interesseret i om det blev ‘krone’. Lad os antage at sandsynligheden for at få krone er 3/4 = 75%, og sandsynligheden for at få plat er 1/4 = 25%.
Der skal naturligvis bruges ét spørgsmål til at få svar på spørgsmålet; ‘blev det krone?’. Hvis vi gentager forsøget igen, så skal vi igen bruge et spørgsmål for at få svar på om andet kast gav ‘krone’. Gentages forsøget 10 gange, og skal vi hver gang finde ud af om det blev ‘krone’, så skal vi bruge 10 spørgsmål.
Men hvad nu hvis vi ikke spørger efter hver kast, hvad nu hvis vi, efter f.eks. to kast, spørger til det samlede resultat?
Hvis udfaldene skriver f.eks. (P,K) for første kast plat og andet kast krone, så er her de mulige udfald og de tilhørende sandsynligheder:
Udfaldet (P,P) , sandsynlighed = \(\frac{1}{4} \cdot \frac{1}{4} = \frac{1}{16} \)
Udfaldet (P,K) , sandsynlighed = \(\frac{1}{4} \cdot \frac{3}{4} = \frac{3}{16} \)
Udfaldet (K,P) , sandsynlighed = \(\frac{3}{4} \cdot \frac{1}{4} = \frac{3}{16} \)
Udfaldet (K,K) , sandsynlighed = \(\frac{3}{4} \cdot \frac{3}{4} = \frac{9}{16} \)
Spørgestrategi 1 : Vi kan spørge om første kast gav ‘krone’ Hvis ‘ja’, så gav første kast naturligvis ‘krone’, hvis ‘nej’, så gav første kast ‘plat. Nu kan vi spørge om andet kast gav ‘krone’. Det kræver, uanset sandsynlighederne, altid to spørgsmål:
Det er ikke den bedste spørgestrategi, for vi har ikke taget hensyn til at sandsynligheden for ‘krone’ er større end sandsynligheden for ‘plat’.
Spørgestrategi 2 : Vi spørger først om udfaldet (K,K). Hvis ‘ja’ bruger vi et spørgsmål, hvis ‘nej’ spørger vi om (P,K). Hvis ‘ja’ har vi brugt to spørgsmål, hvis ‘nej’ spørger vi om (K,P). Nu kender vi svaret.
Det gennemsnitlige antal spørgsmål er så
\(H_0 = \frac{9}{16} \cdot 1 + \frac{3}{16} \cdot 2 + \frac{3}{16} \cdot 3 + \frac{1}{16} \cdot 3 =
\frac{9}{16} + \frac{6}{16} + \frac{9}{16} + \frac{3}{16} = \frac{27}{16} = 1.68 \)
Sandsynlighederne i træet herover kunne også beregnes ved at gange sandsynlighederne fra roden og ud til grenene, det er dog en del mere besværligt, men det virker naturligvis:
Vi ser altså, at vi, ved at udføre forsøget to gange, og så spørge til sidst, kan spørge på en mere fornuftig måde, og ende med at skulle bruge et færre antal spørgsmål, end ved bare at spørge til hvert forsøg for sig.
Ved de to gentagelser skal vi bruge 0.84 spørgsmål pr. forsøg, med spørgestrategi 2.
Hvis vi gentager forsøget endnu en gang, og efterfølgende spørger fornuftigt, så har vi naturligvis brug for flere spørgsmål, men antal spørgsmål pr. forøg bliver nok lidt mindre end de 0.84 spørgsmål pr. forsøg.
Lad os gentage forsøget tre gange. Der er i princippet fire typer udfald, med sandsynligheder:
Udfaldet (K,K,K) , sandsynlighed = \(\frac{3}{4} \cdot \frac{3}{4} \cdot \frac{3}{4}= \frac{27}{64} \)
Udfaldet (K,K,P) , sandsynlighed = \(\frac{3}{4} \cdot \frac{3}{4} \cdot \frac{1}{4} = \frac{9}{64} \)
Udfaldet (K,P,P) , sandsynlighed = \(\frac{3}{4} \cdot \frac{1}{4} \cdot \frac{1}{4} = \frac{3}{64} \)
Udfaldet (P,P,P) , sandsynlighed = \(\frac{1}{4} \cdot \frac{1}{4} \cdot \frac{1}{4}= \frac{1}{64} \)
Vi kan lave et chancetræ ud fra en rimelig spørgestrategi:
Vi kan ud beregne den reelle entropi ud fra denne spørgestrategi:
\(H_0 = \frac{27}{64} \cdot 1 + \frac{9}{64} \cdot 3 + \frac{9}{64} \cdot 3 + \frac{9}{64} \cdot 3 + \frac{3}{64} \cdot 5 + \frac{3}{64} \cdot 5 + \frac{1}{64} \cdot 5 = \frac{79}{32} \cdot 3 = 2.4688 \)
Antal spørgsmål, pr. forsøg, er nu 0.8229. Bemærk dog, at vi ikke ved om vores spørgestrategi er optimal.
Som vi skal se i det efterfølgende, så vil antallet af spørgsmål, pr. forsøg, nærme sig mod en ‘nedre værdi’ jo flere forsøg vi udfører inden vi spørger.
Nu skal vi se på den ideelle entropi \(H\). Lad \(F\) være et forsøg, f.eks. et møntkast. Lad \(F^k\) betegne det forsøg, der består i, at forsøget \(F\) gentages k gange. Vi definere nu
\(H(F) = \lim_{k \rightarrow \infty} (\frac{1}{k} \cdot H_0(F^k))\)
Den ideelle entropi \(H\) er altså den reelle entropi for forsøget \(F^k\), divideret med k, når antallet k af forsøg går mod uendelig.
Sagt på en anden måde; den ideelle entropi er det gennemsnitlige antal spørgsmål man skal stille, pr. forsøg, når man spørger optimalt, når antallet af forsøg går mod uendelig.
Så kan man spørge hvad man skal bruge det til, for det kan man jo ikke bare regne ud. Forsøget herover med tre møntkast med den uærlige mønt var kompliceret nok i sig, selv, hvordan ser det så ikke ud for k = 10 eller k = 1000?
I næste afsnit præsenteres formlen der på en overraskende simpel måde beregner den ideelle entropi.