Den ideelle entropi \(H(F)\) for et forsøg \(F\) kan beregnes ved brug af formlen
\(H(F) = -\sum_{i=1}^n p_i \cdot \log_2(p_i) \)
Bemærk at logaritmen er to-tals logaritmen. Sandsynlighederne \(p_i\) er sandsynlighederne for de forskellige udfald.
Formen kan udledes ved bl.a. at se lidt nærmere på optimale spørgsstrategier, men det springer vi over her. Der henvises til Flemming Topsøes bog ‘Informationsteori’, Gyldendal 1973 hvorfra inspiration til gennemgangen af entropien er fundet.
Figurerne herunder viser et punktplot over sandsynligheder for 10 udfald, og en beregnet ideel entropi. Bemærk, at jo større variation der er i sandsynlighederne, jo mindre en entropien. Det skyldes, at når der er udfald med stor sandsynlighed, så skal de, i en optimal spørgestrategi, spørges til først, og mindst sandsynlige udfald skal der spørges til sidst – på den måde skal der stille færrest mulige spørgsmål, og entropien bliver lille.
