Теория:
В жизни чаще всего случаются события, частота появления которых различна. Речь идёт о неравновероятных событиях. Например, летом чаще солнечно и ясно, чем пасмурно.
Вероятность некоторого события — это величина \(p\) , которая показывает частоту появления этого события в ряде однотипных испытаний.
Если событие невозможно, то его вероятность: \(p = 0\).
Если событие достоверно, то его вероятность: \(p = 1\).
Если событие может наступить или не наступить с одинаковой вероятностью, то его вероятность: \(p = 0,5\).
Формула Шеннона
Американский учёный Клод Шеннон был одним из основоположников теории информации и криптографии. Им была выведена в \(1948\) году формула для вычисления количества информации равновероятных событий:
, где \(i\) — количество информации; \(N\) — количество возможных событий; — вероятность \(i\)-го события.
Пример:
пусть вероятность выпадения осадков в виде дождя равна \(0,5\), ветра — \(0,25\), грозы и молнии — \(0,125\). Определим, какое количество информации получим при реализации одного из них.
Решение.
Согласно формуле Шеннона получим:
Ответ: \(1,75\) бит.