entropía de Shannon

entropía de Shannon

(Shannon entropy) Fís. Medida \(S({p_X})\) que en la teoría clásica de la información se asigna a la incertidumbre sobre el resultado de una variable aleatoria discreta \(X = \left\{ {{x_i},\;i = 1,2,...} \right\}\), con distribución de probabilidad asociada \({p_X} = \left\{ {{p_i} \ge 0,\;i = 1,2,...,\;\sum\nolimits_i {{p_i} = 1} } \right\}\), y que viene dada, en bits, por \(S(X) = \sum\nolimits_i {{p_i}{{\log }_2}p_i^{ - 1}} \), con el convenio \(0{\log _2}{0^{ - 1}} = 0\).