ley de entropías totales

ley de entropías totales

1. (total entropies law) Fís. Ley que afirma que la entropía de una variable aleatoria bidimensional es la suma de la entropía de una de ellas y de la entropía de la otra condicionada por la primera. En el caso en que las variables aleatorias sean independientes, la entropía de la variable aleatoria bidimensional es la suma de la entropía de cada una de las variables.
2. (entropy chain rule) Fís. Teorema que demuestra la validez de la siguiente relación para la entropía de Shannon, H: \[H(A,\;B) = H(A) + H(B|A) = H(B) + H(A|B)\], donde: \(H(A,\;B)\) es la entropía conjunta del par \(A,\;B\); \(H(A),\;H(B)\) son las entropías de las variables aleatorias marginales \(A\) y \(B\); y \(H(A|B)\) y \(H(B|A)\) son las entropías de \(A\) condicionada por \(B\) y la de \(B\) condicionada por \(A\), respectivamente. Sinón.: regla de la cadena para la entropía de Shannon.