Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble ${\displaystyle \mathbb {X} }$, on définit l'entropie différentielle h(X) par^[1](p243):

${\displaystyle h(X)=-\int _{\mathbb {X} }f(x)\ln f(x)\,\mathrm {d} x.}$

Pour les lois de probabilité qui n'ont pas d'expression explicite pour leur densité, mais dont on connait la fonction quantile Q(p), alors on peut définir h(Q) avec la dérivée de Q(p) par ^{[2](pp54–59)}

${\displaystyle h(Q)=\int _{0}^{1}\ln Q'(p)\,\mathrm {d} p.}$

Pour un couple de variables aléatoires (X , Y) de loi jointe f(x,y), alors l'entropie différentielle conditionnelle de X sachant Y vaut :

${\displaystyle h(X|Y)=-\int _{\mathbb {X} }\int _{\mathbb {Y} }f(x,y)\ln f(x|y)\,\mathrm {d} x\mathrm {d} y.}$

• On a :

${\displaystyle \forall (a,c)\in \mathbb {R} ^{*}\times \mathbb {R} ,h(aX+c)=h(X)+\ln(|a|)}$

• L'entropie différentielle d'une loi continue peut être négative, contrairement à celle d'une loi discrète.
• Majoration : Soit X une variable aléatoire continue de variance Var(X). Alors on a

${\displaystyle h(X)\leqslant {\frac {1}{2}}\ln(2\pi \mathrm {e} \mathrm {Var} (X)),}$

avec égalité si et seulement si X suit une loi normale^[1](p254).

L'entropie différentielle donne une borne inférieure à l'espérance d'un estimateur. Pour toute variable aléatoire X et un estimateur ${\displaystyle {\widehat {X}}}$, on a alors le résultat^[1]:

${\displaystyle \mathbb {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi {\rm {e}}}}{\rm {e}}^{2h(X)}}$

avec égalité si et seulement si ${\displaystyle X}$ suit une loi normale et ${\displaystyle {\widehat {X}}}$ est l'espérance de X.

Dans le tableau qui suit, ${\textstyle \Gamma (x)=\int _{0}^{\infty }{\rm {e}}^{-t}t^{x-1}{\rm {d}}t}$ est la fonction gamma, ${\textstyle \psi (x)={\frac {\rm {d}}{{\rm {d}}x}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ est la fonction digamma, ${\textstyle \mathrm {B} (p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$ est la fonction bêta, et γ est la constante d'Euler-Mascheroni.

Table d'entropies différentielles de lois usuelles^{[3](pp120–122)}.

Distribution	Fonction de distribution de probabilités	Entropie
Loi uniforme continue	${\displaystyle f(x)={\frac {1}{b-a}}1\!\!1_{[a,b]}}$	${\displaystyle \ln(b-a)\,}$
Loi normale	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \ln \left(\sigma {\sqrt {2\pi \,{\rm {e}}}}\right)}$
Loi exponentielle	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle 1-\ln \lambda \,}$
Loi de Cauchy	${\displaystyle f(x)={\frac {\lambda }{\pi }}{\frac {1}{\lambda ^{2}+x^{2}}}}$	${\displaystyle \ln(4\pi \lambda )\,}$
Loi du χ²	${\displaystyle f(x)={\frac {1}{2^{n/2}\sigma ^{n}\Gamma (n/2)}}x^{{\frac {n}{2}}-1}\exp \left(-{\frac {x}{2\sigma ^{2}}}\right)}$	${\displaystyle \ln 2\sigma ^{2}\Gamma \left({\frac {n}{2}}\right)-\left(1-{\frac {n}{2}}\right)\psi \left({\frac {n}{2}}\right)+{\frac {n}{2}}}$
Distribution Gamma	${\displaystyle f(x)={\frac {x^{\alpha -1}\exp(-{\frac {x}{\beta }})}{\beta ^{\alpha }\Gamma (\alpha )}}}$	${\displaystyle \ln(\beta \Gamma (\alpha ))+(1-\alpha )\psi (\alpha )+\alpha \,}$
Loi logistique	${\displaystyle f(x)={\frac {{\rm {e}}^{-x}}{(1+{\rm {e}}^{-x})^{2}}}}$	${\displaystyle 2\,}$
Statistique de Maxwell-Boltzmann	${\displaystyle f(x)=4\pi ^{-{\frac {1}{2}}}\beta ^{\frac {3}{2}}x^{2}\exp(-\beta x^{2})}$	${\displaystyle {\frac {1}{2}}\ln {\frac {\pi }{\beta }}+\gamma -{\frac {1}{2}}}$
Distribution de Pareto	${\displaystyle f(x)={\frac {ak^{a}}{x^{a+1}}}}$	${\displaystyle \ln {\frac {k}{a}}+1+{\frac {1}{a}}}$
Loi de Student	${\displaystyle f(x)={\frac {(1+x^{2}/n)^{-{\frac {n+1}{2}}}}{{\sqrt {n}}\mathrm {B} ({\frac {1}{2}},{\frac {n}{2}})}}}$	${\displaystyle {\frac {n+1}{2}}\psi \left({\frac {n+1}{2}}\right)-\psi \left({\frac {n}{2}}\right)+\ln {\sqrt {n}}\,\mathrm {B} \left({\frac {1}{2}},{\frac {n}{2}}\right)}$
Distribution de Weibull	${\displaystyle f(x)={\frac {c}{\alpha }}x^{c-1}\exp \left(-{\frac {x^{c}}{\alpha }}\right)}$	${\displaystyle {\frac {(c-1)\gamma }{c}}+\ln {\frac {\alpha ^{1/c}}{c}}+1}$
Loi normale multidimensionnelle	${\displaystyle f_{X}(x_{1},\dots ,x_{N})=}$ ${\displaystyle {\frac {1}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)}$	${\displaystyle {\frac {1}{2}}\ln \left[(2\pi {\rm {e}})^{N}|\Sigma |\right]}$

• Loi de probabilité d'entropie maximale

• (en) Eric W. Weisstein, « Differential Entropy », sur MathWorld

• Portail des mathématiques
• Portail de l’informatique