Bienaymé-Tchebychev — Concentration, loi des grands nombres

Inégalité de Bienaymé-Tchebychev (démontrée). Soit $X$ une variable aléatoire d'espérance $\mu$ et de variance $V$. Pour tout réel $\delta >0$ :

Deux lectures. Par le contraire, $P(|X-\mu |<\delta )⩾1-\frac{V}{{\delta }^2}$ : $X$ tombe dans $]\mu -\delta ;\mu +\delta [$ avec une probabilité au moins $1-\frac{V}{{\delta }^2}$. Avec $\delta =k\sigma$ ($\sigma =\sqrt{V}$, $k>0$), la borne devient $\frac{1}{k^2}$ : $\frac{1}{4}$ au-delà de $2\sigma$, $\frac{1}{9}$ au-delà de $3\sigma$. Des écarts de quelques $\sigma$ sont improbables : $P(|X-\mu |⩾k\sigma )⩽\frac{1}{k^2}$. Pour $\delta ⩽\sigma$, la borne vaut au moins 1 et n'apprend rien.

Appliquer l'inégalité de Bienaymé-Tchebychev

1. Calculer $\mu$ et la variance $V$, pas l'écart type. Rappel : pour la loi $\mathcal{B}(n;p)$, $\mu =np$ et $V=np(1-p)$.
2. Écrire l'événement comme un écart à $\mu$, $\{|X-\mu |⩾\delta \}$ ou son contraire : un intervalle centré en $\mu$. Si $X$ et $\mu$ sont entiers, $|X-\mu |⩽9$ équivaut à $|X-\mu |<10$.
3. Conclure par une inégalité, jamais par une égalité : on obtient une borne, pas la probabilité.

On lance 180 fois un dé équilibré ; $X$ est le nombre de six. Majorer $P(|X-30|⩾10)$, puis minorer $P(20<X<40)$.

1. Lancers indépendants : $X$ suit $\mathcal{B}\left(180;\frac{1}{6}\right)$, $\mu =30$ et$V=180\times \frac{1}{6}\times \frac{5}{6}=25$$\sigma =5$ : un écart de 10 est un écart de $2\sigma$.
2. Avec $\delta =10$, $P(|X-30|⩾10)⩽\frac{V}{{\delta }^2}$, et :$\frac{25}{10^2}=0,25$$\{20<X<40\}=\{|X-30|<10\}$ est l'événement contraire.

$P(|X-30|⩾10)⩽0,25$ et $P(20<X<40)⩾1-0,25=0,75$. La loi binomiale donne la valeur exacte de l'écart, environ 0,057 : la borne est juste, mais large.

échantillon et moyenne (rappel) — Rappel du chapitre « Sommes de variables aléatoires ». Un échantillon de taille $n$ d'une loi est une liste $(X_1,\dots ,X_n)$ de variables aléatoires indépendantes suivant cette loi, d'espérance $\mu$ et de variance $V$. Avec $S_n=X_1+\cdots +X_n$ et $M_n=\frac{S_n}{n}$, la linéarité de l'espérance et l'additivité de la variance donnent $E(S_n)=n\mu$, $V(S_n)=nV$, puis :

Inégalité de concentration (démontrée). Si $M_n$ est la moyenne d'un échantillon de taille $n$ d'une variable aléatoire d'espérance $\mu$ et de variance $V$, alors pour tout réel $\delta >0$, l'inégalité ci-dessous a lieu. Preuve : Bienaymé-Tchebychev appliquée à $M_n$, d'espérance $\mu$ et de variance $\frac{V}{n}$, donne la borne $\frac{V/n}{{\delta }^2}$.

Loi des grands nombres (démontrée). Pour tout réel $\delta >0$, $P(|M_n-\mu |⩾\delta )$ tend vers 0 quand $n$ tend vers $+\infty$. Preuve : $0⩽P(|M_n-\mu |⩾\delta )⩽\frac{V}{{\delta }^2}\times \frac{1}{n}$, et $\frac{1}{n}$ tend vers 0 : le théorème des gendarmes conclut. Quelle que soit la précision $\delta$ fixée à l'avance, un grand échantillon a une moyenne qui ne s'écarte de $\mu$ d'au moins $\delta$ qu'avec une probabilité aussi petite qu'on veut.

Fréquence et probabilité. Dans un schéma de Bernoulli, avec $X_i=1$ en cas de succès et 0 sinon, $\mu =p$, $V=p(1-p)$ et $M_n=F_n$ est la fréquence des succès. À $\delta$ près, $F_n$ est proche de $p$ avec une probabilité qui tend vers 1 : c'est le « théorème d'or » de Jacques Bernoulli (1713), qui justifie d'estimer une probabilité par une fréquence. Comme $p(1-p)=\frac{1}{4}-{\left(p-\frac{1}{2}\right)}^2⩽\frac{1}{4}$, on a, quel que soit $p$, $P(|F_n-p|⩾\delta )⩽\frac{1}{4n{\delta }^2}$.

Simuler N échantillons de taille n

1. Distinguer $n$ et $N$ : $n$ est la taille d'un échantillon, $N$ le nombre d'échantillons. Les $N$ moyennes forment une série, d'écart type $s$.
2. Comparer $s$ à $\frac{\sigma }{\sqrt{n}}$, et non à $\frac{\sigma }{\sqrt{N}}$ : c'est $n$ qui fixe la dispersion d'une moyenne. Compter les moyennes à au plus $ks$, ou $k\frac{\sigma }{\sqrt{n}}$, de $\mu$ ($k=1$, 2, 3), et confronter à la garantie $1-\frac{1}{k^2}$ : 0,75 pour $k=2$, environ 0,889 pour $k=3$.

On lance $n=100$ fois un dé équilibré ($\mu =3,5$). Majorer $P(|M_{100}-3,5|⩾0,5)$, puis confronter la théorie à la simulation ci-dessus.

1. Pour un lancer, $E(X^2)=\frac{91}{6}$, donc $V=\frac{91}{6}-3,5^2=\frac{35}{12}$. Concentration avec $\delta =0,5$ :$\frac{35}{12}÷(100\times 0,5^2)=\frac{7}{60}\approx 0,117$dans la simulation, 7 moyennes sur 1 000 seulement s'écartent autant de 3,5.
2. Écart type théorique de $M_{100}$ : $\frac{\sigma }{\sqrt{100}}\approx 0,1708$, proche de $s\approx 0,1796$ ; à au plus $\frac{2\sigma }{\sqrt{n}}$ de $\mu$, 94,5 % des moyennes, pour une garantie de 75 %.

$P(|M_{100}-3,5|⩾0,5)⩽0,117$ ; la simulation confirme le facteur $\frac{1}{\sqrt{n}}$, et des bornes justes mais larges.

marche aléatoire — Un pion part de 0 sur une droite graduée ; à chaque pas, il avance ou recule de 1, avec la probabilité $\frac{1}{2}$ chacun, indépendamment des pas précédents. Après $n$ pas, il est en $S_n=X_1+\cdots +X_n$, où $X_i$ vaut $1$ ou $-1$ : $E(X_i)=0$, $V(X_i)=1$, donc $E(S_n)=0$ et $V(S_n)=n$. Ainsi $P(|S_n|⩾2\sqrt{n})⩽\frac{1}{4}$, et $\frac{S_n}{n}$ se concentre autour de 0, mais pas $S_n$.

Trouver une taille d'échantillon suffisante

1. Fixer la précision $\delta$ et le risque $\alpha$ : on veut $P(|M_n-\mu |⩾\delta )⩽\alpha$.
2. Condition suffisante : par concentration, il suffit que $\frac{V}{n{\delta }^2}⩽\alpha$, soit $n⩾\frac{V}{\alpha {\delta }^2}$. Si $V$ est inconnue, on la majore : $\frac{1}{4}$ pour une fréquence.
3. Arrondir à l'entier supérieur et conclure « une taille de … suffit ».condition suffisante, pas nécessaire : une taille plus petite convient peut-être, sans que l'inégalité le prouve.

Un institut estime la proportion $p$ de personnes favorables à un projet par la fréquence $F_n$ observée sur $n$ personnes choisies au hasard, de façon indépendante. Il veut $P(|F_n-p|⩾0,05)⩽0,05$. Quelle taille suffit ?

1. $p$ est inconnue : $P(|F_n-p|⩾0,05)⩽\frac{1}{4n\times 0,05^2}$, et il suffit que cette borne soit au plus 0,05, soit $n$ au moins$\frac{1}{4\times 0,05\times 0,05^2}=2000$

2 000 personnes suffisent (contrôle : $\frac{1}{4\times 2000\times 0,05^2}=0,05$). Il n'en faut pas forcément autant : pour $p=0,5$ et $n=400$, le calcul binomial exact donne déjà $P(|F_{400}-0,5|⩾0,05)\approx 0,051$.