Sondages et marges d'erreur
Alexandre Delaigue vendredi 15 octobre 2010 15:01 Lies, damn lies and statistics

Hier soir, Ceteris Paribus s'énervait sur twitter à propos de cet article du Point consacré à l'élection brésilienne expliquant que :

Un sondage de l'institut Sensus diffusé jeudi crédite Mme Rousseff, 62 ans, de 46,8% des intentions de vote et José Serra, 68 ans, de 42,7%. Cela "montre une grande probabilité que les deux candidats soient à égalité" car la marge d'erreur du sondage est de 2,2%, a expliqué un responsable de l'enquête.

Un coup classique du commentaire de sondage. Lorsque l'écart entre deux candidats devient plus petit que la marge d'erreur, on trouvera toujours quelqu'un pour dire que "la course est devenue très serrée". Imaginez par exemple qu'un sondage pour l'élection présidentielle donne 51% pour le candidat A, 49% pour le candidat B, mais avec une "marge d'erreur" de 3% pour le sondage. Considérant implicitement que cette marge d'erreur signifie que le résultat du candidat A peut se trouver n'importe où entre 48% et 54%, et le candidat B n'importe où entre 46% et 52%, un spécialiste en politologie (option tiercé) vous dira qu'il est devenu très probable que le candidat B l'emporte malgré son retard dans les sondages.

C'est évidemment faux. Mais comment l'expliquer rigoureusement? J'ai alors fait appel à Arthur Charpentier pour qu'il concocte un de ces posts dont il a le secret sur le sujet. Arthur trouve que la "grande probabilité" en question est de... 2,6% de chances que Serra l'emporte. Effectivement, c'est énorme, la course Bresilienne est très serrée...

D'un côté, je comprends le "responsable de l'enquête" brésilien : plus la course à la présidentielle apparaîtra comme serrée, plus il aura l'occasion de vendre des enquêtes. On pourrait dire aussi que l'article nous indique que l'avance de Roussef dans les sondages diminue, étant passée de 6 à 4 points. C'est énorme! Cela signifie que les chances de victoire de Roussef sont passées de 99,8% à 97,4%. Un effondrement total, effectivement...

Ironiquement, cette erreur des commentateurs correspond à une incompréhension de la signification de la marge d'erreur. Lorsqu'on dit que "le sondage donne 48% d'intentions de vote au candidat, avec une marge d'erreur de 2%" cela signifie la chose suivante : "il y a 95% de chances qu'un autre sondage donne un résultat compris entre 46 et 50% si les intentions de vote restent inchangées à 48%".

En somme, supposez un candidat dont les intentions de vote restent obstinément à 48%. Il est extrêmement probable que, de sondage en sondage, on observe du "bruit", c'est à dire qu'un sondage donnera un peu plus de 48%, un autre un peu moins; il est même tout à fait possible d'observer une séquence de sondages en dessous de cette valeur de 48%. Et cela n'a aucune signification.

Ce qui est très embêtant : si le seul commentaire de faibles variations dans les sondages était "ça n'a aucune signification" on se demande bien ce que pourraient raconter nos commentateurs politiques, capables de remplir des pages et des heures d'émissions d'analyses de haut vol à base de fluctuations infinitésimales d'un sondage à l'autre. S'ils n'avaient pas cela, ils seraient obligés de s'informer pour avoir des choses à raconter à leurs lecteurs. Faut pas déconner, non plus.

6 commentaires