Pourquoi nous croire
Le modèle a été rejoué sur avril 2019, novembre 2019 et 2023, chaque fois sans le scrutin testé pour l'incertitude, les biais, les instituts et la géographie. L'élargissement final de l'incertitude a été choisi en connaissant ces scrutins. 38 observations parti par scrutin.
Bilan strict, avec un élargissement choisi chaque fois sans le scrutin testé : parts dans l'intervalle à 90 % pour 35 résultats sur 38 et à 50 % pour 19 ; sièges dans l'intervalle à 90 % pour 37 et à 50 % pour 24.
Les quatre repères ci-dessous utilisent l'élargissement retenu, choisi en connaissant ces scrutins : ils sont plus favorables que le bilan strict.
37 sur 38résultats en sièges dans l'intervalle à 90 %
13 sur 13grands partis dans l'intervalle à 90 % en sièges
36 sur 38résultats en parts dans l'intervalle à 90 %
0,068Brier moyen, contre 0,167 pour les sondages pris tels quels
Erreur absolue moyenne des parts. Avril 2019 : 0,79 point contre 0,83 pour la moyenne brute des sondages. Novembre 2019 : 0,56 point contre 0,58 pour la moyenne brute des sondages. 2023 : 0,53 point contre 0,66 pour la moyenne brute des sondages.
Nos écarts
- Les intervalles à 50 % des sièges sont trop larges : ils contiennent le résultat dans 24 cas sur 38.
- En 2023, le modèle rejoué donnait à la droite 53 chances sur 100 d'atteindre 176 sièges. Elle ne les a pas atteints.
- En avril 2019, avec un élargissement choisi sans ce scrutin, l'intervalle à 90 % des parts n'a contenu le résultat que pour 75 % des partis.
Le test loin du vote
Pour chaque scrutin passé, nous prenons le dernier sondage de chaque institut disponible à une date donnée avant le vote, puis nous regardons si le résultat tombe dans l'intervalle de part donné par notre incertitude à cet horizon. Ce test porte sur les parts, pas sur les sièges, et ne repasse pas par toute la chaîne du modèle.
Scrutins couverts : 2016, avril 2019, novembre 2019 et 2023. Ce test est en échantillon : l'incertitude d'élection et son élargissement ont été mesurés sur ces mêmes scrutins. Il vérifie surtout que l'incertitude grandit assez loin du vote.
Les limites
- Trois scrutins seulement servent de test : un raté pèse un tiers du bilan.
- La validation croisée porte sur les sondages des quatorze derniers jours. Loin du vote, la dérive n'est testée qu'en échantillon ; la loi des listes nouvelles et leur majoration ne sont pas testées.
- Le Brier repose sur 6 événements. C'est trop peu pour un classement.
- Les sondages retenus pour ce tirage sont tous vérifiés à la source primaire. Les sondages historiques sont transcrits de sources secondaires.
- Aucun forecast espagnol du Millénaire n'a encore été publié puis confronté au résultat.