@El Gordo : Haluan vielä esittää sinulle ja kenties muillekin vaaliennusteista kiinnostuneille yhden kommentin. Brier score (
Brier score - Wikipedia ) on yleisesti käytetty ennusteiden tarkkuuden mittari, jota tavallisessa muodossaan käytetään juuri binääristen tapahtumien ennusteiden arvioon. En ole laskenut Brier scorea Predictwiselle ja Fivethirtyeightille, mutta otan havainnollistavan esimerkin joka näyttää että sinkoilulla ääripäästä toiseen on väliä.
Eli ennustetaan Yhdysvaltain presidentinvaaleja ja ennuste julkaistaan viisi kertaa ennen itse tapahtumaa. Mitä alhaisempi Brier-arvo, sitä parempi ennuste. Esimerkissä ennustajat A ja B päätyvät seuraaviin sarjoihin:
A: 0.5, 0.6, 0.7, 0.7, 0.8
B: 0.3, 0.9, 0.4, 0.95, 0.6
A:n ennuste on siis tasaisempi ja B:n ennusteessa on enemmän heiluntaa. Sarjojen luvut keksin päästä esimerkin tarpeisiin. Näillä arvoilla saadaan Hillaryn voittaessa A:lle BS = 0.126 ja B:lle BS = 0.2045. BS saa aina arvon nollan ja ykkösen väliltä, ja A:n ennuste on ollut huomattavasti B:tä parempi mikäli Hillary voittaa. Kuitenkin jos A olisi ennustanut koko ajan sadan prosentin todennäköisyyttä Hillarylle, tuskin oltaisiin sitä mieltä että malli olisi hyvä tai luotettava vaikka tällöin Brier score näyttäisi nollaa eli parasta mahdollista. Katsotaan siis toinenkin skenaario:
Mitä käy josTrump voittaa? Nyt A:n BS = 0.446 ja B:n BS = 0.4645. Ero onkin kenties yllättäen jälleen A:n eduksi, vaikka A on koko ajan ennustanut Trumpille korkeintaan 50% voittomahdollisuutta.
Esimerkissä siis A:n Brier score on alhaisempi ja ennuste siten parempi kuin B:n
molemmissa mahdollisissa tapauksissa. Tällä aiemman kirjoittelemani lisäksi haluan siis osoittaa, että vaihtelu ennusteessa ei ole merkityksetöntä niiden paremmuutta arvioidessa.
edit: Korjattu luvut oikeille paikoilleen.