De stemintenties die uit deze twee internetenquêtes komen, zijn weinig betrouwbaar: we weten niet wat de medewerkingsgraad is, er is geen probabiliteitssteekproef en er bestaat risico op surveyfraude.
Wat zijn de gelijkenissen en de verschillen tussen de Grote Politieke Peiling van Knack en De Stemming van VRT–De Standaard? Het commercieel enquêtebedrijf Kantar voerde beide peilingen uit. Telkens betrof het een internetenquête, waarbij voor Knack een 1.000-tal en voor VRT-De Standaard zowat het dubbel aantal potentiële kiezers werden bevraagd. Voor VRT-De Standaard peilde Kantar tussen 8 januari en 22 januari en voor Knack tussen 22 januari en 8 februari 2024. De deelnemers van beide onderzoeken werden gerekruteerd uit bestaande internetpanels. Deze panels bestaan uit personen die zichzelf kandidaat hebben gesteld om voor Kantar op geregelde tijdstippen enquêtes in te vullen, zogenaamde opt-in panels.
Het gaat dus eigenlijk om één groter onderzoek dat opgesplitst is tussen twee opdrachtgevers. Trends in stemintenties kunnen daaruit niet afgeleid worden, zelfs al zouden aan alle deelnemers net dezelfde vragen zijn gesteld.
ACADEMISCH SÉRIEUX KOPEN
Een belangrijk verschil is dat Knack het bescheiden bij de internetenquête houdt, terwijl VRT-De Standaard via het opvoeren van de professoren Stefaan Walgrave (UA) en Jonas Lefevere (UA) academisch sérieux inkoopt. Beiden schrijven in de methodologische nota dat ze niet weten wat de medewerkingsgraad is – Kantar wil die uit commerciële overwegingen immers niet bekend maken – en merken op dat de verzamelde data geen probabiliteitssteekproef (elke potentiële kiezer heeft dezelfde kans om opgenomen te worden in de studie) uitmaken.
Kort gesteld belet deze aanpak de berekening van onzekerheidsmarges, omdat dat slechts haalbaar is bij een probabiliteitssteekproeftrekking. De onderzoekers weten, met andere woorden, dat De Stemming geen statistische veralgemening toelaat, maar framen het onderzoek wel als zodanig.
Tussen haakjes: het is bekend dat de medewerkingsgraad aan internetenquêtes gemiddeld 5 à 20% bedraagt, en dat politiek en stemgedrag voor respondenten onpopulaire thema’s zijn. De vermoedelijk zeer lage medewerkingsgraad heeft hier als gevolg dat men een zeer specifieke zelfselectie uit alle kiezers krijgt, die niet zonder meer door een weging kan worden weggewerkt. De zelfselectiemechanismen zijn hier immers onbekend, en zijn zeker niet at random.
PROBILITEITSSTEEKPROEVEN ALS TOETSSTEEN
Eenzelfde marktonderzoeksbedrijf, een selectie van kiezers uit eenzelfde populatie, eenzelfde weging (om de steekproef in overeenstemming te brengen met de gekende demografische kenmerken van de gehele Vlaamse bevolking – leeftijd, geslacht, provincie) en een gelijkaardige smoothing (om retrospectief het gerapporteerde stemgedrag in overeenstemming te brengen met het gekende stemgedrag in 2019) en men zou verwachten dat de uitkomsten van het opgesplitste onderzoek in beide deelsteekproeven (de Grote Politieke Peiling en De Stemming), behoudens toevalsfluctuaties, gelijk zijn.
Dat klopt voor alle partijen, maar voor N-VA (18,9% in De Stemming) is het kantje boordje. Het tweezijdig betrouwbaarheidsinterval situeert zich aan de bovenste zijde op de puntschatting van De Stemming, dus pal op 20,6%. Net dat resultaat behaalt de partij in het onderzoek voor Knack. Berekenend op de puntschattingen van de Grote Politieke Peiling en De Stemming verliest N-VA op een maand tijd dus 9% van haar electoraat zonder aanwijsbare reden. Dit plaatst een vraagteken bij de robuustheid en betrouwbaarheid van de bekomen stemintenties.
Er zijn in België twee academische verkiezingsonderzoeken die op een probabiliteitssteekproef (uit het Rijksregister) gebaseerd zijn: het Belgische Nationaal Verkiezingsonderzoek 2019 (BNES 2019), waaraan ondergetekende meewerkte, en de eerste bevraging van de panelstudie RepResent 2019 (RP19), die mede werd uitgetekend door Stefaan Walgrave en Jonas Lefevere (UA). Voor deze surveys werden kiezers door de onderzoekers toevallig uit alle kiezers geselecteerd en vervolgens door interviewers bij hen thuis bevraagd. Hoewel beide onderzoeken hun veldwerk deden in de periode 2019-2020, in volle coronapandemie voor BNES19, weten we dat de gedragingen en attitudes van kiezers slechts geleidelijk aan wijzigen. Deze probabiliteitsteekproeven kunnen bijgevolg dienen als toetssteen om de betrouwbaarheid van beide internetenquêtes na te gaan.
Weinig verrassend legt zo’n vergelijking enkele opvallende verschillen bloot.
Eerste vaststelling. Hoewel beide internetbevragingen aangeven dat 10% van de bevraagde kiezers niet weet voor wie ze gaat stemmen, tonen de gegevens in BNES19 dat 46% van de respondenten pas tijdens de campagne hun stemkeuze bepaalt. Ook in RP19 geeft 61,2% (en dus geen 90%) van de Vlaamse kiezers aan al bij de start van de campagne besloten te hebben voor wie ze zouden stemmen. Allicht hebben we in deze internetenquêtes dus te maken met een bijzonder standvastig segment van het electoraat. In dat geval hebben we een vertekende steekproef van sterk gemotiveerde kiezers, wat de meerderheid van de kiezers niet is.
Een tweede verwonderlijke vaststelling is dat de internetenquêtes het absenteïsme (zeker weten dat men nooit zal gaan stemmen) bij een afschaffing van de opkomstplicht bijzonder laag inschatten. Voor CD&V, dat traditioneel een ouder electoraat heeft, zou deze groep volgens De Stemming slechts 1% bedragen. Met een gelijkaardige vraagstelling schat de BNES19 het absenteïsme bij CD&V echter op 15,9%, terwijl RP19 het op 8% houdt. Ook voor N-VA (9% versus 17% en 14%) en Vlaams Belang (20% versus 35% en 24%) wordt het verlies aan kiezers schromelijk onderschat.
In het rapport van De Stemming wordt het lage absenteïsme bij het CD&V-electoraat verklaard door de hoge leeftijd van de gemiddelde christendemocratische kiezer. Paradoxaal genoeg stellen RepResentonderzoekers in hun boek over de verkiezingen van 2019, waarvan Lefevere mederedacteur is, net dat oudere kiezers minder zouden gaan stemmen (bij de Europese verkiezingen; de federale verkiezingen worden niet besproken in dit boek), wat in overeenstemming is met de bevindingen uit de BNES19 (voor de federale verkiezingen) en heel wat internationaal onderzoek. Ouderen zijn gemiddeld genomen nu eenmaal minder goed ter been. Het is opnieuw een sterke aanwijzing dat de zelfselectie van respondenten (potentiële kiezers) voor deze internetenquête(s) zeer gemotiveerde kiezers heeft opgeleverd, niet vergelijkbaar met de modale Vlaamse kiezer.
HET RISICO OP SURVEYFRAUDE
Naast de vragen over de lage participatiegraad, de robuustheid van de bekomen stemintenties en de vertekende samenstelling van de steekproef, stelt zich nog het mogelijke probleem van surveyfraude bij opt-in internetenquêtes.
In tijden waarin internetfraude bewezen bijgedragen heeft aan de Brexit en de verkiezing van Donald Trump, zou het naïef zijn manipulatie van internetenquêtes uit te sluiten. Hoewel Kantar poogt om frauduleuze invulling van vragenlijsten zo laag mogelijk te houden (met als doel om de kosten te beperken van de uitbetaling aan valse respondenten) en wij over geen enkele aanwijzing in dit verband beschikken, zou het volledig uitsluiten ervan onvoorzichtig zijn. De Poetins, Xi’s en andere niet-democratische regimes en organisaties van deze wereld zullen niet nalaten om de verkiezingen in democratische landen proberen te beïnvloeden. Eén manier om dit te doen, is enquêtes proberen te manipuleren via bots (die ondertussen hun e-mailadres kunnen bevestigen), via buitenlandse deelnemers die zich voordoen als Belgen (al dan niet via VPN-verbindingen), of door het aanzetten van personen met bepaalde politieke profielen om deel te nemen aan internetenquêtes.
Maar we moeten het niet altijd zo ver gaan zoeken. Ook politieke partijen kunnen hun leden aanzetten om deel te nemen aan deze opt-in panels en om politieke enquêtes zeker en vast in te vullen. Met activiteiten van partijmilitanten op Facebook, X en andere sociale media in gedachte valt dit zeker niet uit te sluiten. Opt-in panels zoals gebruikt bij De Stemming en De Grote Politieke Peiling, maar ook de bij peilingen van VTM, De Morgen en Gazet van Antwerpen, zijn hier uiterst gevoelig voor. Bij internetenquêtes gebaseerd op opt-in panels kan iedereen die dit wil, deelnemen. Terwijl de academische standaard voor probabiliteitssteekproeven dit niet toelaat en men daar moet uitgenodigd worden om deel te nemen. En die deelnemerslijst wordt door strenge criteria bepaald zodat surveymanipulatie haast uitgesloten is.
DE BURGER VERDIENT BETER
De Stemming geeft de indruk alsof sommige politicologen en sociologen als wetenschappers tevreden zouden zijn met een kaduke telescoop, waarmee ze een voor hen onbekende selectie uit meerdere melkwegstelsels kunnen bestuderen. Deze gegevens vervolgens wegen opdat ze in de juiste proportie zouden staan van wat gekend is over het gehele heelal, zou hun moeten toelaten om te beweren dat ze geldige en betrouwbare uitspraken kunnen doen over dat heelal.
De politieke wetenschap, de geïnteresseerde burger die hoogkwalitatieve informatie mag verwachten en de verkiezingen als scharniermoment van de democratie verdienen beter.
— Deze bijdrage verscheen bij SamPol.
