Opinie Wouter de Heij
Huidige stikstofcalculaties helpen niemand vooruit
Meten is weten. Dat zou je denken. Nou kan de dokter heel precies je temperatuur meten, maar daaruit nog niet direct concluderen of je wel of niet ziek bent. Hetzelfde geldt voor de natuur en Aerius, de thermometer van de ecoloog. Dat stelt Wouter de Heij, opgeleid als chemisch ingenieur en actief als ondernemer op gebied van voedingsinnovatie.
Stel dat artsen besluiten iemand ziek te noemen als zijn lichaamstemperatuur boven de 37,0°C komt. Hoewel die grenswaarde theoretisch heel duidelijk en nauwkeurig lijkt, treedt meteen een vraagstuk op. Dat blijkt al snel als we naar de meetapparatuur kijken. Een thermometer met een schaalverdeling van 0,2°C kan slechts met stappen van 0,2°C graden meten. De dokter kan geen temperatuurschommelingen vastleggen met meer cijfers achter de komma.
De schijn van precisie
Het voorbeeld laat zien hoe precisie in de praktijk van de medische wereld functioneert. Artsen snappen dat de lichaamstemperatuur van individuen binnen een bepaald bereik varieert. Daarom hanteren ze geen harde grens maar een range. In zijn dagelijkse praktijk heeft de dokter meer aan diagnostische criteria dan aan schijnbaar 'keiharde' precisie om zijn patiënt beter te maken. Omdat de lichaamstemperatuur van volwassenen zich beweegt tussen 35,5°C en 37,2°C is het stellen van een grens op 37,0°C niet zinvol in de medische praktijk, maar ook niet wetenschappelijk omdat je de toestand van mensen er verkeerd mee interpreteert.
We gaan nog een stapje dieper. Stel dat iemand een koortsthermometer heeft met een display met vijf cijfers achter de komma en de dokter leest er 37,23542°C op af. Als deze persoon 0,03542°C boven de typische bovengrens van 37,2°C zit, zou je kunnen denken dat hij ziek is. De nauwkeurigheid van een meetinstrument is echter niet alleen afhankelijk van het aantal decimalen dat het kan weergeven, maar ook van de feitelijke precisie van de uitgevoerde meting. Als de thermometer een maximale nauwkeurigheid heeft van één cijfer achter de komma, betekent dit dat alleen het cijfer voor de komma als significant wordt beschouwd. In dit geval is de gemeten temperatuur van 37,23542°C feitelijk slechts nauwkeurig tot 37,2°C, omdat de decimalen niet significant zijn. Noch voor de meting zelf (die geen 'feit' maar wel een getal oplevert), noch voor de diagnose.
De twee voorbeelden laten zien dat het belangrijk is om duidelijk te zijn over wat nauwkeurigheid betekent. In de wetenschap, geneeskunde en zelfs de juridische wereld moeten we ons bewust zijn van de beperkingen en nauwkeurigheid (die in vaktermen ruis wordt genoemd) van meetinstrumenten, regelgeving en normen om weloverwogen beslissingen te nemen en de juiste conclusies te trekken. Nauwkeurigheid is niet alleen een kwestie van cijfers, maar ook van begrip van de context waarin die worden gemeten en gebruikt worden.
Aerius, de thermometer van de ecoloog
Ook in het stikstofdossier speelt een vergelijkbare behoefte aan nauwkeurigheid. We gaan op zoek naar de begrippen in het stikstofdossier die soortgelijke functies vervullen als koorts ter indicatie van ziekte. Kernvraag: welke thermometer gebruiken we in het stikstofdossier om de gezondheid van de natuur vast te stellen?
De norm voor ziekte in het geval van koorts is bijvoorbeeld een lichaamstemperatuur van 37,2°C of hoger. Hoe hoger je boven deze lichaamstemperatuur zit, hoe groter de kans dat je daadwerkelijk ziek bent. Maar artsen weten dat dit slechts een kans is en dat ze ook andere aspecten in ogenschouw moeten nemen. Denk aan uiteenlopende zaken als lichamelijk inspanning, de omgevingstemperatuur of een hoog stressniveau. Ook zulke factoren kunnen je temperatuur beïnvloeden.
Bij het monitoren van de grens waar de natuur door stikstofemissies in gevaar komt, gebruikt Nederland de kritische depositiewaarde (KDW). Deze waarde is vergelijkbaar met de 37,2°C grenswaarde op de thermometer die de dokter gebruikt. De KDW geeft aan dat er een kans is dat de natuur verslechtert. Als de KDW wordt overschreden, neemt de kans toe dat de kwaliteit van de natuur achteruitgaat. Blijven we echter onder de KDW, dan zijn de risico's voor stikstofdepositie niet aanwezig of verwaarloosbaar.
De KDW is vastgesteld door ecologen. Dat deden ze vooral op basis van praktijkonderzoek waarin mest (stikstof) op de grond wordt aangebracht. Dat gebeurt in min of meer precieze stapjes. Het kan gedaan worden met 5, 10, 20 of zelfs 50 kilo stikstof per hectare. De praktijk is echter dat er geen onderzoek per hectare wordt uitgevoerd, maar eerder op een veel kleiner oppervlak, zoals een vierkante meter. Het gebeurt zelfs vooral in bloempotten omdat die preciezere metingen mogelijk maken. En dat laatste geeft aan dat het onderzoek buiten de natuur in een laboratoriumopstelling wordt gedaan.
Bij koorts gebruikt de dokter een koortsthermometer als meetinstrument in een real life situatie. Er vindt een echte meting plaats. In de ecologie hebben we echter geen 'meter' die de totale depositie even gemakkelijk kan bepalen. Zelfs academische onderzoekers kunnen de depositie vrijwel niet nauwkeurig meten in de praktijk, laat staan tot waarden achter de komma. Daarom heeft de overheid, die verantwoordelijk is voor de bewaking van de staat van de natuur in Nederland, ervoor gekozen om het computermodel Aerius te gebruiken. Dat is gekalibreerd aan de hand van enkele feitelijke metingen van stikstofconcentratie in de lucht; Aerius zelf is een model waarmee berekeningen worden uitgevoerd. Het meet niet, maar berekent aan de hand van veronderstellingen wat de totale stikstofdepositie in een gebied is per hectare per jaar. Wat de thermometer is in handen van de dokter, is Aerius in handen van ecologen.
Precisie en juistheid
Ook al kan de dokter heel precies je temperatuur meten, we zagen dat de dokter meer heeft aan diagnostische criteria dan een harde en precieze grenswaarde om de gezondheidstoestand van zijn patiënt in te schatten. Hoe het zit met de nauwkeurigheid van de KDW en die van Aerius als ecologische thermometer in de vorm van rekenmodel?
Eerst iets over het begrip 'juistheid'. Juistheid is in de statistiek de mate van overeenstemming tussen de (gemiddelde) waarde van een reeks waarnemingen en de werkelijke waarde. De juistheid van een waarde die je hanteert als uitgangspunt voor een diagnose wordt bepaald door de zogeheten systematische fout. Hoe meer de waarden systematisch afwijken van de werkelijke waarde, hoe minder juist de waarnemingen zijn. De omvang van systematische fouten is afhankelijk van het aantal onbekende factoren - en hun onderlinge invloed op elkaar - die als ruis om de onderzochte factor een rol spelen. Wie de systematische fout niet in kaart brengt, krijgt modellen die met de werkelijkheid op de loop gaan.
Nog een begrip uit de statistiek: precisie. Dat duidt iets heel anders aan. Precisie is de mate waarin de metingen of berekeningen onderling verschillen, of hoe consistente metingen en de daarop toegepaste algoritmen steeds dezelfde resultaten opleveren. Precisie wordt bepaald door de toevallige fout. Hoe kleiner de toevallige afwijkingen, hoe groter de precisie. De impact van de twee concepten op je begrip van de werkelijkheid kun je begrijpen aan de hand van het voorbeeld van het schieten op een roos.
Bron: Wikipedia
In het linkerplaatje zie je dat de precisie hoog is omdat de punten dicht bij elkaar liggen. Tegelijk zie je dat de juistheid laag is omdat ze ver van de roos af zitten. Dat duidt op een systematische fout. In het rechterplaatje zie je dat de juistheid beter is, maar de precisie lager. In dat geval zit er minder afwijking in het instrument dat we gebruiken om de werkelijkheid vast te leggen in een waarde.
Voor de KDW kunnen we verwachten dat deze met een nauwkeurigheid van +/- 35 tot 70 mol per hectare per jaar kan worden bepaald. Dit komt overeen met de feitelijke meetnauwkeurigheid van de mestbemonstering. Zie voor de onderbouwing van deze getallen het kader De kritische depositiewaarde hieronder.
Onlangs was Roland Bobbink te horen op De Nieuwe Wereld. Hij geldt als gezaghebbend ecoloog en werkte mee aan het opstellen van de KDW's voor Nederlandse natuurgebieden. De video geeft een goede indruk van zijn bevlogen houding en geeft een indruk van de energie die zijn denken voedt. Hij heeft meegewerkt aan vele onderzoeken en reviews van onderzoeken. In Bobbinks Review and revision of empirical critical loads of nitrogen for Europe (110/2022) is per natuurtype (habitat) te vinden wat de vastgestelde KDW is volgens experts. Expertcommissies spelen een heel grote rol bij de vaststellingen. LNV heeft in 2008, 2012 en 2023 om vertalingen van experimentwaarden gevraagd voor Nederlandse natuurgebieden. De autoriteit van Bobbink gaf er gewicht aan.
Uit de nieuwste editie (2023) licht ik bijlage 1:
Stel dat de KDW van gebied H3110 inderdaad 6 kilo per hectare per jaar is. Dan geeft dit getal ook gelijk de nauwkeurigheid aan. In elk geval is er maar één significant cijfer; er is terecht geen cijfer achter de komma gegeven. Door deze 6 kilo te vermenigvuldigen met 71,4 (met drie significante cijfers) kom je met hulp van de rekenmachine uit op 428,4 mol per hectare per jaar. Maar dat zou wetenschappelijk een incorrecte weergave zijn die een te hoge nauwkeurigheid suggereert. Eigenlijk moet je dit getal noteren met één significant cijfer: 4 x 10^2 mol; de notatie 429 mol is wetenschappelijk helemaal 'fout'.
Een andere manier om hiernaar te kijken is om je te realiseren dat bij de bepaling van de KDW gebruikt wordt gemaakt van bemestingsreeksen in de praktijk. Vaak per 1 kilo of per 2 kilo resolutie (dus 3, 4, 5, 6, 7 of 4, 6, 8, 10 kilo per hectare), maar soms ook in stappen van 10 kilo. Het is daarom veilig te veronderstellen dat deze massabepaling minimaal een precisie heeft van +/- 0,5 kilo (maar waarschijnlijk zelfs +/- 1 kilo of meer). Teruggerekend naar molen: +/- 0,5 x 71,4 = +/- 40 mol of +/- 1 kilo x 71,4 = +/- 70 mol.
De KDW's voor zeer gevoelige natuur liggen dan ongeveer op 5 x 10^2 +/- 70 mol. Nauwkeuriger kunnen ze nooit bepaald zijn. Gevoelsmatig denk ik dat we echter zelfs met minstens +/- 100 mol rekening moeten houden. In het politieke debat over stikstof gaat het over een minieme fractie daarvan, te weten 0,0005 mol en inmiddels ook weer over 1 mol of 10 mol. De verhouding tussen die getallen is nogal zoek en pleit bepaald niet voor de meer precieze varianten in het debat.
Computers kunnen tot als het moet duizenden cijfers achter de komma zaken doorrekenen. Modelleurs die te veel achter een scherm zitten en te weinig in het veldwerk doen of statistisch minder onderlegd zijn, laten met een gerust hart hun processoren doorpruttelen tot een akelige schijnprecisie. Het zijn echter slechts getallen zonder daadwerkelijk object in de buitenwereld. Niettemin kunnen we voor Aerius wel proberen in te schatten hoe is gesteld met de precisie en juistheid van de getallen die het model berekent.
Om met dit laatste te beginnen: metingen van droge depositie zijn schaars. Droge-depositiemodellen zijn onderling wel in wetenschappelijke studies vergeleken (en laten onderling flinke verschillen zien), maar elk van deze modelberekeningen heeft ook een eigen nauwkeurigheid. In deze eerdere tekst heb ik kwantitatief besproken hoe Aerius in elkaar zit. In elk van de stappen emissie > verspreiding > depositie zit echter een onnauwkeurigheid. Als we voor het gemak stellen dat de depositie lineair afhankelijk is van de lokale concentratie aan stikstof (totaal aan ammoniak en NOx), dan is de vraag: hoe nauwkeurig weten we wat de gemiddelde jaarlijkse stikstofconcentratie is, en hoe nauwkeurig weten we de hoeveelheid regen?" Nauwkeurigheid verwijst naar het aantal significante cijfers dat wetenschappelijk correct is. Ik moet bekennen geen uitgebreide analyse uitgevoerd te hebben, maar de regen wordt uitgedrukt in millimeter (en niet met een cijfer achter de komma). Daarom is veilig te stelen dat het maximaal om twee significante cijfers gaat. De concentratie ammoniak wordt wel vaak gerapporteerd met een of twee cijfers achter de komma. Ik vermoed echter dat ook in dat geval slechts twee cijfers significant zijn.
Dit betekent dat natte depositie nooit beter gemeten kan worden dan met twee significante cijfers. De bepaling van droge depositie is nog lastiger. Ik kom verschillen tegen tussen modellen van een factor 2 tot 4. Ik denk dat de relatieve fout minstens 50% is. Door de optelling van natte en droge depositie wordt de nauwkeurigheid van de totale depositie zeer sterk bepaald door de minst nauwkeurige depositie (volgens mij de droge). Als de metingen al zo onnauwkeurig zijn, hoe kunnen we dan denken dat het totale afgeleide Aerius-model dat wel kan zijn?
Als je deze redenering consequent doorzet, dan kan je bijna niet anders dan tot de conclusie komen dan dat Aerius een wetenschappelijke precisie heeft van ongeveer +/- 25 tot 50 mol of meer. Ook denk ik dat de droge depositie in het model sterk wordt overschat. Dat betekent dat Aerius niet alleen niet zo precies is, maar dat er vermoedelijk ook een systematische fout in het depositiemodel zit. Deze systematische fout maakt dat ook de juistheid vermoedelijk incorrect is. De juistheid van de depositie die Aerius berekent, zou wel eens tientallen tot misschien wel honderd mol hoger blijken dan in werkelijkheid het geval is. Aerius 'schiet' behoorlijk naast de roos dus.
Wat betreft thermometer Aerius, het computermodel waarmee de overheid de gezondheid van de natuur monitort, kunnen we ervan uitgaan dat de totale depositie die het model berekent, een vergelijkbare mate van nauwkeurigheid heeft als de metingen waarop het model is gebaseerd. Dit betekent dat Aerius, ondanks zijn schijnbare vermogen om met vele decimalen te rekenen, waarschijnlijk een nauwkeurigheid heeft van +/- 25 tot 50 mol per hectare per jaar. Zie het kader Nauwkeurigheid, in termen van precisie en juistheid hieronder voor de onderbouwing van deze inschatting.
De begrippen precisie en juistheid spelen een cruciale rol in verschillende aspecten van ons leven, maar vergen vaak meerdere aspecten om een complex proces te vangen in een voor de praktijk zinvol theoretisch kader. In het stikstof dossier is de KDW maar met één significant getal bepaald. Dat getal geeft dan ook de verwachte precisie van de bepaling: +/- 40 mol of meer denk ik. Voor de nauwkeurigheid van Aerius (het model als meetinstrument dus), is de precisie +/- 25 tot 50 mol of meer; vermoedelijk is er ook een systematische fout aanwezig, waardoor ook over de juistheid van het model het laatst nog niet te zeggen valt.
Naast de Commissie Hordijk heeft ook TNO gekeken naar de nauwkeurigheid. Op 28 april 2022 heeft TNO een notitie gestuurd naar het ministerie van LNV met de titel Afbakening in de modellering van depositiebijdrage van individuele projectbijdragen (Fase 2) Versie 3. TNO concludeert dat de ruis in de berekende depositie ligt tussen de 1 en 10 mol/hectare/jaar. TNO ging daarbij vooral uit van de meteorologische onzekerheden in OPS (TNO spreekt van 'een overweging gebaseerd op fysica gekozen rekenkundige ondergrens'). TNO ging niet dieper in op droge depositie en natte depositie metingen en de daarbij behorende meetonnauwkeurigheid. Het is nu juist deze meetonnauwkeurigheid die uiteindelijk de nauwkeurigheid van het (gekalibreerde) model bepaalt. Het is natuurkundig zinloos - en wetenschappelijk kwalijk - om meer significante cijfers aan een modelberekening mee te geven dan de oorspronkelijke metingen waarop het model is gevalideerd.
Als TNO wel zou kijken naar deze praktijkmetingen dan valt te vermoeden dat ook TNO moet concluderen dat de onnauwkeurigheid van Aerius in de orde van grootte van tientallen molen ligt, en dat de ruis-ondergrens van TNO van 1 mol aan de zeer conservatieve (optimistische) kant zat. Op pagina 26 van de betreffende notitie gaat TNO ook in op de onnauwkeurigheid van de KDW-bepaling. Abbot et.al (2003) wordt aangehaald als bron. Abbot gaat uit van een onzekerheid voor de KDW van 20%. Ook Van Dobben et.al (2012) wordt aangehaald en zou spreken van een onzekerheid van enkele kilogrammen per hectare per jaar. Ik denk dat deze onzekerheid terecht is. TNO veronderstelt echter dat de KDW met een precisie van 0,1 kilo wordt gemeten en komt tot de conclusie daardoor dat precisie dus 7 mol is. Van Dobben heeft vermoedelijk gelijk met zijn constatering dat +/- 1 kilo voor de KDW echt de beste precisie is (theoretische +/- 0,5). De 7 mol van TNO voor KDW is derhalve een vriendelijke wetenschappelijke gok. Realistischer is het daarom om op zijn best uit te gaan van +/- 35 mol of zelfs +/- 70 mol per hectare per jaar voor de precisie van de KDW.
In het parlement wordt nu driftig gedebatteerd over getallen van 0,005 mol per hectare als basis voor de vergunningplicht van bouwprojecten voor bedrijven en infrastructuur van de overheid zelf en de vervanging daarvan door een grenswaarde van 1 mol. De verantwoordelijke minister Van der Wal heeft het over de grote zorgvuldigheid waarmee ze met wet en werkelijkheid wil omgaan. Waarom als de juistheid van het model zo grofstoffelijk is? Vast te stellen valt dat beleidsmakers en parlement geen rekening houden met de beperkingen en onnauwkeurigheid van de gebruikte meetinstrumenten en modellen.
Duitse bedrijven mogen bijvoorbeeld meer stikstof uitstoten en nabijgelegen natuurgebieden sterker belasten dan Nederlandse bedrijven. Het lijkt erop dat Duitsland mogelijk een wetenschappelijk correctere benadering hanteert bij het beoordelen van stikstofdepositie. Onze oosterbuur staat 21 mol (300 gram) depositie toe als grenswaarde. Daar moet wel meteen bij worden opgemerkt dat betere wetenschap en de natuur beter maken niet per definitie hetzelfde zijn. Wel betekent het dat heel hard knijpen op stikstof waarschijnlijk niet helpt vanwege de beperkte juistheid van de modellen waarmee de Nederlandse overheid werkt. Dat duidt er namelijk op dat er onbekende maar andere bepalende factoren dan stikstof alleen in het spel zijn. In gewone mensentaal: wie een hartpatiënt met COPD houdt op een temperatuur die strict onder de 37,23542°C blijft maar vergeet die genoeg zuurstof, water, pillen, een ventilator en een pufje te geven, zal de patiënt alsnog zien overlijden.
Heel Nederland lijdt onder slechte wetenschap
Het is belangrijk dat we in Nederland het concept nauwkeurigheid op een wetenschappelijk correcte manier benaderen, zoals eerder ook geconcludeerd door de Commissie Hordijk. Aerius mag niet worden gebruikt voor vergunningen, aangezien het op wetenschappelijke gronden niet geschikt is als juridisch instrument. Daar komt nog eens bij dat het alleen met een juiste inschatting van de systematische fout geschikt is als thermometer voor de monitoring van de gezondheid van de Nederlandse natuur.
Duiken we niet in de precisie en juistheid (nauwkeurigheid) en stellen we de systematische fout van de op algoritmen gebaseerde stikstofthermometer Aerius niet vast, dan lijdt heel Nederland. Het helpt de natuur niet, het maakt het leven van bedrijven en boeren onmogelijk en kan burgers onwaarschijnlijk veel weggegooid geld kosten. Rutte IV heeft bijna €25 miljard uitgetrokken voor heel onnauwkeurig bepaalde natuurdoelen. Investeren is prima, maar niet in luchtkastelen.
Dit artikel maakt deel uit van de contentsamenwerking tussen Boerenbusiness en Foodlog.
Wouter de Heij
© DCA Market Intelligence. Op deze marktinformatie berust auteursrecht. Het is niet toegestaan de inhoud te vermenigvuldigen, distribueren, verspreiden of tegen vergoeding beschikbaar te stellen aan derden, in welke vorm dan ook, zonder de uitdrukkelijke, schriftelijke, toestemming van DCA Market Intelligence.
