Gerbrand Komen: Klimaatmodellen, onzekerheid en vertrouwen /modified

The following contribution is in Dutch, and we are publishing it (with Dr. Komen's consent) here to allow for a glimpse how the issues we discuss on Klimazwiebel are thought of in other countries, i.e., in other cultures. To be sure institutions like KNMI and names like Komen and van der Sluijs are well known and highly respected in the international scientific community.

For those of you who want to comment in Dutch, please feel free to do so.

On 27 November, an explanation of the context was added at the end of this entry.

Klimaatmodellen, onzekerheid en vertrouwen

Posted on 25 november 2011 on Wetenschappelijke modellen

Bijdrage door Prof. Dr. Gerbrand Komen, voormalig Hoofd Klimaat Onderzoek en Seismologie van het KNMI.

Klimaatmodellering is serieuze wetenschap
Er is veel energie gestoken in de ontwikkeling, diagnose en de validatie van klimaatmodellen. Daarbij kon men bouwen op kennis die eerder ontwikkeld was o.a. ten behoeve van de weersverwachting. Dit heeft er wellicht toe bij gedragen dat er bij het modelleren van het klimaat een voorsprong lijkt te zijn op de modellering van andere complexe systemen zoals biologische en sociaal/economische systemen.

Het verkennen van complexe systemen en het opzoeken van de grenzen van begrijpbaarheid en voorspelbaarheid is een spannend wetenschappelijk avontuur. Henk Tennekes, een van mijn voorgangers op het KNMI, was een van de eersten die daar – in de tachtiger jaren al – de aandacht op vestigde. Intussen zijn we een heel stuk verder. Er is beter inzicht in de beperkingen die bij het modelleren een rol spelen: de afbakening van het systeem, de kwaliteit van de parametrisaties, beschikbaarheid en kwaliteit van geschikte waarnemingen, het probleem van de kleine schalen, etc., en men heeft onderscheid leren maken tussen verschijnselen die goed, minder goed of helemaal niet gesimuleerd kunnen worden. Tijdens de themabijeenkomst over wetenschappelijke modellen die de KNAW op 20 juni 2011 organiseerde heb ik geprobeerd dit toe te lichten.


Je kunt klimaatmodellen niet ‘bewijzen’

Tijdens diezelfde bijeenkomst ging Joel Katzav nader in op de problemen die komen kijken bij de beoordeling van modellen. Daarbij werd onder meer verwezen naar Sir Karl Popper die het begrip degree of corroboration introduceerde, en werd gepleit voor een Severe Testing Approach. Ik wil daar enkele kanttekeningen bij maken.

• Veel in het kader van de verschillende CMIP projecten uitgevoerde testen hebben al het karakter van een severe test.
• Je moet je wel steeds bewust zijn van de pretenties van een model. Voorbeeld: je kunt niet verwachten dat een mondiaal model de convectieve neerslag in Nederland beschrijft. Daar moet je dan ook niet op testen. Het is op voorhand evident dat zo’n test niet succesvol kan zijn.
• Wat je ook test, modellen van complexe systemen zijn niet te ‘bewijzen’.

Vooral dat laatste wordt niet door iedereen geapprecieerd. Fysicus Richard Feynman (geciteerd door Judith Curry) zei het zo: “Scientific knowledge is a body of statements of varying degrees of certainty — some most unsure, some nearly sure, but none absolutely certain.” Dit geldt voor alle wetenschappelijk kennis, en zeker ook voor onze kennis van complexe systemen.


Vertrouwen in klimaatmodellen is deels subjectief

Als je de modellen niet kunt bewijzen waarom zou je hun resultaten dan gebruiken? Antwoord: omdat je op een of andere manier vertrouwen hebt in het nut. Als het KNMI regen voorspelt kun je daar nuttig gebruik van maken als je moet besluiten of je wel of niet een paraplu mee wilt nemen. Je hebt (enig) vertrouwen in die verwachtingen, omdat het KNMI in het verleden bewezen heeft kwaliteit te leveren.

Bij klimaatmodellen ligt dat wat ingewikkelder. Er zijn twee belangrijke toepassingen van het klimaatonderzoek die grote maatschappelijke implicaties hebben, nl de attributie van waargenomen veranderingen aan menselijk handelen, en verkenningen van mogelijke toekomstige ontwikkelingen. In beide gevallen is het gebruik van klimaatmodellen essentieel. Waarom zou je de resultaten van die modellen vertrouwen? Het maatschappelijk debat bewijst wel dat dit geen academische vraag is. Het IPCC spreekt van considerable confidence, terwijl anderen juist weinig vertrouwen hebben. Kennelijk heeft het vertrouwen in modellen een subjectief element, al dan niet cultureel bepaald.


Het onzekerheidsmonster

Om te begrijpen wat er aan de hand is, is het goed om te kijken naar de wijze waarop men modelonzekerheden probeert te beschrijven.

Klimaatonderzoekers ontlenen vertrouwen aan het vermogen van hun modellen om waarnemingen te simuleren. Dit vermogen kan goed gekwantificeerd worden met behulp van statistische technieken, en levert dus harde getallen. En die worden dan ook vaak gecommuniceerd. Daarbij mag men echter niet vergeten dat er ook sprake is van onderliggende subjectieve keuzes: de keuze van de te vergelijken grootheden, de gewichten die men daaraan toekent, en kwaliteitscontrole bij de selectie van data.

Onzekerheden in modelverwachtingen kan men kwantificeren door modellen onderling te vergelijken of door te kijken naar het effect van parameter-perturbaties. De verschillen die daarbij naar voren komen zijn een maat voor de onzekerheid. Grote verschillen impliceren grote onzekerheid. Omdraaien mag natuurlijk niet: je kunt niet zeggen dat de onzekerheid klein is als de resultaten van verschillende modellen goed overeenstemmen, of ongevoelig zijn voor parameterwaarden. Het is immers denkbaar dat alle beschouwde modellen een structurele imperfectie hebben.

Monsterbezwering

Jeroen van der Sluijs heeft in dit verband het begrip onzekerheidsmonster ingevoerd (geïnspireerd door Martijntje Smits, en inmiddels overgenomen door bv Judith Curry). In zijn artikel uit 2005 onderscheidt van der Sluijs verschillende manieren waarop met dit monster omgegaan wordt, zoals ontkenning, vereenvoudiging en ‘assimilatie’.

Het IPCC heeft geprobeerd, en probeert nog steeds, om het monster te temmen door het hanteren van strakke en verstandige richtlijnen voor de communicatie van onzekerheden. Prijzenswaardig, maar lastig in de praktijk. Zo noemt het recente IPCC 'Special Report on Managing the Risks of Extreme Events and Disasters to Advance Climate Change Adaptation' het ‘zeer waarschijnlijk [90‑100 % kans] dat hittegolven in lengte, aantal en intensiteit op de meeste plaatsen (boven land) zullen toenemen’. Het percentage suggereert een mate van exactheid die er m.i. niet is, omdat het niet expliciet maakt dat de bewering gebaseerd is op het vertrouwen dat de auteurs in klimaatmodellen hebben.

Hoe nu verder? Van der Sluijs heeft, bouwend op eerder werk van Funtowicz en Ravetz, al in 2005 een mogelijke weg aangegeven onder de noemer ‘assimilatie’: eerlijk, open en transparant zijn over onzekerheid en onwetendheid, en ruimte geven voor wat wel extended peer review genoemd wordt, dat is een proces waarbij voor de bepaling van de kwaliteit van onderzoek belanghebbende individuen en groepen worden ingeschakeld die niet zelf bij het onderzoek betrokken zijn. Dat eerste lijkt me van evident belang. Over het tweede valt nog heel wat te zeggen (zie bv Hanekamp, 2010; en de discussie op 'Watts Up With That?'). Hier ontbreekt de ruimte om daar verder op in te gaan. Maar misschien is het iets voor later?

Vertrouwen in de wetenschap

Waardering van klimaatmodellen is een ding, waardering voor de wetenschap is nog iets anders. Die waardering is een kostbaar goed. Von Storch spreekt in dit verband van ‘kapitaal’ dat je kunt vergroten, maar ook vernietigen. Helaas is het vertrouwen in de klimaatwetenschap niet meer vanzelfsprekend, getuige de reacties op bijvoorbeeld climategate.nl. Het is daarom belangrijk dat we nagaan wat er moet gebeuren om dat vertrouwen te verbeteren. Betere communicatie over onzekerheden hoort daar zeker bij.

Verder lezen

• Curry, J.A. en P.J. Webster, 2011: Climate Science and the Uncertainty Monster. BAMS online.
• Feynman, R., 1988: What Do You Care What Other People Think? W.W. Norton, 255 pp.
• Funtowicz, S. en J. Ravetz, 1993: Science for the Post-Normal age. Futures, 25(7), 735–755.
• Hanekamp, Jaap, 2010: De gedroomde werkelijkheid van Jerome Ravetz.
• Hegerl, Gabriele en Francis Zwiers, 2011: Use of models in detection and attribution of climate change. WIREs Climate Change Volume 2, 570- 591.
• IPCC, 2011: Summary for Policymakers of the Special Report on Managing the Risks of Extreme Events and Disasters to Advance Climate Change Adaptation.
• Katzav Joel, Henk A. Dijkstra en A. T. J. (Jos) de Laat, 2011: Assessing climate model projections: state of the art>and philosophical reflections. Under review, Rev. of Geoph., 2011.
• Labohm, Hans en Theo de Vries, 2011: Klimaatmodellen en hun tekortkomingen. Liberaal Reveil, september 2011.
• Mastrandrea, M.D., C.B. Field, T.F. Stocker, O. Edenhofer, K.L. Ebi, D.J. Frame, H. Held, E. Kriegler, K.J. Mach, P.R.Matschoss, G.-K. Plattner, G.W. Yohe, and F.W. Zwiers, 2010: Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. Intergovernmental Panel on Climate Change (IPCC).
• Swart, R., L. Bernstein, M. Ha-Duong and A.C. Petersen, 2009: Agreeing to disagree: Uncertainty management in assessingclimate change, impacts and responses by the IPCC. Climatic Change 92, 1–29.
• Tennekes, H., 1990: A Sideways Look at Climate Research. Weather 45, 67-68; 1996: An Ecological Grammar forMeteorologists. Weather 51, 326-328.
• Van der Sluijs, J., 2005: Uncertainty as a monster in the science-policy interface: four coping strategies. Water Science & Technology, 52, 87-92.
• von Storch, H., 2011: Climate science, IPCC, postnormality and the crisis of trust. In: N. Roll-Hansen, 2011: Status i klimaforskningen. Kunnskap og usikkerhet, vitenskapelige og politiske utforderinger, Det Norske Videnskaps-Akademi, Novus forlag – Oslo, 151-182.
• von Storch, H., A. Bunde en N. Stehr, 2011: The Physical Sciences and Climate Politics In J.S. Dyzek, D. Schlosberg, and R. B. Norgaard (eds): The Oxford Handbook of Climate Change and Society. Oxford University Press. Oxford UK, 113-128.

---------------------------------------------
Backgorund information on context by
the auhtor Gerbrand Komen (http://home.kpn.nl/g.j.komen)

Here is some background information on my recent blog Klimaatmodellen, onzekerheid en vertrouwen. (Climate models, uncertainty and trust). It was written for domestic use, so I apologize for it being in Dutch. Let me translate the headings to give you some flavour of its contents:

• Climate modelling is serious science
• You can’t ‘prove’ climate models
• Confidence in climate models is subjective in part
• The uncertainty monster
• Taming the monster
• Trust in Science

My contribution was solicited by Prof. Henk Dijkstra, Utrecht University, as follow-up to a meeting on Scientific Modelling, which he organized for the Royal Netherlands Academy of Arts and Sciences (KNAW). This meeting, which was attended by Robbert Dijkgraaf, president of KNAW, discussed scientific modelling from different perspectives: physics, economy, climate science, epidemiology, social systems, and philosophy. The lectures can be found here. This same site was also set up to provide a forum for further discussion, and my contribution originally appeared there.

These activities demonstrate the willingness of KNAW to take part in the climate change debate. Earlier, on 27 April 2010, KNAW organized a discussion meeting with sceptical scientists (“Klimaatverandering. Een klimaatdebat vanuit wetenschappelijk perspectief “ [Climate change. A climate debate from a science perspective]). More recently they published a brochure entitled “Klimaatverandering, Wetenschap en Debat” [Climate change, Science and Debate]. Robbert Dijkgraaf concludes his preface to this brochure by expressing the hope that it will contribute to taking the discussion on climate change to a level ‘worthy of this important issue’.

We still have to see whether this will be the case. The sceptical site climategate.nl reacted emotionally, but also published a useful list of 20 errors in the KNAW brochure and they announced a special climate seminar to be held in The Hague on December 12. I sincerely hope this will be a good basis for further discussion. I really believe different actors can learn from each other. We do have a good tradition of tolerance in The Netherlands, so there is some hope.