Nutteloze informatie

Het ene beste ziekenhuis is het andere niet

Elsevier en het Algemeen Dagblad claimen beide te beschikken over harde informatie waarmee het publiek een weloverwogen ziekenhuiskeuze kan maken. Maar mensen die de lijstjes naast elkaar leggen, raken in grote verwarring: ziekenhuizen die goed scoren in Elsevier, scoren vaak slecht in het AD en omgekeerd.

De afgelopen weken verschenen er twee publicaties, van Elsevier 1 en van het Algemeen Dagblad2 (hierna AD), met daarin een vergelijking van de prestaties van ziekenhuizen en in het geval van Elsevier, tevens de beste specialisten. De bedoeling van deze publicaties is het publiek inzicht te geven in de kwaliteit van de ziekenhuiszorg, zodat men zelf zijn ziekenhuiskeuze kan bepalen.

Beide publicaties sluiten tot op zekere hoogte aan bij ontwikkelingen die men ook in het buitenland ziet. Zo brengt in Engeland de Healthcare Commission (vanaf april 2004 de opvolger van de Commission for Health Improvement) al enkele jaren de zogeheten NHS Performance Ratings uit. In deze publicaties worden ziekenhuizen op een groot aantal kwaliteitsaspecten met elkaar vergeleken. Een ziekenhuis dat heel goed presteert, krijgt drie sterren, een ziekenhuis met heel slechte prestatie geen enkele ster. De ratings zijn openbaar. Bekend is ook de website van Dr. Foster, een onafhankelijke private organisatie, waarop men informatie kan vinden over de prestaties van de ziekenhuizen. In de Verenigde Staten bestaat op het gebied van de meting van de ziekenhuisprestaties al een langere traditie. Voorbeelden zijn de rapporten van de Agency for Healthcare Research and Quality, de Leapfrog Group en de Pennsylvania Health Care Cost Containment Council (zie Groenestijn3 voor een aardig overzicht).

Prestatieniveau

Op zich verdient het beschikbaar komen van vergelijkende informatie over de ziekenhuisprestaties waardering. Ook ziekenhuizen dienen publieke verantwoording af te leggen over hun prestatieniveau. Wat dat betreft zijn zij tot dusver grotendeels in gebreke gebleven. Er bestaat geen enkel overtuigend argument voor de veronderstelling dat alle ziekenhuizen (even) goed presteren. Principieel valt er veel voor te zeggen dat iedereen toegang krijgt tot vergelijkende informatie over hun prestatieniveau. Hoogervorst, met zijn niet aflatende pleidooi voor meer individuele verantwoordelijkheid in de zorg, wordt dus op zijn wenken bediend.

Toch is er reden om de ontwikkelingen kritisch te volgen. Bestaat er wel voldoende grond voor de claim van het AD dat ‘de patiënt nu kan kiezen’? Biedt het cijfermateriaal inderdaad een realistisch beeld van het prestatieniveau van de ziekenhuizen? Kent de meetprocedure een adequate opzet? Zijn de gegevens voldoende hard en betrouwbaar? En vooral: heeft de patiënt er echt iets aan?

Bij het beantwoorden van deze vragen stuit men op het meer fundamentele vraagstuk in hoeverre de scores in Elsevier en het AD met elkaar overeenstemmen. Is het zo dat ziekenhuizen die in het ene onderzoek goed (of slecht) scoren ook in het andere onderzoek goed (of slecht) scoren? Als mensen met tegenstrijdige informatie worden geconfronteerd, neemt de verwarring immers alleen maar toe.

Score

De wijze waarop Elsevier en AD de ziekenhuisprestaties meten, loopt sterk uiteen. In Elsevier is de score van een ziekenhuis gebaseerd op het oordeel van een panel van informanten (verpleegkundigen, huisartsen, specialisten, managers en directeuren) over de prestaties van een ziekenhuis. Daarbij wordt onderscheid gemaakt tussen de medische en de verpleegkundige kwaliteit, de bedrijfsvoering, de samenwerking met de huisarts en de omgang met de patiënt. Het oordeel per blok wordt samengevoegd in een totaalscore per ziekenhuis. In de verslaglegging kiest Elsevier ervoor de ziekenhuizen in een alfabetische volgorde te plaatsen. Maar er is natuurlijk wel sprake van een rangorde, wat ook blijkt uit het feit dat een aantal lijstjes met de tien beste ziekenhuizen en één lijstje met de tien slechtste ziekenhuizen worden gepresenteerd.

De score van een ziekenhuis in het onderzoek van het AD berust op de beoordeling van 26 kwaliteitsaspecten die zijn ontleend aan de Inspectie voor de Gezondheidszorg. Meestal blijft de meting beperkt tot de vraag of een ziekenhuis ten aanzien van een kwaliteits-aspect bepaalde activiteiten onderneemt. In een aantal gevallen wordt echter ook nagegaan hoe vaak zich een bepaald probleem voordoet. Zo wordt een ziekenhuis niet alleen gevraagd of het een registratie van doorligwonden bijhoudt, maar ook hoe hoog het percentage patiënten met doorligwonden is. Anders dan in het onderzoek van Elsevier moet elk ziekenhuis zelf de gevraagde gegevens aanleveren. Bij geen van beide metingen is gebruikgemaakt van onderzoek naar de tevredenheid van patiënten. De informatie is bedoeld voor het publiek, maar dit wordt zelf niets gevraagd.

Grote verschillen

Een vergelijking van de rangorde van ziekenhuizen in beide onderzoeken laat zeer grote verschillen zien. De samenhang (correlatiecoëfficiënt) bedraagt 0,19.4 Dit betekent dus dat de plaats van een ziekenhuis op de ranglijst van Elsevier nauwelijks voorspellendewaarde heeft voor de plaats op de ranglijst in het AD of omgekeerd. Het spreidings-diagram (zie figuur) toont een ‘sterrenhemel’. Kijkt men niet naar het rang-ordecijfer maar naar de totaalscore van een ziekenhuis, dan verandert dit beeld hoegenaamd niet (r = 0,23).

In Elsevier zijn ook toptienlijstjes opgenomen. Ook hier blijkt geen verband te zijn tussen beide lijsten. Uit de toptien van beste ziekenhuizen in Elsevier komt maar één ziekenhuis voor in de toptien van het AD. De nummer 8 in Elsevier staat op plaats 82 in het AD. Voorts valt op dat de academische ziekenhuizen in Elsevier veel lager scoren dan in het AD. De middelgrote ziekenhuizen scoren in Elsevier daarentegen weer hoger dan in het AD.
De conclusie kan niet anders luiden dan dat er tussen Elsevier en AD grote verschillen bestaan in het gemeten prestatieniveau. Ziekenhuizen die goed scoren in Elsevier, scoren vaak slecht in het AD en omgekeerd. Er is sprake van grote inconsistentie. Het resultaat van de meting is kennelijk uiterst gevoelig voor de gevolgde meetprocedure.

Complexe materie

Het meten van de ziekenhuisprestaties is een complexe materie. Het gaat om een buitengewoon heterogene verzameling van zorgelementen waarop talloze factoren inwerken. Metingen kunnen heel verschillend worden opgezet. Een discussie van alle methodologische problemen hierbij valt buiten het bestek van dit artikel. We volstaan met de opmerking dat grote voorzichtigheid is geboden met het interpreteren van de onderzoeksresultaten. Die kunnen niet voldoende worden gerelativeerd. Helaas zien we hiervan niets terug in de publiciteit. Beide publicaties claimen dat zij nu over harde informatie beschikken waarmee de burger een weloverwogen ziekenhuiskeuze kan maken. De burger die zich de moeite getroost om de resultaten van beide onderzoeken naast elkaar te leggen, zal echter in grote verwarring raken. Want welk lijstje moet hij nu volgen: dat van Elsevier of dat van het AD?

Wij pleiten ervoor af te zien van het publiceren van rangordes en toptienlijstjes. Problemen bij de meting laten een serieus te nemen ranglijst niet toe. Een meer bescheiden benadering waarin ziekenhuizen in enkele categorieën - bijvoorbeeld goed, gemiddeld, onder de maat en slecht - worden ingedeeld, ligt meer voor de hand. Dit gebeurt ook in de eerder genoemde NHS Performance Ratings. Het resultaat wint zo ook aan inzichtelijkheid. Bovendien kan een ziekenhuis op - zeg - de 45ste plaats nog altijd heel behoorlijk functioneren en in aanmerking komen voor bijvoorbeeld twee sterren. Rangorden kunnen de burger misleiden.

Een belangrijke vraag is ook voor wie de informatie over de ziekenhuisprestaties is bedoeld. Het publiek kan in heel andere informatie geïnteresseerd zijn dan bijvoorbeeld het ziekenhuis-management, de medische en verpleegkundige staf, de verwijzende instantie of de zorgverzekeraar in zijn rol van inkoper van zorg. Het is helemaal geen uitgemaakte zaak dat het lijstje van indicatoren van de inspectie overeenstemt met het lijstje dat ‘de gemiddelde burger’ in zijn hoofd heeft. Uit het schaarse onderzoek blijkt dat de burger vooral belangstelling toont voor tevredenheidscores en veel minder voor informatie over klinische uitkomsten. Informatie over de proceskwaliteit van de ziekenhuiszorg, bijvoorbeeld bejegening of wachttijden, neemt een middenpositie in.5 Vanuit dit perspectief moet het onderzoek in Elsevier in beginsel hoger worden aangeslagen dan het onderzoek in het AD.

Dubieuze strategieën

Een aandachtspunt is tevens hoe de gegevens op een overzichtelijke en toegankelijke manier aan het publiek kunnen worden gepresenteerd. Wie de overzichten in Elsevier en het AD ziet, kan zich niet aan de indruk onttrekken dat hier nog wel wat verbetering mogelijk is.

Zal iemand met een zorgvraag nu eerst de Elsevier of het AD raad-plegen alvorens hij besluit waar hij zich laat behandelen? Dit is een kwestie van onderzoek maar hooggespannen verwachtingen lijken ons irreëel. Het publiek verwacht - terecht of onterecht - van elk ziekenhuis kwalitatief hoogwaardige zorg. Iemand die eenvoudig op het advies van zijn huisarts is afgegaan, zou zich trouwens wel eens veel minder zorgen over de ziekenhuiskeuze kunnen maken dan iemand die bewust kiest. De Amerikaanse psycholoog Schwartz heeft onlangs in een aardig boek namelijk uitgelegd dat kiezers die gaan voor een optimale keuze een aardige kans lopen zich voortdurend te pijnigen met de vraag of zij wel de juiste keuze hebben gemaakt.6

Bovendien bestaat er voor de burger enige reden tot ongerustheid omdat prestatiemetingen strategisch gedrag kunnen uitlokken.7 Een ziekenhuis dat zich een negatieve score aantrekt, zal trachten de volgende keer beter te scoren. Dat is natuurlijk meegenomen, maar wat zijn de gevolgen voor al die andere zaken die de kwaliteit van de ziekenhuiszorg bepalen? Ook zouden ziekenhuizen zich van dubieuze strategieën kunnen bedienen, zoals het weren van patiënten die het prestatieniveau ongunstig beïnvloeden of het oppoetsen van de data zonder reële verbetering van het prestatieniveau. Wat schiet de burger in dergelijke gevallen op met de prestatiemeting?

Verwarring
Het publiek heeft recht op deugdelijke informatie over de kwaliteit van de ziekenhuiszorg. Die informatie moet niet alleen worden afgestemd op de behoefte van de patiënt, maar moet ook aan hoge kwaliteitseisen voldoen. Maximaal tegenstrijdige informatie schept alleen maar verwarring. Het wordt tijd dat een onafhankelijk instituut zonder publicitaire en commerciële bijbedoelingen de informatievoorziening ter hand neemt.

prof. dr. H. Maarse,

hoogleraar beleidswetenschap

drs. Marieke van Velden,

onderzoeker

Faculteit der Gezondheidswetenschappen, Universiteit Maastricht

Correspondentieadres: H. Maarse, Universiteit Maastricht, Postbus 616, 6200 MD Maastricht, e-mail:

h.maarse@beoz.unimaas.nl

SAMENVATTING

  Het vergelijken van ziekenhuisprestaties is op zich een goede zaak.

 De methode van prestatievergelijking van Elsevier wijkt sterk af van die van het Algemeen Dagblad (AD).

 Er bestaat geen samenhang tussen de rangorde van Elsevier en AD. Rangorde is uiterst gevoelig voor de gehanteerde methode.

 Het bestaan van verschillende rangorden is voor het publiek hoogst verwarrend.

 Of mensen een welover-wogen keuze ziekenhuiskeuze kunnen maken, zoals Elsevier en AD beweren, valt te betwijfelen.

 Publicatie van ziekenhuisprestaties kan leiden tot (ongewenst) aanpassingsgedrag door ziekenhuizen.

Referenties
1. Elsevier 25 september 2004.  2. Algemeen Dagblad 13 oktober 2004.  3. J.P. van Groenestijn, Prestatie-indicatoren in de tweedelijnszorg in Engeland, Canada en de Verenigde Staten. Maastricht, 2004 (afstudeerscriptie Gezondheidswetenschappen). 4. Bij de correlatiecoëfficiënten en in het spreidingsdiagram zijn alleen de ziekenhuizen meegenomen met een score in beide onderzoeken. Ziekenhuizen in de vergelijking van Elsevier, waarvan het panel van informanten uit minder dan twintig informanten bestaat (de door Elsevier gehanteerde norm), zijn eveneens buiten beschouwing gelaten.  5. J. Hibbard. Use of outcome data by purchasers and consumers: new strategies and new dilemmas. In International Journal for Quality in Health Care 1998; 10 (6): 503-8.  6. B. Schwartz, The paradox of choice - why more is less. HarperCollins Publishers, 2004.  7. H. de Bruijn. Managing performance in the public sector. London: Taylor and Francis, 2002.

Klik hier voor het PDF bestand van dit artikel

MC-artikelen:

Valse vergelijkingen: zin en onzin van rangorden in gezondheidszorgkenmerken (Tegen de toptien)  Mosseveld, C.J.P.M. van enSmit, J.M. MC 58 nummer 51,  19 december 2003

Excellente dokters: Nederlandse artsen willen niet op een lijstje

Visser, Joost MC 58 nummer 51,  19 december 2003