Toetsing klinische competentie moet beter

Directe observatie ontbreekt nog vaak

Sinds 2004 toetst men in Leiden de co-assistenten interne geneeskunde door middel van de korte klinische beoordeling. Ook in de vervolgopleiding bestaat ruime belangstelling voor deze methode.

Klinische competentie moet worden beoordeeld met behulp van een toets die aansluit bij het functioneren van de medische profes-sional in de dagelijkse praktijk.

Voor deze beoordeling heeft Miller een raamwerk voorgesteld in de vorm van een piramide. De basis van de piramide is het beschikken over de nood-zakelijke feitenkennis; het tweede niveau is het weten hoe die kennis moet worden toegepast; het derde niveau is het in een toetssituatie kunnen tonen van een vaardigheid; en de top van de piramide is het kunnen toepassen van een vaardigheid in de dagelijkse praktijk in al zijn facetten.1 

Beoordeling van klinische competentie op het hoogste niveau van de piramide vraagt naast de voor de lagere niveaus geschikte kennistoetsen (die slechts één aspect van bekwaamheid beoordelen) om vormen van toetsing die recht doen aan het geïntegreerde karakter van de verschillende bekwaamheden in het handelen van de medische professional.1 2

In het algemeen gaat men ervan uit dat niet een enkele vorm van toetsing adequaat kan beoordelen op alle niveaus van de piramide, maar dat verschillende elkaar aanvullende methoden tegelijkertijd moeten worden toegepast. Een van die toetsvormen is de mini-Clinical Evaluation Exercise (mini-CEX),3 waarvan de in Nederland toegepaste korte klinische beoordeling is afgeleid.

Beeld: M. Louwerens

Mini-CEX

Toen de American Board of Internal Medicine (ABIM) in 1972 het mondeling examen afschafte, werd de (lange) Clinical Evaluation Exercise (CEX) aanbevolen voor de beoordeling van assistent-geneeskundigen in opleiding tot internist. De toenmalige CEX was een twee uur durend patiëntexamen, waarbij de supervisor de assistent-geneeskundige observeerde bij het opnemen van de anamnese, het verrichten van lichamelijk onderzoek en het uitwerken van de verdere diagnostiek en therapie.

De nadelen van deze wijze van beoordeling lagen vooral in de beperkte reproduceerbaarheid. Het betrof immers een momentopname, met observatie van één arts-patiëntcontact en één klinisch probleem, zonder variatie in klinische setting. Verder observeerde slechts één beoordelaar, hetgeen de betrouwbaarheid niet ten goede kwam. 

In antwoord op de nadelen van de ‘lange’ CEX werd de mini-CEX geïntroduceerd. Hierbij vinden vaker beoordelingen plaats in sessies van kortere duur (15 tot 20 minuten) waarbij verschillende beoordelaars de contacten met diverse patiënten, met even zoveel klinische problemen kunnen observeren.

Op deze wijze is variatie mogelijk in klinische setting: polikliniek, kliniek, zaalvisite, spoedeisende hulp, diensten et cetera. Ook is het moment van beoordelen minder statisch en kan dit in onderling overleg tussen beoordelaar en assistent-geneeskundige worden bepaald.

Uitgangspunten van de mini-CEX zijn de kortdurende directe observatie van een deel van het arts-patiëntcontact en het aansluitend geven van feedback daarop. De beoordeling kan worden weergegeven op een formulier in zakformaat waarop zeven onderdelen staan vermeld: anamnese, lichamelijk onderzoek, professioneel gedrag, klinisch redeneren, communicatie, organisatie en efficiëntie. Ten slotte volgt een algemeen oordeel over de klinische competentie.

Gebruikelijk is dat niet alle onderdelen bij elke gelegenheid worden beoordeeld. Norcini4 geeft aan dat twaalf beoordelingen per jaar per assistent-geneeskundige optimaal kunnen zijn. Voor hen die ruim voldoende scoren, volstaan vier beoordelingen per jaar, terwijl degenen over wie twijfel bestaat aanvullend moeten worden beoordeeld.

Gewijzigde opzet

Het Leidse Curriculum ’99 gebruikt de mini-CEX in de vorm van de korte klinische beoordeling (KKB) met een enigszins andere opzet en een ander formulier bij de beoordeling van studenten tijdens hun co-assistentschap. Het aantal KKB’s dat een co-assistent moet verzamelen, is slechts globaal aangegeven (wekelijks of vaker) terwijl het initiatief voor het laten afnemen van een KKB bij de co-assistent ligt. Zowel stafleden als assistent-geneeskundigen treden op als beoordelaars.

De beoordelingsschaal werd teruggebracht van een 9-puntsschaal tot een 3-puntsschaal (onvoldoende-voldoende-uitstekend).

Bij de implementatie van de KKB’s in de co-assistentschappen nieuwe stijl eind 2003 werd aangegeven dat deze ook zijn te gebruiken bij onderwijs-momenten, zoals bij de voordracht van een patiënt-casus door de co-assistent (klinisch redeneren) of tijdens bedside teaching. De KKB’s waren vooral formatief (voor het geven van feedback en bevorderen van het leren), maar ook summatief (voor het geven van een oordeel over het functioneren) toe te passen.

Buiten verwachting

In het co-assistentschap interne geneeskunde zijn inmiddels de voorlopige gegevens verkregen van de eerste 25 co-assistenten van het nieuwe curriculum dat in januari 2004 van start ging. Het aantal KKB’s dat de co-assistenten verzamelden, overtrof onze verwachtingen. Gedurende het tien weken durend co-assistentschap interne geneeskunde werden ruim 800 KKB’s ingeleverd; gemiddeld 32 KKB’s en 19 verschillende beoordelaars per co-assistent.

De beoordelingen werden in de kliniek, op de polikliniek en op het Centrum Eerste Hulp afgenomen door assistent-geneeskundigen en, in geringere mate, stafleden. Ongeveer 10 procent van de KKB’s betrof onderwijs-momenten.

Directe observatie van een gedeelte van het primaire arts-patiëntcontact vormde echter in slechts 5 tot 10 procent van de beoordelingen het uitgangspunt. De KKB’s bleken voornamelijk totstandgekomen op basis van de in de status verzamelde gegevens of doordat de beoordelaar de co-assistent had verzocht bij de nabespreking nog eens een deel van het lichamelijk onderzoek te demonstreren. Het opnemen van de anamnese werd vrijwel nooit geobserveerd.

Kritiek

Op grond van de evaluatie van de eerste ervaringen met de KKB’s in het co-assis-tentschap verdient een aantal punten de aandacht.

Zowel de co-assistenten als de beoordelaars hebben kritiek op de 3-puntsschaal. De co-assistenten vinden dat zij zich niet meer kunnen onderscheiden op grond van ‘bovengemiddeld’ functioneren. Vrijwel iedereen wordt beoordeeld met ‘voldoende’, terwijl ‘uitstekend’ is voorbehouden aan excelleren in diverse competenties. Voor de beoordelaars is het niet altijd duidelijk of er wordt getoetst naar de eindtermen van het co-assistentschap of naar het verwachte niveau op dit moment in het co-assistentschap. Een co-assistent in de tweede week van het co-assistentschap zal anders functioneren dan bijvoorbeeld een co-assistent in de negende week. Als de eindtermen van het co-assistentschap het uitgangspunt zijn, zal de tweedeweeks co-assistent een lagere beoordeling ontvangen dan wanneer wordt gekeken naar het in de tweede week verwachte niveau.

De co-assistenten waardeerden de KKB’s als hierdoor het krijgen van feedback werd bevorderd. Waar dit niet het geval was, pakte de waardering minder positief uit.

Dat het initiatief voor de KKB in ons co-assistentschap bij de lerende ligt, gaf geen aanleiding tot het verzamelen van een gering aantal KKB’s. Mogelijk is dit wel een factor die bijdraagt aan het geringe aantal directe observaties. Immers, de co-assistent is nu degene die de supervisor moet verzoeken hiervoor tijd vrij te maken.

Zorgelijk

Het meest opvallende en tegelijk meest zorgelijke gegeven uit onze evaluatie is het veelal ontbreken van directe observatie. Onbekendheid van docenten met deze nieuwe vorm van beoordeling kan een oorzaak zijn. Docentprofessionalisering zou dan kunnen bijdragen aan het verbeteren van de kwaliteit van de beoordelingen. Cursussen als ‘Teach the clinical teacher’, ‘Train the trainers’ en dergelijke, zoals aangeboden op diverse locaties in het land, brengen (co-)assis-tenten opleiders en klinische docenten kennis bij over nieuwe onderwijskundige ontwikkelingen. Eén aspect daarvan is de beoordeling van klinische competentie en het oefenen daarmee. Een ander onderdeel vormt het leren geven (en ontvangen) van feedback.

Uit onderzoek blijkt dat geschoolde docenten zich beter toegerust voelen voor deze taak én dat zij vaker directe observaties uitvoeren; zij blijken ook strenger te oordelen dan de niet-geschoolden.5 6

Dan is er de factor ‘tijd’. Voor directe observaties zal tijd moeten worden vrijgemaakt. Dat zou kunnen door in het reguliere spreekuur standaard ruimte te creëren. Ook lenen veel arts-patiëntcontacten op het Centrum Eerste Hulp en in dienstsituaties zich goed voor het verrichten van directe observatie zonder een beduidende extra tijdsinvestering.

Voorwaarden scheppen

De korte klinische beoordeling geniet op dit moment ruime belangstelling. Niet alleen door het gebruik ervan in de basisopleiding, maar ook door de toekomstige toepassing in de vervolgopleidingen. Het Centraal College Medische Specialismen (CCMS) buigt zich op dit moment over de uitwerking.

Op verzoek van dit college hielden wij op het congres van de Nederlandse Vereniging voor Medisch Onderwijs (NVMO) een workshop over de KKB.7 Zowel de validiteit (meet het instrument wat het meten moet?) als de praktische uitwerking (welk formulier, welke schaalverdeling, waaraan toetsen?) van de KKB bleek onderwerp van interesse en discussie te zijn. Ons onderzoek zal zich de komende tijd met name richten op de beantwoording van een aantal van deze vragen.

Inmiddels zullen wij door het bestuderen en uitwerken van de door ons opgedane ervaringen trachten de voorwaarden te scheppen voor toepassing van de KKB zoals bij de ontwikkeling daarvan werd beoogd. Daarbij zijn directe observatie en feedback de sleutelwoorden. Pas als aan deze voorwaarden is voldaan, zal duidelijk worden of de KKB een waardevol instrument is voor de toetsing van klinische competentie in de basis- en vervolgopleidingen.

Mw. M. Louwerens, internist, opleider en coördinator co-assistentschap interne geneeskunde

prof. dr. J. H. Bolk, internist

Afdeling Algemene Interne Geneeskunde en Onderwijscentrum, Leids Universitair Medisch Centrum

Correspondentieadres: m.louwerens@lumc.nl.

SAMENVATTING

- Uitgangspunten van de zogeheten korte klinische beoordeling (KKB) zijn directe observatie van een deel van een arts-patiëntcontact en het aansluitend geven van feedback daarop.  Bij de eerste ervaringen in de praktijk van het co-assistentschap interne geneeskunde blijkt het instrument niet altijd te worden toegepast zoals beoogd; directe observatie vindt vaak niet plaats.

- Oorzaken zijn o.a. tijdgebrek en onvol-doende scholing van de opleiders.

- Voor een succesvolle implementatie van de KKB in de basisopleiding en binnenkort ook in de vervolgoplei-dingen moeten meer mogelijkheden worden gecreëerd en benut.

Literatuur

1. Miller GE. The assessment of clinical skills/competence/performance. Acad Med 1990; 65(9): S63-7.  2. Norcini JJ. Work based assessment. BMJ 2003; 326: 753-5.  3. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med 2003; 138: 476-81.  4. Norcini JJ, Blank LL, Arnold GK, Kimball HR. The mini-CEX (clinical evaluation exercise). A preliminary investigation. Ann Intern Med 1995; 123: 795-9.  5. Holmboe ES, Hawkins RE, Huot SJ. Effects of training in direct observation of medical residents’ clinical competence. Ann Intern Med 2004; 140: 874-81.  6. Louwerens M, Bolk JH. Docentprofessionalisering leidt tot strengere beoordelingen bij directe observatie van klinische vaardigheden. NTVG 2004; 51: 2562-3.  7. Vleuten CPM van der, Louwerens M. Workshop Korte Klinische Beoordelingen. NVMO congres 2004.

Klik hier voor het PDF bestand van dit artikel