3.2 Meten van het schrijfproduct en evalueren van het effect van een interventie

Zie ook noot 34, noot 35, noot 36noot 37noot 38noot 39noot 40noot 41noot 42noot 43noot 44noot 45 en noot 46 - Deze paragraaf betreft meetinstrumenten die de leesbaarheid en snelheid van schrijven beoordelen. De 2 belangrijkste elementen bij de beoordeling van het schrijfresultaat zijn leesbaarheid en snelheid, op grond waarvan 2 deelvragen zijn geformuleerd. Deze richten zich op de kwaliteit van het handschrift en de schrijfsnelheid. De aanbevolen meetinstrumenten ter inventarisatie van het schrijfproduct, met hun (psychometische) eigenschappen zijn opgenomen in tabel 3.2 (zie bijlage 1).

 

Beoordelen van de kwaliteit van het handschrift

Er is veel variatie in de literatuur over wat men verstaat onder kwaliteit van het handschrift. Een belangrijk aspect is de leesbaarheid. De meeste onderzoekers beschrijven als criteria voor een leesbaar handschrift: weinig variatie in grootte, richting, ruimte tussen letters/woorden, lijn houden, lettervorm en de algemene inhoud van het geschrevene (reviews van Rosenblum et al., 2003b en Graham en Weintraub, 1996). Veel meetinstrumenten hebben deze kenmerken wel, maar verschillen in wijze van meten en de gebruikte beoordelingsschaal. Iemands persoonlijke stijl is binnen geen enkel meetinstrument verwerkt, maar beïnvloedt wel degelijk de leesbaarheid (Rosenblum et al., 2003b). Ook gedrag tijdens het schrijven (moeheid, gespannenheid en regelmatig stoppen) is verwerkt in de gevonden meetinstrumenten. Graham et al. (1998) hebben in een grote studie (n = 300, groep 3) aangetoond dat een klein deel van de letters (4-8) meer dan de helft van de leesbaarheid van het schrift voor zijn rekening neemt. Deze uitkomst geldt voor het Amerikaanse schrift. Het is aannemelijk dat ook in de Nederlandse taal de leesbaarheid van het handschrift wordt bepaald door een gering aantal letters; onderzoek moet aantonen welke. De letters die in het Nederlands het vaakst voorkomen zijn in beeld gebracht in de volgende figuur.

Indicatie van de frequentie van schrijfletters die voorkomen in het Nederlandse schrift. (Bron: Ter sprake, M.P.R. Broecke.)

Bron: Ter sprake. M.P.R. Broecke.


 

De volgende 10 tests worden het meest frequent gebruikt in onderzoeken naar schrijven:

  • Children Handwriting Evaluation Scale-Manuscript (CHES-M);
  • Diagnosis and Remediation of Handwriting Problems (DRHP);
  • Minnesota Handwriting Test (MHT);
  • Evaluation Tool of Children’s Handwriting (ECTH); (noot 34)
  • Test of Legible Handwriting (TOLH); (noot 35
    Beknopte beoordelingsmethode voor kinderhandschriften (BHK) (noot 36)
  • Systematische Opsporing Schrijfproblemen (SOS); (noot 37)
  • Standaard Observatie Ergotherapie Schrijven en Sensomotorische Schrijfvoorwaarden (SOESSS); (noot 38)
  • Alfabettaak; (noot 39)
  • Computermeetinstrumenten (Feder & Majnemer, 2003). (noot 40)

Veel tests zijn niet onderzocht op toepasbaarheid (Rosenblum et al., 2003b; Feder & Majnemer, 2003). De CHES-M, DRHP en de MHT (alle van buitenlandse herkomst) zijn niet onderzocht op validiteit, daarom worden deze tests hier verder niet besproken.

 

Conclusies

Niveau 3. Er zijn aanwijzingen dat de Systematische Opsporing van Schrijfproblemen (SOS) een valide en betrouwbare test is voor leerkrachten om problemen in de kwaliteit van het handschrift te detecteren bij kinderen van 7-11 jaar. (B Van Waelvelde et al., 2008 en C Smits-Engelsman et al., 2005; Van Bommel-Rutgers & Smits-Engelsman, 2005 en D Van Waelvelde, 2012)

Niveau 3. Er zijn aanwijzingen dat de Beknopte beoordelingsmethode voor kinderhandschriften (BHK) een betrouwbare en valide test is om de kwaliteit van het handschrift te beoordelen en analyseren bij kinderen die doorverwezen zijn met schrijfproblemen uit groep 4 en 5. (B Hamstra-Bletz et al., 1987, 1993b)

 

Beoordelen van de schrijfsnelheid

De meetinstrumenten die wereldwijd zijn ontwikkeld om de schrijfsnelheid te meten, berekenen de schrijfsnelheid door het aantal letters te tellen dat wordt geschreven in 1 of meerdere minuten. De resultaten zijn per land verschillend, waarschijnlijk door het gebruik van andere lettervormen, door verschil in de taak zelf (overschrijven/opstel/alfabet) of de duur van de schrijftaak, de gebruikte schrijfinstrumenten (pen, potlood) en de opdracht die wordt gegeven (netjes schrijven, snel schrijven of schrijven zoals je altijd doet). Zoals beschreven heeft de taak invloed op de schrijfsnelheid en neemt de schrijfsnelheid toe met de leeftijd (hoofdstuk 2). Dit betekent dat er een in Nederland genormeerde test voor schrijfsnelheid moet worden gebruikt. 

Er zijn 4 Nederlandstalige tests gevonden voor het meten van de schrijfsnelheid en een 1 buitenlandse:

  • Beknopte beoordelingsmethode voor kinderhandschriften (BHK, Hamstra-Bletz et al., 1987); (noot 41)
  • Systematische Opsporing van Schrijfproblemen (SOS, Smits-Engelsman et al., 1999, Van Waelvelde et al., 2008);  (noot 42)
  • Vlaamse snelheidstest (Vanderheyden, 2003); (noot 43)
  • Schrijfsnelheidsnormen van Van Engen; (noot 44)
  • Detailed Assessment of Speed of Handwriting (DASH, Barnett et al., 2009); (noot 45)

Uit een vergelijking van deze tests kan worden geconcludeerd dat de resultaten op een kortdurende test niet generaliseerbaar zijn naar de dagelijkse situatie. Een test van 9 minuten kan beter snelheidsproblemen voorspellen dan een test van 3 minuten (O’Mahony et al., 2008). Niet alle kinderen die langzaam schrijven op de 3-minutentest, worden als langzame schrijvers geclassificeerd bij afname van een 9-minuten durende schrijftaak. Daarentegen kunnen bij de 9-minutentest juist andere factoren gaan meespelen, zoals aandacht en verveling, maar ook de haalbaarheid van 9 minuten overschrijven kan een rol spelen.

Met de DASH kan de schrijfsnelheid van verschillende schrijftaken met elkaar worden vergeleken. Dit is een belangrijk criterium binnen het klinisch redeneren en daarom van belang voor Nederlandse kinderen. De projectgroep pleit voor een vertaling van de DASH naar de Nederlandse situatie. 
Op basis van de literatuur lijkt het vooralsnog het best om de normen van de BHK te gebruiken voor het vaststellen van de schrijfsnelheid, omdat de SOS de normering vermeldt per leeftijd en dus geen rekening houdt met het aantal maanden/jaren schrijfonderwijs. Daarnaast past de tekst van de BHK het best bij de Nederlandse onderwijssituatie. Wel verdient het aanbeveling om vast te stellen of de normen van 1987 moeten worden aangepast.

 

Conclusies

Niveau 4. Er zijn aanwijzingen dat de snelheidsnormen van de Beknopte beoordelingsmethode voor kinderhandschriften (BKH) uit 1987 overeenstemmen met de normen van de SOS en dat beide bruikbaar zijn om de schrijfsnelheid van kinderen in groep 3 t/m 8 (BHK) of in de leeftijd van 7 tot/met 12 jaar (SOS) in het Nederlandse basisonderwijs te meten. (B Hamstra-Bletz et al., 1987; Van Waelvelde et al., 2008)

 

Beoordelen van het effect van kinderfysiotherapeutische behandeling op de kwaliteit en snelheid van het schrijven

De vraag is welk meetinstrument sensitief genoeg is om het effect van de kinderfysiotherapeutische behandeling op de kwaliteit en snelheid van het schrijven te meten. Voor het vastellen van de kwaliteit en snelheid van het schrijfproduct wordt de BHK geadviseerd (Hamstra-Bletz et al., 1987) (noot 46)

 

Conclusie

Niveau 2. Het is aannemelijk dat de Beknopte beoordelingsmethode voor kinderhandschriften (BHK) sensitief genoeg is om het effect van een fysiotherapeutische behandeling op de kwaliteit van het schrijven te meten. (B Hamstra-Bletz & Blöte, 1990, 1993a; Hartman, 2007; Niemeijer, 2007 en C Smits-Engelsman et al., 1996; Jongmans et al., 2003)

 

Op basis van de onderzoeksbevindingen formuleerde de projectgroep de volgende aanbevelingen:

Het meten van het schrijfproduct

  • De projectgroep adviseert de kwaliteit en de snelheid van het schrijfproduct te meten binnen een gecombineerde schrijfopdracht. De Beknopte beoordelingsmethode voor kinderhandschriften (BHK) is vooralsnog het best voorhanden zijnde instrument om zowel de leesbaarheid als de schrijfsnelheid tegelijkertijd te meten in de Nederlandse situatie.
  • De projectgroep adviseert ook om de BHK te gebruiken als evaluatie-instrument na een fysiotherapeutische interventie.

Noot 34 Evaluation Tool of Children’s Handwriting (ETCH)

Noot 34 De ECTH heeft 2 versies: de ETCH-Manuscript (blokschrift, geschikt voor grade 1-2 (groep 3-4) en de ETCH-Cursive (vergelijkbaar met het Nederlandse verbonden schrift). De ETCH-M (Amundson, 1995) bestaat uit verschillende functionele schrijftaken (alfabet, cijfers, ‘dichtbij’ schrijven, vanaf bord, dictee, opstel), die individueel binnen een klassensituatie worden uitgevoerd. De ECTH-M heeft een test-hertestbetrouwbaarheid voor de totale score van 0,63-0,71 voor kinderen uit groep 3-4, voor de afzonderlijke taken varieerde deze van 0,20 (overschrijftaak dichtbij) tot 0,76 (alfabettaak; Diekema et al., 1998). De ETCH-C is een van de meetinstrumenten die niet alleen de algemene leesbaarheid van het handschrift, maar ook de leesbaarheidscomponenten (lettervorming, woordspatie, afwijking van de kantlijn en schrijfregel) meet. Daarnaast wordt ook gekeken naar schrijftempo en biomechanische aspecten, zoals hantering van het potlood, potlooddruk, schrijfbeweging en het in de hand manipuleren. Omdat deze test verschillende schrijftaken in de klassensituatie meet, zou hij bruikbaar zijn; de test is echter nog niet aangepast aan de methodiek van het Nederlandse schrijfonderwijs en de lettercombinaties die in de Nederlandse taal voorkomen; ook zijn er geen Nederlandse normen beschikbaar. 
De tests die het meest zijn onderzocht op hun methodologische eigenschappen zijn de Test of Legible Handwriting (TOLH) en de Beknopte beoordelingsmethode voor kinderhandschriften (BHK; Rosenblum et al., 2003b; Feder & Majnemer, 2003).

 

Noot 35 Evaluation Tool of Children’s Handwriting (TOLH)

Noot 35 De TOLH evalueert de leesbaarheid van een serie (1-5) spontaan geschreven teksten van een kind (liefst op verschillende tijden en met verschillende opdrachten, zoals opstel, dagboek, brief). De TOLH is goed te gebruiken als screeningsinstrument en beoordeelt globaal de leesbaarheid. Deze test wordt echter niet meer uitgegeven. In Amerika wordt hij nog gebruikt binnen de schoolomgeving (Feder & Majnemer, 2003). De TOLH is geschikt voor kinderen van 7 tot/met 17 jaar en genormeerd voor Amerikaanse kinderen (n = 1723). De interne consistentie 0,86 en de interbetrouwbaarheidscoëfficient is 0,95. De test-hertestbetrouwbaarheid varieert van 0,80-0,90 (Feder & Majnemer, 2003). Ook deze test is niet genormeerd voor de Nederlandse situatie.

 

Noot 36 Beknopte beoordelingsmethode voor kinderhandschriften (BHK)

Noot 36 De BHK (Hamstra-Bletz et al., 1987) is een in Nederland ontwikkelde en voor Nederlandse kinderen genormeerde test die zowel de leesbaarheid als de schrijfsnelheid van het handschrift beoordeelt. De kwaliteitsnormen van de BHK zijn beschikbaar voor kinderen uit groep 4 en 5. De test is tevens vertaald in het Frans en Italiaans. Het is een valide en betrouwbaar instrument dat in Nederland ook wordt gebruikt voor wetenschappelijk onderzoek. De test bestaat echter alleen in de oorspronkelijke experimentele versie van 1987. De test-hertestbetrouwbaarheid is laag en loopt van 0,51-0,55 (p 0,01; Hamstra-Bletz et al., 1993b). Een van de redenen is dat de handschriftkwaliteit van kinderen matig-stabiel is. De schrijfsnelheid blijkt stabieler te scoren met een test-hertestbetrouwbaarheid van 0,78 (p 0,01; Hamstra-Bletz, 1993b). De interbeoordelaarsbetrouwbaarheid varieert van 0,71-0,89 en de intrabeoordelaarsbetrouwbaarheid van 0,79-0,94. Longitudinaal onderzoek bij 121 kinderen laat zien dat er vanaf groep 4 kwaliteitsveranderingen optreden die verschillen per gescoord item en zowel negatief als positief kunnen zijn (Hamstra-Bletz, 1993a). Uit het proefschrift van Hamstra-Bletz (1993b) blijkt dat de correlatie tussen de BHK en beoordeling van de leerkracht hoog is (r = 0,78). Simons & Defourny (2005) vonden een veel lagere correlatie bij 53 kinderen uit groep 6 van de reguliere basisschool en een verschil in correlatie tussen jongens en meisjes. De test is niet meer verkrijgbaar bij de uitgever, maar er wordt gewerkt aan een revisie en een nieuwe normering.

 

Noot 37 Systematische Opsporing Schrijfproblemen (SOS)

Noot 37 In Nederland is vanaf 1999 de experimentele versie van de SOS in gebruik. Deze is gereviseerd in 2005 (Smits-Engelsman et al., 2005). Via internet is de Vlaamse versie van de SOS te vinden met de voorlopige Vlaamse normen (Van Waelvelde et al., 2008). De SOS is oorspronkelijk ontwikkeld als screeningsinstrument voor leerkrachten met als doel op eenvoudige wijze schrijfproblemen te signaleren bij kinderen van 7-12 jaar. De SOS bestaat uit de 6 geherdefinieerde items van de BHK, aangevuld met 2 open vragen over lettervormen. Deze test is onderzocht op criteriumvaliditeit met de BHK en blijkt voldoende hoog te zijn (r = 0,80-0,88; p = 0,01; Smits-Engelsman et al., 2005, Van Bommel-Rutgers & Smits-Engelsman, 2005). De correlatie tussen de SOS en het oordeel van de leerkracht (cijfer) is laag 0,31 (p = 0,001; Van Bommel-Rutgers & Smits-Engelsman, 2005), wel is deze hoger als er sprake is van slecht schrijven. Recent onderzochten van Van Waelvelde et al. (2012) de betrouwbaarheid van de SOS bij kinderen met leerstoornissen, zoals dyslexie en dyscalculie, uit het speciaal basisonderwijs in België. Zij vonden een test-hertestbetrouwbaarheid (n = 199) van 0,69, een intrabeoordelaarsbetrouwbaarheid van 0,88 (ICC) en een interbeoordelaarsbetrouwbaarheid van 0,77 (ICC). Daarnaast moet worden opgemerkt dat de SOS is genormeerd voor leeftijden en de BHK voor leerjaren.

 

Noot 38 Standaard Observatie Ergotherapie Schrijven en Sensomotorische Schrijfvoorwaarden (SOESSS)

Noot 38 De SOESSS is ontwikkeld voor ergotherapeutische diagnostiek bij kinderen van 6-12 jaar met schrijfproblemen. De observatie heeft als doel zowel de schrijfvaardigheid als de sensorische componenten die aan de schrijfproblemen ten grondslag liggen te evalueren. Binnen de zoekstrategie is geen literatuur gevonden over de SOESSS, daarom wordt dit instrument niet verder besproken.

 

Noot 39 Alfabettaak

Noot 39 De alfabettaak is ontwikkeld door Berninger et al. (1991). Kinderen moeten binnen 15 seconden zoveel mogelijk goed gevormde letters van het alfabet schrijven, in correcte volgorde. De mate van automatisme waarmee letters en woorden worden geproduceerd, heeft een matige tot sterke relatie met het stellen en spellen (hoofdstuk 2). Binnen de alfabettaak schrijven kinderen uit het hoofd met een potlood zo snel en foutloos mogelijk het alfabet in kleine blokletters. Per goed geschreven letter wordt een punt gegeven. Alleen het aantal goed gevormde blokletters die binnen de eerste 15 seconden worden geschreven tellen, omdat deze combinatie (nauwkeurigheid en snelheid) de beste validiteit heeft voor alle 3 de schrijfcomponenten (schrijven, spellen en compositie). De alfabettaak is een subonderdeel van de Proces Assessment of the Learner test Battery for reading and writing (PAL-W; Berninger et al., 2001) en wordt in verschillende studies gebruikt (soms in een aangepaste vorm). In veel studies blijkt deze test betrouwbaar te zijn. Dit is de enige taak die recht doet aan de koppeling tussen klank, teken en schrijven. Deze taak is niet genormeerd en bedoeld om voor- en nametingen met elkaar te vergelijken.

 

Noot 40 Computermeetinstrumenten

Noot 40 Computermeetinstrumenten worden regelmatig gebruikt in wetenschappelijk onderzoek. Een bruikbaar meetinstrument met de daarbij behorende software is nog niet voorhanden voor de dagelijkse praktijk. De verwachting is dat toepassingen voor de praktijk in de nabije toekomst beschikbaar zullen zijn.

 

Noot 41 Schrijftaak in de Beknopte beoordelingsmethode voor kinderhandschriften (BHK)

Noot 41 De schrijftaak in de BHK duurt 5 minuten, waarna kwaliteit en snelheid worden gescoord. De snelheidnormen van de BHK dateren uit 1987. Deze test meet de schrijfsnelheid door het aantal geschreven letters en tekens te tellen na 5 minuten. De opdracht is Schrijf zoals je altijd schrijft. Deze test is genormeerd bij 899 Nederlandse kinderen uit groep 3 tot en met 8 (Hamstra-Bletz et al., 1987). De score wordt omgezet in een decielscore, ingedeeld per groep.

 

Noot 42 Systematische Opsporing van Schrijfproblemen (SOS)

Noot 42 De SOS bestaat uit een overschrijftaak van 5 minuten. Kinderen ontvangen dezelfde instructie als bij de BHK. De tekst van de SOS is vergelijkbaar met de BHK tekst. De snelheidsnormen van de BHK en de SOS verschillen, met dien verstande dat in de Vlaamse SOS wordt gekeken per leeftijdsjaar en niet per leerjaar. Er worden gemiddelden en standaarddeviaties vermeld per leeftijd, en afkapwaarden voor het 5e en 15e precentiel (Van Waelvelde et al., 2008). De correlatie tussen de SOS- en de BHK-scores is hoog (Van Bommel-Rutgers & Smits-Engelsman, 2005).

 

Noot 43 Vlaamse snelheidstest

Noot 43 De Vlaamse snelheidstest is genormeerd voor Vlaamse kinderen van 7 tot/met 12 jaar (n = 2648). De test is bovendien genormeerd voor het speciaal onderwijs en voor kinderen met een lichte mentale handicap. De test laat de kinderen 4 minuten een tekst overschrijven op ongelinieerd papier, waarna de kinderen wordt gevraagd Schrijf zo mooi mogelijk en zo snel mogelijk. Het aantal letters wordt omgezet in een percentielscore per leerjaar. De normen verschillen ten opzichte van de SOS en de BHK (vergelijkbare percentielscore bij minder geproduceerde letters).

 

Noot 44 Snelheidsnormen van Van Engen

Noot 44 In het basisonderwijs worden vaak de snelheidsnormen van Van Engen gebruikt. Deze normen zijn gebaseerd op het gemiddelde aantal letters dat per minuut wordt geschreven en zijn afhankelijk van de groep waarin het kind zit. De taak die moet worden uitgevoerd (overschrijven, dictee, opstel) is niet omschreven en er is geen sprake van een gestandaardiseerde test. Betrouwbaarheid en validiteit zijn niet onderzocht en er zijn geen literatuurverwijzingen, dus de Snelheidsnormen van Van Engen zijn niet bruikbaar.

 

Noot 45 Detailed Assessment of Speed of Handwriting (DASH)

Noot 45 De DASH (Barnett et al., 2009) is geschikt voor kinderen van 9 tot 17 jaar (n = 546); normen voor studenten van 17-25 jaar worden binnenkort verwacht. De test bestaat uit 5 taken die elk een ander aspect van het schrijven testen. Deze 5 taken zijn vastgesteld op basis van een logische analyse van het handschrift, klinische ervaring van de auteurs en de adviezen van ervaren leerkrachten. De interne consistentie is 0,83-0,89 (Cronbach’s alpha). De interbeoordelaarsbetrouwbaarheid (ICC) is op 4 onderdelen hoger dan 0,99, behalve bij de Grafische taak (ICC = 0,85). De test-hertestbetrouwbaarheid varieert van 0,50-0,92. De laagste betrouwbaarheidsscore betrof de overschrijftaken bij de jongste kinderen (9-10 jaar).

 

Noot 46 Sensitiviteit van de Beknopte beoordelingsmethode voor kinderhandschriften (BHK)

Noot 46 In het onderzoek van Hamstra-Bletz & Blöte (1990; 1993a) worden 121 Nederlandse kinderen gevolgd gedurende 5 jaar vanaf groep 4. De BHK blijkt in deze onderzoeksgroep veranderingen in de tijd te kunnen meten. In het onderzoek van Hartman (2007) wordt de BHK gebruikt om veranderingen in het schrijven te meten na het ondergaan van chemotherapie. Ook in het promotieonderzoek van Niemeijer (2007) wordt de BHK gebruikt om het effect van Neuromotor Task Training (NTT) bij kinderen met fijne motoriek en DCD op de schrijfuitkomsten te meten en ook Smits-Engelsman et al., (1996) en Jongmans et al. (2003) konden met de BHK het effect van een schrijfinterventie meten (hoofdstuk 4). Uit deze onderzoeken blijkt dat de BHK sensitief genoeg is om veranderingen in de tijd te meten.