Wat AI-gesimuleerde lezers je wel en niet kunnen vertellen over je tekst
Als je een pagina, gids of reeks instructies herziet, kan een taalmodel je helpen formuleringen op te sporen die een lezer in verwarring kunnen brengen. Het kan wijzen op een onduidelijke uitdrukking, een mogelijke verkeerde interpretatie beschrijven of nagaan of een conceptversie een gestelde vraag lijkt te beantwoorden. Maar een gesimuleerde reactie kan niet aantonen dat je beoogde lezers de tekst begrepen, de juiste context meenamen of de beschreven taak voltooiden. Laat daarvoor een paar echte mensen uit je doelgroep de taak uitvoeren en uitleggen wat ze begrepen.
Wat een model nuttig kan beoordelen in een conceptversie
Een model kan de woorden en structuur onderzoeken die je het geeft. Vraag het termen aan te wijzen die onbekend kunnen zijn, stappen die lijken te ontbreken, instructies met meer dan één aannemelijke betekenis of een vraag die de conceptversie onbeantwoord laat. Je kunt het ook vragen om aan te geven welk bewijs in de tekst aan elke observatie ten grondslag ligt. Dit is nuttig als eerste redactionele controle: het levert mogelijke aandachtspunten op om te onderzoeken, geen bevindingen over echte lezers.
Houd de opdracht concreet. Vraag het model bijvoorbeeld bij een pagina over hoe je een daguitstap kiest, aan te wijzen welke gegevens een lezer nodig heeft om opties te vergelijken en waar die gegevens staan. Vraag om specifieke passages en een mogelijke misinterpretatie, en toets vervolgens elke suggestie aan je doel en de tekst. Een vloeiend antwoord bewijst niet dat iemand de passage ook zo zou lezen.
Personaprompts kunnen wat nuttige structuur bieden, maar een beschrijving als “een drukbezette bezoeker die er voor het eerst is” maakt het model niet tot die bezoeker. Onderzoek naar personaprompting wees uit dat de voordelen afhingen van de vraag of de personakenmerken overeenkwamen met patronen in menselijke annotaties; bij veel subjectieve datasets verklaarden die kenmerken weinig van de variatie. Beschouw reacties op basis van persona’s als hypothesen, niet als een representatieve steekproef van de mening van je doelgroep. Hu en Collier, “Quantifying the Persona Effect in LLM Simulations”
Wat gesimuleerde reacties niet kunnen aantonen
Een modelreactie kan niet aantonen wat een bepaalde lezer heeft opgemerkt, afgeleid, onthouden of gedaan. Het model krijgt tekst en een prompt en genereert vervolgens een antwoord. Een echte lezer neemt het materiaal tot zich met eigen kennis, doelen, afleidingen, verwachtingen en omstandigheden. Die factoren bepalen of een zin begrijpelijk is en of iemand ernaar kan handelen.
Dit verschil is vooral van belang bij gedragsvragen: kan iemand de juiste informatie vinden? Begrijpt iemand een aanwijzing zoals bedoeld? Kan iemand de taak zonder hint voltooien? Een model kan over deze vragen redeneren, maar de beschrijving van wat het zou doen, blijft gegenereerde tekst. Het heeft de pagina niet zelfstandig doorlopen en niet aangetoond dat iemand uit je doelgroep die kan gebruiken.
Onderzoek naar modelsimulaties waarschuwt ook om levendige of uiteenlopende reacties niet als bewijs van getrouwheid te zien. Een onderzoek uit 2025 naar simulaties van enquêteantwoorden wees uit dat de geteste aanpakken moeite hadden om antwoorden van gebruikers nauwkeurig na te bootsen; de modellen konden standpunten behouden bij demografische veranderingen en hadden moeite zich aan te passen aan subtiele verschillen tussen profielen. Dat onderzoek toetst niet rechtstreeks elke vorm van schrijfbeoordeling of bruikbaarheidstaak, maar ondersteunt wel een praktische grens: een aannemelijk klinkende gesimuleerde lezer valideert niet hoe een echte doelgroep zal reageren. Yu et al., “An Analysis of Large Language Models for Simulating User Responses in Surveys”
Wat een kleine test met echte lezers kan laten zien
Een kleinschalige kwalitatieve test kan laten zien waar echte deelnemers aarzelen, wat ze over het hoofd zien, hoe ze een uitdrukking interpreteren en of ze het beoogde eindpunt bereiken. Geef iedereen een realistische taak, laat hen de conceptversie of pagina gebruiken en observeer wat er gebeurt. Vervolgvragen kunnen verduidelijken wat ze dachten dat een woord betekende of waarom ze voor een bepaalde stap kozen. Zo combineer je waarneembaar gedrag met de eigen uitleg van de deelnemer.
Bepaal voor een inhoudelijke taak vóór de sessie wat als succes geldt. Bij een gids voor daguitstappen kun je een deelnemer bijvoorbeeld vragen een optie te kiezen die bij een opgegeven voorkeur past en uit te leggen welke informatie die keuze heeft beïnvloed. Noteer of diegene de relevante gegevens vindt, welke woorden of onderdelen vertraging opleveren en of de uitleg overeenkomt met de onderscheidingen die de gids wilde overbrengen. Dit voorbeeld is een voorgesteld testontwerp, geen bewering over een specifieke gids of uitkomst.
Overheidsrichtlijnen voor kwalitatief bruikbaarheidsonderzoek raden aan mensen te werven die potentiële gebruikers kunnen zijn, hun een taak te geven, overmatige instructies te vermijden en achteraf de taakvoltooiing en veelvoorkomende fouten te beoordelen. Nielsen Norman Group beschrijft bruikbaarheidsonderzoeken vergelijkbaar als een manier om te onderzoeken of inhoud makkelijk te vinden en te begrijpen is en of mensen een taak kunnen voltooien. Beide benadrukken het observeren van wat deelnemers doen; dat is bewijs dat een gesimuleerde reactie niet kan leveren. GOV.UK, “Usability testing: qualitative studies”, Nielsen Norman Group, “Checklist for Planning Usability Studies”
Zo voer je een nuttige kleine test uit
Begin met één beslissing of taak die de tekst moet ondersteunen. Werf mensen die op relevante punten op de beoogde doelgroep lijken, vooral wat hun ervaring met het onderwerp betreft. Schrijf vervolgens een scenario dat hun een reden geeft om het materiaal te gebruiken, zonder te vertellen waar het antwoord staat of op welke woorden ze moeten letten. Een taak waarin een label van de pagina wordt herhaald, kan onbedoeld woordherkenning testen in plaats van of de inhoud iemand helpt diens doel te bereiken; NN/G raadt aan concrete taken te formuleren zonder aanwijzingen die het gedrag sturen.
Laat deelnemers tijdens de sessie met zo min mogelijk begeleiding verdergaan. Noteer wat ze doen, waar ze pauzeren, wat ze in hun eigen woorden zeggen en of ze de taak voltooien. Als ze om hulp vragen, noteer dan op welk moment dat nodig was. Vraag hun daarna te beschrijven wat ze begrepen en wat ze vervolgens zouden doen. Volgens de richtlijnen van GOV.UK zijn vijf tot zes deelnemers geschikt voor kwalitatief bruikbaarheidsonderzoek; NN/G beveelt doorgaans vijf deelnemers aan voor traditioneel kwalitatief onderzoek. Dit zijn praktische startpunten om problemen op te sporen, geen steekproefgroottes die de bevindingen representatief maken voor een hele populatie. Voor percentages of vergelijkingen die generaliseerbaar zijn, heb je een kwantitatief onderzoeksontwerp nodig met een grotere steekproef en gecontroleerde metingen. GOV.UK, “Usability testing: qualitative studies”, NN/G, “Quantitative vs. Qualitative Usability Testing”
Zet observaties om in aanpassingen, niet in brede beweringen
Zoek na een paar sessies naar terugkerende obstakels en afzonderlijke fouten met grote gevolgen. Als meerdere deelnemers dezelfde uitdrukking verkeerd begrijpen, is dat een sterke kandidaat voor herziening. Als één persoon een taak niet kan voltooien, onderzoek dan de omstandigheden en vraag je af of die mislukking van belang is voor de beoogde doelgroep; behandel één sessie niet als een percentage voor de hele populatie. Een kleinschalig kwalitatief onderzoek is bedoeld om problemen aan het licht te brengen en wijzigingen te sturen, niet om in te schatten hoeveel mensen in een bredere doelgroep ermee te maken krijgen. NN/G merkt op dat kwalitatieve bevindingen afhangen van de steekproef en de interpretatie van de onderzoeker, terwijl numerieke uitspraken over bruikbaarheid een kwantitatief onderzoek met een passende steekproefgrootte vereisen.
Herzie de tekst en test de aangepaste versie waar mogelijk met nieuwe lezers. Een model kan je helpen alternatieve formuleringen te verkennen of nieuwe dubbelzinnigheden tussen testrondes aan te wijzen. Houd de soorten bewijs in je aantekeningen gescheiden: “het model voorspelde dat dit verwarrend zou kunnen zijn” is een aanleiding om iets te onderzoeken; “twee deelnemers interpreteerden deze stap verschillend en één bereikte het eindpunt niet” is een observatie uit een test. Op zichzelf bewijst geen van beide dat elke lezer dezelfde ervaring zal hebben, maar het tweede vertelt je wat er gebeurde tijdens de taak die je observeerde.
Een praktische taakverdeling
Gebruik het model om vragen over de conceptversie te bedenken. Gebruik echte lezers om vragen over daadwerkelijk begrip en taakuitvoering te beantwoorden. Werf mensen die passen bij de omstandigheden wanneer de taak afhangt van een specifieke doelgroep, omgeving of eerdere ervaring, in plaats van een model te vragen die te verzinnen. En als je een betrouwbaar percentage of een betrouwbare vergelijking nodig hebt, ontwerp dan een kwantitatief onderzoek in plaats van een handvol kwalitatieve sessies op te rekken tot een statistische bewering.
Met deze taakverdeling kan gesimuleerde kritiek de herziening versnellen zonder een aannemelijke reactie te verwarren met bewijs dat lezers slagen. De beslissende vraag is niet of het model een overtuigende lezersstem kan voortbrengen, maar of de beoogde lezer het materiaal kan begrijpen en kan doen waarvoor de tekst bedoeld is.