Zes door AI gegenereerde onderzoeksdetails om te controleren

Namen worden gemakkelijk ‘gecorrigeerd’ naar een vertrouwde vorm. Een middelste initiaal kan verdwijnen, een achternaam kan verkeerd gespeld worden, twee auteurs kunnen worden samengevoegd of een organisatie kan de credits krijgen voor een rapport dat ze alleen heeft gehost. Gelijkende namen kunnen ook naar verschillende mensen verwijzen. Dit zijn verschillende soorten fouten: spelling beïnvloedt de identificatie; toeschrijving bepaalt wie iets heeft gedaan of gezegd.

Vergelijk de naam met de bronpagina zelf, met name de auteursregel, auteursnotitie of officiële pagina van de organisatie. Vertrouw niet op een fragment uit een zoekresultaat of een bibliografie die uit een ander artikel is overgenomen. Controleer bij een onderzoeksverwijzing naast de spelling ook de volgorde van auteurs en initialen: die helpen lezers het werk terug te vinden. Als de bron een groepsauteur vermeldt, behoud dan die groepsnaam in plaats van individuele auteurs te raden.

Tegenvoorbeeld: Een bron vermeldt “M. Lee” als een van vier auteurs. Dat uitbreiden tot “Michael Lee” omdat een gerelateerde teampagina een Michael Lee vermeldt, is een niet-onderbouwde identificatie, ook als het mogelijk om dezelfde persoon gaat.

Een echt voorbeeld van waarom een aannemelijk lijkende verwijzing rechtstreeks gecontroleerd moet worden, komt uit het onderzoek van Walters en Wilder uit 2023 naar bibliografieën die door ChatGPT zijn gegenereerd. De auteurs onderzochten verwijzingen in literatuuroverzichten over 42 onderwerpen en rapporteerden zowel verzonnen verwijzingen als fouten in echte verwijzingen. Het onderzoek gaat over de geteste systemen en prompts; het stelt geen foutenpercentage vast voor elke AI-tool of schrijftaak. (Onderzoek in Scientific Reports)

Een datum kan kloppen en toch de verkeerde vraag beantwoorden. Onderzoekspagina’s kunnen vermelden wanneer een studie werd uitgevoerd, voor het eerst online werd gepubliceerd, aan een tijdschriftnummer werd toegewezen, bijgewerkt of geraadpleegd. Rapporten kunnen ook betrekking hebben op een periode die afwijkt van hun publicatiedatum. Als er staat ‘de studie verscheen in 2021’, is het misleidend om de datum van een latere webpagina-update te gebruiken, ook als die updat datum prominent wordt weergegeven.

Stem de datum af op het werkwoord en zelfstandig naamwoord in de bewering. ‘Gepubliceerd’ vraagt om een publicatiedatum; ‘ondervraagd in’ vraagt om de periode waarin het veldwerk plaatsvond; ‘bijgewerkt’ vraagt om een revisiedatum. Als een bron alleen een jaartal vermeldt, verzin dan geen maand of dag. Als twee geldige datums relevant zijn, vermeld ze dan allebei in plaats van stilzwijgend één te kiezen.

Tegenvoorbeeld: Op een rapportpagina staat ‘Bijgewerkt op 14 maart 2024’ en wordt een enquête beschreven die in 2022 is uitgevoerd. Dat een ‘enquête uit 2024’ noemen, verwart de update van de pagina met de periode waarin gegevens zijn verzameld.

Cijfers blijven vaak behouden bij het parafraseren, terwijl hun betekenis verandert. Controleer de eenheid (mensen, artikelen, citaten of antwoorden), de noemer, de periode, de populatie en of het cijfer een telling, percentage, schatting of afgeronde waarde is. Controleer daarna de vergelijking: ‘steeg met 10%’ en ‘steeg met 10 procentpunten’ betekenen niet hetzelfde. Het aandeel citaten met een fout is niet hetzelfde als het aandeel artikelen met minstens één fout.

Ga terug naar de tabel, grafiek, methoden of bronpassage waar het cijfer vandaan komt. Reken het alleen opnieuw uit als de invoer en bewerking duidelijk zijn; citeer anders het gerapporteerde cijfer van de bron en behoud de voorbehouden. Maak van een resultaat uit een beperkte steekproef geen algemene uitspraak over frequentie.

Ter illustratie: 12 van de 20 galeriebezoekers en 20 van de 40 galeriebezoekers zijn verschillende aantallen, maar het eerste is 60% en het tweede 50%. Een AI-samenvatting die alleen ‘20 bezoekers’ of alleen een percentage overneemt, laat de vergelijking weg die nodig is om de bewering te begrijpen. Deze cijfers zijn verzonnen ter illustratie; controleer echte cijfers aan de hand van de oorspronkelijke tabel en de bijbehorende opmerkingen.

Een vlotte zin tussen aanhalingstekens kan een exact citaat zijn, een vrije parafrase of tekst die het model heeft verzonnen. Zoek de oorspronkelijke passage op en controleer de woorden, spreker, datum en omringende context. Een citaat dat aan een groep wordt toegeschreven, kan door één deelnemer zijn uitgesproken; een gedenkwaardige formulering kan de samenvatting van de auteur van het artikel zijn in plaats van de woorden van een deelnemer.

Als de oorspronkelijke bron de exacte bewoording niet bevat, verwijder dan de aanhalingstekens. Parafraseer wat de bron daadwerkelijk zegt en verwijs ernaar, of laat de zin weg als je die niet kunt bevestigen. Poets een citaat niet stilzwijgend op tot soepelere proza terwijl je het als exact presenteert.

Een aannemelijke artikeltitel bewijst niet dat het artikel bestaat. Zoek de exacte titel en auteur op de website van de uitgever of in een bibliografische index en vergelijk vervolgens de DOI, datum en tijdschrift- of boektitel. Eén veranderd woord in een titel kan naar een ander werk leiden of naar een werk dat helemaal niet bestaat. De metadatadatabase van Crossref kan helpen een geregistreerde publicatie te vinden, maar een overeenkomend record toont nog niet aan dat het werk de zin naast de verwijzing ondersteunt.

Walters en Wilder onderzochten 636 verwijzingen in 84 korte overzichten die GPT-3.5 en GPT-4 in 2023 genereerden. Ze rapporteerden verzonnen verwijzingen en fouten in verwijzingen naar bestaande werken. Het resultaat geldt voor die geteste versies en prompts; het is een reden om verwijzingen te controleren, geen actueel foutenpercentage voor elke AI-schrijftool.

Kleine woorden kunnen een bewering ongemerkt uitbreiden. ‘Sommige’, ‘alle’, ‘meestal’, ‘veroorzaakte’ en ‘bewees’ betekenen verschillende dingen. Als een bron verslag doet van één workshop op één datum, is een alinea over alle workshops ruimer dan het bewijs. Als twee metingen zich tegelijk ontwikkelden, vereist de bewering dat de ene de andere veroorzaakte meer onderbouwing dan alleen de gelijktijdigheid.

Markeer elke formulering die de oorspronkelijke bevinding uitbreidt: een groter publiek, een langere periode, een nieuwe situatie, meer zekerheid of een oorzakelijk werkwoord. Herstel de grenzen van de bron in de zin. Als de bron ‘deelnemers aan deze proef’ zegt, behoud dan die groep. Als er ‘kan’ staat, verander dat dan niet in ‘zal’. Bij deze controle gaat het om wat het bewijs omvat, niet om de vraag of de zin alleen maar zelfverzekerd klinkt.

Controleer gericht de namen, datums, cijfers, citaten, brontitels en woorden die de reikwijdte aangeven. Vraag je bij elk detail af of de oorspronkelijke bron precies deze vorm ondersteunt en of een lezer het kan terugvinden. Corrigeer, beperk of verwijder een detail dat de controle niet doorstaat. Lees de alinea daarna nogmaals om te bevestigen dat de aangepaste details de algehele betekenis nog steeds ondersteunen.

Deze controle is bewust beperkter dan een volledige beoordeling van het betoog of de kwaliteit van de bronnen. Ze vangt kleine feitelijke veranderingen op die een verder zorgvuldig onderzoeksartikel onbetrouwbaar kunnen maken, terwijl bredere keuzes over inkadering en redenering tijdens een aparte redactieronde aan bod komen.