Sex AI-genererade forskningsdetaljer att verifiera

Namn är lätta att ”korrigera” till en välbekant form. En mell initial kan försvinna, ett efternamn kan stavas fel, två författare kan slås ihop eller en organisation kan tillskrivas en rapport som den bara har publicerat på sin webbplats. Liknande namn kan också syfta på olika personer. Det här är separata fel: stavningen påverkar identifieringen, attributionen påverkar vem som gjorde eller sade något.

Jämför namnet med själva källsidan, särskilt bylinen, författaranteckningen eller organisationens officiella sida. Lita inte på ett utdrag från sökresultatet eller en litteraturlista som kopierats från en annan artikel. Kontrollera författarordning och initialer utöver stavningen i en forskningshänvisning: de hjälper läsarna att hitta arbetet. Om källan anger en grupp som författare ska du behålla gruppnamnet i stället för att gissa vilka individer som står bakom.

Motexempel: En källa listar ”M. Lee” som en av fyra författare. Att skriva ut namnet som ”Michael Lee” eftersom en relaterad personalsida nämner en Michael Lee är en obestyrkt identifiering, även om det kan röra sig om samma person.

Ett verkligt exempel på varför en till synes rimlig referens bör kontrolleras direkt kommer från Walters och Wilders studie från 2023 av bibliografier skapade av ChatGPT. Författarna undersökte hänvisningar som genererats i litteraturöversikter om 42 ämnen och rapporterade både påhittade referenser och fel i verkliga hänvisningar. Studien gäller de testade systemen och promptarna; den fastställer inte en felfrekvens för alla AI-verktyg eller skrivuppgifter. (Studie i Scientific Reports)

Ett datum kan vara korrekt och ändå besvara fel fråga. Forskningssidor kan visa när en studie genomfördes, publicerades online första gången, tilldelades ett tidskriftsnummer, uppdaterades eller lästes. Rapporter kan också behandla en period som skiljer sig från publiceringsdatumet. Om en text säger ”studien publicerades 2021” blir det missvisande att använda datumet för en senare uppdatering av webbsidan, även om det datumet visas tydligt.

Matcha datumet med påståendets verb och substantiv. ”Publicerad” kräver ett publiceringsdatum; ”undersöktes under” kräver fältperioden; ”uppdaterad” kräver ett revisionsdatum. Om källan bara anger ett år ska du inte hitta på en månad eller dag. När två giltiga datum är relevanta ska du ange båda i stället för att välja det ena utan förklaring.

Motexempel: En rapportsida säger ”Uppdaterad 14 mars 2024” och beskriver en undersökning som genomfördes 2022. Att kalla den ”en undersökning från 2024” blandar ihop sidans uppdatering med datainsamlingsperioden.

Siffror överlever ofta en parafras även när betydelsen förändras. Kontrollera enheten (personer, artiklar, hänvisningar eller svar), nämnaren, tidsperioden, populationen och om värdet är ett antal, en procentsats, en uppskattning eller ett avrundat värde. Kontrollera sedan jämförelsen: ”ökade med 10 %” och ”ökade med 10 procentenheter” är inte utbytbara uttryck. Andelen hänvisningar som innehåller ett fel är inte samma sak som andelen artiklar med minst ett fel.

Gå tillbaka till tabellen, diagrammet, metoden eller källtexten där siffran kommer ifrån. Räkna bara om när indata och beräkning är tydliga; annars ska du återge källans rapporterade värde och behålla dess förbehåll. Gör inte ett resultat från ett begränsat urval till ett allmänt påstående om förekomst.

Som en enkel illustration är 12 av 20 besökare på ett galleri och 20 av 40 besökare på ett galleri olika antal, men den första andelen är 60 % och den andra 50 %. En AI-sammanfattning som bara återger ”20 besökare” eller bara en procentsats utelämnar jämförelsen som behövs för att förstå påståendet. Siffrorna är påhittade för illustrationens skull; kontrollera verkliga siffror mot originaltabellen och dess noter.

En välformulerad mening inom citationstecken kan vara ett exakt citat, en fri parafras eller text som modellen har hittat på. Leta upp originaltexten och kontrollera ordalydelsen, talaren, datumet och det omgivande sammanhanget. Ett citat som tillskrivs en grupp kan ha sagts av en enskild deltagare; en minnesvärd formulering kan vara artikelförfattarens sammanfattning snarare än en deltagares ord.

Om originalkällan inte innehåller den exakta formuleringen ska du ta bort citationstecknen. Parafrasera det som källan faktiskt säger och hänvisa till den, eller stryk meningen om du inte kan bekräfta den. Putsa inte i tysthet ett citat till en smidigare formulering och presentera det som exakt.

En rimlig artikeltitel bevisar inte att artikeln existerar. Sök efter den exakta titeln och författaren på förlagets sida eller i ett bibliografiskt index och jämför sedan DOI, datum och tidskrifts- eller boktitel. Ett ändrat ord i en titel kan leda till ett annat verk eller inget verk alls. Crossrefs metadatasökning kan hjälpa dig att hitta en registrerad publikation, men en matchande post visar inte i sig att verket stöder meningen intill hänvisningen.

Walters och Wilder undersökte 636 referenser i 84 korta översikter som GPT-3.5 och GPT-4 genererade 2023. De rapporterade påhittade referenser och fel i referenser till verkliga verk. Resultatet gäller de testade versionerna och promptarna; det är belägg för att referenser bör kontrolleras, inte en aktuell felfrekvens för alla AI-skrivverktyg.

Små ord kan i det tysta utvidga ett påstående. ”Vissa”, ”alla”, ”vanligtvis”, ”orsakade” och ”bevisade” betyder olika saker. Om en källa rapporterar en workshop på ett visst datum är ett stycke om alla workshops bredare än evidensen. Om två mått förändrades samtidigt krävs mer stöd för att kalla det ena orsaken till det andra än att de inträffade vid samma tidpunkt.

Markera varje formulering som vidgar det ursprungliga resultatet: en större målgrupp, en längre period, en ny miljö, större säkerhet eller ett kausalt verb. Återställ källans avgränsningar i meningen. Om källan säger ”deltagare i den här prövningen” ska du behålla den gruppen. Om den säger ”kan” ska du inte ändra det till ”kommer att”. Den här kontrollen handlar om vad evidensen omfattar, inte om meningen bara låter självsäker.

Gör en fokuserad genomgång av namn, datum, siffror, citat, källtitlar och ord som anger omfattning. Fråga för varje detalj om originalkällan stöder just den formen och om läsaren kan hitta den. Rätta, begränsa eller ta bort en detalj som inte klarar kontrollen. Läs sedan stycket en gång till för att bekräfta att de korrigerade detaljerna fortfarande stöder dess övergripande betydelse.

Den här genomgången är medvetet snävare än en fullständig granskning av argumentet eller källornas kvalitet. Den fångar upp små faktamässiga förändringar som kan göra en annars välgjord forskningsartikel opålitlig, medan bredare beslut om inramning och resonemang lämnas till en separat redaktionell genomgång.