Så testar du modeller för kreativt skrivande utifrån genre och stil

Genre och stil påverkar olika delar av en text. Genre formar läsarens förväntningar på sådant som handlingens utveckling, stämning, miljö och vilka slags detaljer som är viktiga. Stil handlar om val som meningslängd, ordval, perspektiv, rytm och hur mycket beskrivning en text innehåller. Kategorierna överlappar, men om du testar dem i separata omgångar får du en tydligare bedömning.

Börja med genre. Undersök om modellen kan utföra scenens grundläggande uppgift: till exempel etablera en kuslig premiss i en spökhistoria, upprätthålla en ledtrådskedja i en deckare eller skapa en sammanhängande spekulativ miljö. Testa sedan stil utifrån en fast scenpremiss och ange observerbara egenskaper i stället för att förlita dig på en bred beteckning som ”litterär” eller ”filmisk”. En instruktion om ”nära tredjepersonsperspektiv, återhållsam beskrivning, korta meningar under press och ingen förklaring av personens känslor” ger dig mer att utvärdera än ”gör den stämningsfull”.

Den här uppdelningen är en praktisk metod, inte ett påstående om att genre eller stil kan mätas objektivt. Google Clouds guide till promptutformning rekommenderar tydliga, specifika instruktioner, kontextuell information, exempel och jämförelser mellan prompter. OpenAIs guide till promptning rekommenderar också att experimentera och hålla exempel och uppgiftsspecifika detaljer tydliga. De principerna stöder ett kontrollerat test; de visar inte att ett visst promptformat passar bäst för alla kreativa uppgifter.

Välj en uppgift som motsvarar det slags skrivande du faktiskt behöver hjälp med. Håll den kort nog för att kunna granskas noggrant: en scen på 250 ord, en miljöbeskrivning eller en revidering av ett stycke kan avslöja användbara skillnader utan att göra testet till en tävling om vem som genererar det längsta utkastet.

Skriv en gemensam prompt med fasta berättelsefakta, textlängd, perspektiv och eventuella innehållsgränser. Skapa sedan några testprompter genom att bara ändra den egenskap du undersöker. Om du jämför hur väl modellen hanterar genre, behåll samma premiss och be om olika genretolkningar. Om du jämför stil, behåll samma genre och scenfakta och ändra sedan de önskade röstegenskaperna. Ändra inte premiss, längd, perspektiv och stil på en gång; om resultaten skiljer sig åt vet du då inte vilken ändring som orsakade skillnaden.

Använd samma modellinställningar när det går och anteckna modellnamn, datum, prompttext och eventuella inställningar du ändrade. Om du inte kan styra inställningarna, dokumentera begränsningen och behandla inte ett enskilt resultat som ett stabilt mått på modellen. En andra generering kan hjälpa dig att se om ett lovande eller nedslående resultat går att upprepa, men den gör inte ett litet personligt test till ett brett riktmärke.

Välj tre till fem kriterier som är viktiga för din uppgift innan du promptar. För en deckarscen kan de till exempel vara: ledtråden finns med men förklaras inte; berättarens kunskaper är konsekventa; prosan upprätthåller spänningen; och scenen slutar med en meningsfull fråga. För ett stiltest kan kriterierna vara konsekvent perspektiv, varierade meningar, konkreta bilder och återhållsamhet. Ta med minst ett krav som måste uppfyllas och ett kriterium för sådant som inte får förekomma. Annars kan en välformulerad text distrahera dig från ett krav som inte uppfyllts.

Anta att du skriver på en nutida deckare om en vaktmästare som upptäcker ett vått fotavtryck i ett låst arkiv. Texten ska vara skriven i nära tredjepersonsperspektiv och med återhållsam ton. Det här är exempel på promptindata, inte resultat från ett modelltest.

Börja med att kontrollera genren med en prompt som den här:

Exempel på testprompt: Skriv en scen på 250 ord ur en nutida deckare i nära tredjepersonsperspektiv. En vaktmästare går in i ett låst arkiv i gryningen och hittar ett vått fotavtryck intill ett torrt fönster. Låt orsaken förbli oförklarad. Ta med en konkret detalj som skulle kunna bli en ledtråd, men peka inte ut en misstänkt och förklara inte fotavtrycket. Använd återhållsam prosa och avsluta med ett olöst val.

Jämför resultatet med din checklista. Håller den arkivet låst och fönstret torrt? Bevarar den ovissheten eller hittar den på en förklaring? Finns det en detalj som kan fungera som ledtråd utan att kallas det? Skapar slutet ett val i stället för att bara ta slut? Markera varje punkt som ”uppfylld”, ”delvis uppfylld” eller ”missad”, och kopiera den exakta meningen som låg till grund för din bedömning. Citatet är till för dina anteckningar; det hindrar ett allmänt intryck som ”bra spänning” från att ersätta en konkret iakttagelse.

Behåll sedan scenens fakta och deckarkrav oförändrade, men ändra stilinstruktionen. En variant kan efterfråga korta meningar och minimalt med inre reflektion; en annan kan be om längre, mer iakttagande meningar samtidigt som perspektivet hålls nära. Jämför hur de specifika instruktionerna påverkar prosan. Du frågar inte vilken stil som är bäst i alla lägen. Du frågar vilket resultat som ger dig mer användbart material för scenen och den röst du själv vill använda.

Gör till sist en riktad revidering av den starkaste texten. Du kan till exempel skriva: ”Behåll fotavtrycket och fakta om det låsta rummet oförändrade. Ta bort meningen som förklarar vaktmästarens misstankar; förmedla i stället oron genom handling.” Granska den reviderade texten för oavsiktliga ändringar av berättelsefakta och kontrollera att förklaringen faktiskt togs bort. Ett användbart modelltest omfattar också hur modellen reviderar, inte bara hur flytande det första utkastet är, eftersom ditt verkliga arbetsflöde kan innebära flera omgångar med avgränsade ändringar.

En enkel bedömningsmall kan hjälpa dig att hålla jämförelsen konkret:

Se den sista raden som ett beslut om din arbetsprocess, inte som ett objektivt mått på litterär kvalitet. Du kanske föredrar ett skissartat utkast som bevarar premissen och ger dig en stark bild framför en polerad text som löser mysteriet för tidigt. Du kan också komma fram till att ingen av modellerna är användbar för uppgiften. Om du använder poäng, bestäm vad varje poäng betyder innan du börjar och framställ inte en liten poängskillnad som statistiskt betydelsefull.

Metoden passar också in i en bredare syn på kreativt arbete som iterativt. I en empirisk studie med nya skribenter undersökte Chakrabarty och kollegor skribenternas samspel med ett kollaborativt skrivsystem och beskriver skrivande som en iterativ aktivitet; arbetet beskriver en interaktiv process snarare än en enda prompt som ger en färdig berättelse. Deltagarna, systemet och skrivuppgifterna i studien begränsar hur långt resultaten kan generaliseras. Studien ger användbar kontext för att testa din egen revideringsloop, men bevisar inte att en viss modell eller ett visst arbetsflöde fungerar för alla skribenter. Se ”Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers”.

När en text gör dig besviken, identifiera felet exakt. Om den motsäger ett fastslaget faktum, gör faktumet tydligare och ta bort motstridiga detaljer ur prompten. Om prosan följer premissen men missar den önskade rösten, byt ut vaga adjektiv mot konkreta egenskaper eller lägg till ett kort exempel som du själv har skrivit. Om modellen fortsätter att lösa ett avsett mysterium, be den uttryckligen att bevara ovissheten och undvika att slå fast orsaker. Ändra en instruktion i taget och kör sedan jämförelsen igen.

Om texten uppfyller checklistan men ändå känns fel kan problemet handla om smak eller passform snarare än om att instruktionerna inte följts. Anteckna konkret vad som skaver: för många förklaringar, generiska bilder, förutsägbar dialog eller en rytm som inte liknar den du vill ha. Bestäm sedan om det är värt att prova en riktad revidering eller om du hellre skriver scenen själv. Att en modell kan generera trovärdig prosa betyder inte att den förstår din avsikt eller att texten bör behållas.

Ett fåtal genereringar kan inte visa att en modell konsekvent är bra på en hel genre, och en enda skribents bedömningsmall kan inte representera alla läsare. Resultaten kan variera, prompter kan gynna en viss modell och kännedom om en genre påverkar vad en granskare lägger märke till. Dra avgränsade slutsatser: ”I de här två testerna bevarade den här versionen scenfakta bättre” är lättare att försvara än ”det här är den bästa modellen för deckarskrivande”.

Var också försiktig med att efterlikna namngivna författare. Om du är ute efter en särskild hantverkseffekt, beskriv effekten direkt – till exempel avskalad syntax, nära iakttagelser eller torr humor – och utvärdera de egenskaperna. Då får du ett tydligare test av de stilval du faktiskt vill åt, utan att behandla ett namn som en tillförlitlig stilspecifikation.

Det användbara resultatet av ett test är en redogörelse för vad som hände: uppgiften, prompterna, modellen och inställningarna, checklistan, beläggen i resultatet och revideringen du provade. Med de anteckningarna kan du välja modellen som bäst stöder en avgränsad uppgift – eller avgöra att det är bättre att lägga tiden på att revidera texten själv.