So testen Sie Modelle für kreatives Schreiben nach Genre und Stil

Was sollten Sie zuerst testen: Genre oder Stil?

Genre und Stil prägen unterschiedliche Aspekte einer Textpassage. Das Genre bestimmt die Erwartungen der Lesenden an Dinge wie Handlungsverlauf, Atmosphäre, Schauplatz und die Art der relevanten Details. Der Stil betrifft Entscheidungen wie Satzlänge, Wortwahl, Erzählperspektive, Rhythmus und den Umfang der Beschreibungen. Diese Kategorien überschneiden sich, aber ein Test in getrennten Durchläufen ermöglicht eine klarere Beurteilung.

Beginnen Sie mit dem Genre. Prüfen Sie, ob das Modell die grundlegende Funktion der Szene erfüllen kann: zum Beispiel eine unheimliche Prämisse in einer Geistergeschichte etablieren, eine Spur von Hinweisen in einem Krimi aufrechterhalten oder ein kohärentes spekulatives Setting erschaffen. Testen Sie den Stil anschließend anhand einer festen Szenenprämisse, indem Sie beobachtbare Merkmale vorgeben, anstatt sich auf vage Begriffe wie „literarisch“ oder „filmisch“ zu verlassen. Die Anforderung „personale Erzählperspektive (Er/Sie), zurückhaltende Beschreibungen, kurze Sätze unter Anspannung und keine Erklärung der Gefühle der Figur“ liefert Ihnen deutlich mehr Ansatzpunkte zur Beurteilung als ein bloßes „mach es atmosphärisch“.

Diese Unterscheidung ist eine praktische Arbeitsmethode, kein Anspruch darauf, dass Genre oder Stil objektiv messbar wären. Der [Prompt-Design-Leitfaden von Google Cloud](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/prompts/introduction-prompt-design) empfiehlt klare, spezifische Anweisungen, Kontextinformationen, Beispiele und das Vergleichen von Prompts. Der [Prompting-Leitfaden von OpenAI](https://developers.openai.com/api/docs/guides/prompting) rät ebenfalls dazu, zu experimentieren und Beispiele sowie aufgabenspezifische Details klar zu halten. Diese Prinzipien unterstützen einen kontrollierten Testablauf; sie belegen jedoch nicht, dass ein bestimmtes Prompt-Format für jede kreative Aufgabe das beste ist.

Einen kompakten, fairen Vergleich aufbauen

Wählen Sie eine Aufgabe, die repräsentativ für den Schreibprozess ist, bei dem Sie tatsächlich Unterstützung benötigen. Halten Sie sie so kurz, dass Sie sie eingehend prüfen können: Eine 250-Wörter-Szene, die Beschreibung eines Schauplatzes oder die Überarbeitung eines einzelnen Absatzes können aufschlussreiche Unterschiede aufdecken, ohne den Test in einen Wettbewerb darüber ausarten zu lassen, wer den längsten Entwurf generiert.

Verfassen Sie einen gemeinsamen Basis-Prompt, der die festen Fakten der Geschichte, den Textumfang, die Erzählperspektive und etwaige inhaltliche Grenzen enthält. Erstellen Sie dann einige Test-Prompts, indem Sie ausschließlich das Merkmal ändern, das Sie untersuchen möchten. Wenn Sie die Handhabung des Genres vergleichen, behalten Sie dieselbe Prämisse bei und bitten Sie um unterschiedliche Genre-Umsetzungen. Wenn Sie den Stil vergleichen, behalten Sie dasselbe Genre und dieselben Szenenfakten bei und variieren Sie nur die gewünschten Merkmale der Erzählstimme. Ändern Sie Prämisse, Länge, Erzählperspektive und Stil nicht gleichzeitig; wenn sich die Ausgaben unterscheiden, wissen Sie andernfalls nicht, welche Änderung dafür verantwortlich war.

Verwenden Sie nach Möglichkeit dieselben Modelleinstellungen und notieren Sie Modellname, Datum, Prompt-Text sowie alle geänderten Parameter. Wenn Sie die Einstellungen nicht kontrollieren können, halten Sie diese Einschränkung fest und betrachten Sie ein einzelnes Ergebnis nicht als verlässlichen Maßstab für das Modell. Eine zweite Generierung kann helfen festzustellen, ob ein vielversprechendes oder enttäuschendes Ergebnis reproduzierbar war, macht aus einem kleinen persönlichen Test jedoch noch keinen umfassenden Benchmark.

Legen Sie vor dem Prompting drei bis fünf Kriterien fest, die für Ihre Aufgabe wichtig sind. Bei einer Krimiszene könnten dies sein: Der Hinweis ist vorhanden, wird aber nicht erklärt; das Wissen der erzählenden Figur bleibt konsistent; der Text hält die Spannung aufrecht; und die Szene endet mit einer bedeutungsvollen Frage. Bei einem Stiltest könnten die Kriterien die Konsistenz der Erzählperspektive, Satzvariation, konkrete Bildsprache und Zurückhaltung umfassen. Nehmen Sie mindestens eine Muss-Anforderung und ein Ausschlusskriterium („darf nicht vorkommen“) auf. Andernfalls verleitet eine flüssig formulierte Passage dazu, eine verfehlte Vorgabe zu übersehen.

Ein konkretes Beispiel: Testen einer ruhigen Mystery-Szene

Angenommen, Sie schreiben an einem modernen Kriminalroman über einen Hausmeister, der in einem verschlossenen Archiv einen nassen Fußabdruck entdeckt. Die Passage soll personal (Er/Sie) und zurückhaltend erzählt sein. Die folgenden Angaben dienen als illustrative Test-Prompts, nicht als Ergebnisse eines tatsächlichen Modelltests.

Führen Sie zunächst einen Genre-Check mit einem Prompt wie diesem durch:

Beispielhafter Test-Prompt: Schreibe eine 250 Wörter lange Szene für einen zeitgenössischen Mystery-Krimi in personaler Erzählperspektive (Er/Sie). Ein Hausmeister betritt im Morgengrauen ein verschlossenes Archiv und findet einen einzelnen nassen Fußabdruck neben einem trockenen Fenster. Die Ursache bleibt unerklärt. Baue ein konkretes Detail ein, das zu einem Hinweis werden könnte, aber nenne keine Verdächtigen und erkläre den Fußabdruck nicht. Verwende eine zurückhaltende Sprache und ende mit einer offenen Entscheidung.

Überprüfen Sie das Ergebnis anhand Ihrer Checkliste. Bleibt das Archiv verschlossen und das Fenster trocken? Bleibt die Ungewissheit gewahrt oder erfindet das Modell eine Erklärung? Gibt es ein Detail, das als Hinweis fungieren könnte, ohne explizit als solcher benannt zu werden? Führt das Ende zu einer echten Entscheidung, anstatt einfach abzubrechen? Bewerten Sie jeden Punkt mit „erfüllt“, „teilweise erfüllt“ oder „verfehlt“ und kopieren Sie den genauen Satz heraus, der zu Ihrem Urteil geführt hat. Dieses Zitat dient Ihren Notizen; es verhindert, dass ein pauschaler Eindruck wie „guter Spannungsbogen“ eine konkrete Beobachtung ersetzt.

Behalten Sie als Nächstes die Fakten der Szene und die Genre-Vorgaben bei, ändern Sie jedoch die Stilanweisung. Eine Variante könnte kurze, knappe Sätze und minimale innere Reflexion verlangen; eine andere könnte längere, beobachtendere Sätze fordern, während die Erzählperspektive nah an der Figur bleibt. Vergleichen Sie, wie sich diese spezifischen Vorgaben auf den Text auswirken. Die Frage ist hierbei nicht, welcher Stil universell überlegen ist, sondern welche Textausgabe Ihnen mehr brauchbares Material für diese Szene und Ihre eigene angestrebte Erzählstimme liefert.

Stellen Sie schließlich eine gezielte Überarbeitungsanfrage an die stärkste Passage. Zum Beispiel: „Behalte den Fußabdruck und die Fakten zum verschlossenen Raum unverändert bei. Entferne den Satz, der den Verdacht des Hausmeisters erklärt; vermittle das Unbehagen stattdessen durch Handlungen.“ Prüfen Sie die Überarbeitung auf unbeabsichtigte Abweichungen bei den Fakten der Geschichte und darauf, ob die Erklärung tatsächlich entfernt wurde. Ein aussagekräftiger Modelltest umfasst neben der Qualität des ersten Entwurfs auch das Überarbeitungsverhalten, da der reale Schreiballtag meist mehrere Durchläufe punktueller Anpassungen beinhaltet.

Scorecard nutzen, dann redaktionell entscheiden

Eine einfache Scorecard sorgt für einen strukturierten Vergleich:

Betrachten Sie die letzte Zeile als eine Entscheidung über Ihren eigenen Schreibprozess, nicht als objektives Maß für literarische Qualität. Möglicherweise bevorzugen Sie einen noch ungeschliffenen Entwurf, der die Prämisse beibehält und Ihnen ein starkes Bild liefert, gegenüber einer glattpolierten Passage, die das Geheimnis zu früh auflöst. Es kann auch sein, dass Sie zu dem Schluss kommen, dass keines der Modelle für diese Aufgabe geeignet ist. Wenn Sie numerische Bewertungen nutzen, definieren Sie die Bedeutung jeder Zahl im Voraus und interpretieren Sie geringe Punktunterschiede nicht als statistisch signifikant.

Diese Methode fügt sich zudem in das weiter gefasste Verständnis von kreativer Arbeit als iterativer Prozess ein. In einer empirischen Studie mit angehenden Autorinnen und Autoren untersuchten Chakrabarty und Kollegen die Interaktion von Schreibenden mit einem kollaborativen Schreibsystem und beschreiben das Schreiben als iterative Tätigkeit; die Arbeit beleuchtet einen interaktiven Prozess und nicht ein Szenario, in dem ein einzelner Prompt eine fertige Geschichte hervorbringt. Aufgrund der Teilnehmenden, des Systems und der Schreibaufgaben sind die Beobachtungen der Studie nur bedingt verallgemeinerbar. Sie liefert jedoch einen nützlichen Kontext für das Testen der eigenen Überarbeitungsschleifen, stellt aber keinen Beweis dafür dar, dass ein bestimmtes Modell oder ein spezieller Ablauf für alle Schreibenden gleichermaßen funktioniert. Siehe [„Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers“](https://arxiv.org/abs/2309.12570).

Schwache Ausgaben analysieren, bevor das Tool gewechselt wird

Wenn eine Textpassage enttäuscht, benennen Sie das Problem präzise. Wenn sie einem festen Fakt widerspricht, heben Sie diesen Fakt deutlicher hervor und entfernen Sie widersprüchliche Angaben aus dem Prompt. Wenn der Text zwar der Prämisse folgt, aber die gewünschte Erzählstimme verfehlt, ersetzen Sie vage Adjektive durch konkrete Merkmale oder fügen Sie ein kurzes, selbst verfasstes Textbeispiel hinzu. Löst das Modell ein beabsichtigtes Rätsel immer wieder vorzeitig auf, weisen Sie es explizit an, die Ungewissheit aufrechtzuerhalten und Ursachen unbenannt zu lassen. Ändern Sie jeweils nur eine Anweisung auf einmal und wiederholen Sie dann den Vergleich.

Erfüllt die Passage Ihre Checkliste, fühlt sich aber dennoch unpassend an, liegt das Problem möglicherweise eher am persönlichen Geschmack oder der Eignung als an der Befolgung der Anweisungen. Halten Sie konkret fest, was unstimmig wirkt: zu viele Erklärungen, stereotype Bildsprache, vorhersehbare Dialoge oder ein Rhythmus, der nicht Ihren Vorstellungen entspricht. Entscheiden Sie dann, ob sich ein gezielter Überarbeitungs-Prompt lohnt oder ob Sie die Szene besser selbst schreiben. Die Fähigkeit eines Modells, plausibel wirkende Prosa zu erzeugen, beweist weder, dass es Ihre Intention verstanden hat, noch, dass der Text behalten werden sollte.

Grenzen eines Modelltests

Eine Handvoll Textausgaben reicht nicht aus, um zu belegen, dass ein Modell in einem ganzen Genre durchgehend gut abschneidet; ebenso wenig kann das Bewertungsschema einer einzelnen Person für alle Lesenden stehen. Ergebnisse variieren, Prompts können ein bestimmtes Modell bevorteilen und die eigene Vertrautheit mit einem Genre beeinflusst, was bei der Prüfung auffällt. Formulieren Sie Ihre Schlussfolgerungen zurückhaltend: Die Aussage „In diesen beiden Tests hat diese Version die Fakten der Szene besser beibehalten“ ist fundierter als „Dies ist das beste Modell zum Schreiben von Krimis“.

Vorsicht ist auch bei der Nachahmung namentlich genannter Autorinnen und Autoren geboten. Wenn Sie einen bestimmten handwerklichen Effekt erzielen möchten, beschreiben Sie diesen direkt – etwa karge Syntax, genaue Beobachtung oder trockenen Humor – und bewerten Sie den Text anhand dieser Merkmale. Das führt zu einem aussagekräftigeren Test der tatsächlich gewünschten Schreibentscheidungen, anstatt einen Namen als verlässliche Stilvorgabe zu behandeln.

Das eigentliche Ergebnis eines solchen Tests ist das Protokoll des Ablaufs: die Aufgabe, die Prompts, das Modell samt Einstellungen, die Checkliste, die Textbelege und die erprobte Überarbeitung. Mit dieser Dokumentation können Sie das Modell wählen, das eine klar definierte Aufgabe am besten unterstützt – oder entscheiden, dass Ihre Zeit besser darin investiert ist, die Passage selbst zu überarbeiten.

Dieses Thema weiter erkunden