Wenn eine KI ein Projektdetail vergisst, sollte sie nachfragen, bevor sie sich „erinnert“
Wenn ein KI-Assistent ein gewöhnliches Detail aus einem laufenden kreativen Projekt nicht abrufen kann, sollte er benennen, was er nicht bestätigen kann, den fehlenden Fakt identifizieren und den Nutzer nach der Quelle fragen. Er sollte sein Arbeitsverständnis erst aktualisieren, nachdem der Nutzer das Detail bestätigt hat. Diese Reaktion ist nützlicher, als einen plausiblen vergangenen Austausch zu erfinden, da sie die Projektdokumentation von bloßen Vermutungen trennt.
Warum eine plausible Erinnerung dennoch eine Vermutung ist
Ein kreatives Projekt hängt von kleinen Entscheidungen ab: welcher Titel in die engere Auswahl kam, ob der Entwurf die erste oder zweite Person verwendet oder welche Farbpalette der Nutzer gewählt hat. Wenn der Assistent eines dieser Details nicht finden kann, kann eine flüssig formulierte Antwort wie eine verlässliche Erinnerung klingen, während sie insgeheim eine neue Entscheidung einführt.
Das NIST definiert Konfabulation bei generativer KI so, dass sie selbstbewusst präsentierte falsche Inhalte sowie Ausgaben umfasst, die von der Eingabe abweichen oder ihr widersprechen. Ein erfundenes Projektdetail passt genau zu diesem praktischen Risiko: Es kann fälschlicherweise für eine bereits getroffene Entscheidung gehalten werden. Das Generative AI Profile des NIST beschreibt den Mechanismus in allgemeinen Begriffen; die hier beschriebenen Folgen für die Projektarbeit sind ein gestalterischer Rückschluss und kein Befund über ein bestimmtes Produkt.
Untersuchungen von OpenAI argumentieren ebenfalls, dass gängige Evaluierungsanreize das Raten eher belohnen können als das Eingestehen von Unsicherheit. Das dortige Beispiel bezieht sich auf allgemeine Fragenbeantwortung, aber die Lektion für das Produktdesign lässt sich übertragen: Ein Assistent sollte eine souverän klingende Vervollständigung nicht als Beweis dafür werten, dass ein früherer Austausch tatsächlich verfügbar ist. Why language models hallucinate
Zuerst feststellen, was der Assistent tatsächlich sehen kann
Der Assistent sollte zwischen drei Zuständen unterscheiden: ein Detail, das in der aktuellen Konversation sichtbar ist; ein Detail, das aus einer verfügbaren Projektquelle abgerufen werden kann; und ein Detail, das er nicht verifizieren kann. Diese Zustände erfordern unterschiedliche Formulierungen. Wenn das Detail weiter oben im aktuellen Thread vorkommt, kann der Assistent es zitieren oder zusammenfassen und auf diesen Kontext verweisen. Wenn er eine Notiz oder ein Dokument gefunden hat, kann er diese Quelle nennen. Wenn keines von beiden verfügbar ist, sollte er dies offen aussprechen.
Eine nützliche Unsicherheitsaussage ist spezifisch und eingrenzend: „Aus den mir vorliegenden Projektinformationen kann ich nicht überprüfen, welchen Titel Sie gewählt haben.“ Sie impliziert nicht, dass der Nutzer nie einen Titel gewählt hat, dass der Assistent jedes erdenkliche Archiv durchsucht hat oder dass das fehlende Detail gar nicht existiert. Diese Unterscheidungen sind wichtig, denn die Unfähigkeit, einen Datensatz abzurufen, ist kein Beweis dafür, dass der Datensatz nie erstellt wurde.
Das People + AI Guidebook von Google empfiehlt, relevante Fähigkeiten und Grenzen zu erklären und Erklärungen darauf zu konzentrieren, was das Verständnis und die Entscheidungen der Nutzer beeinflusst. Hier angewendet deutet dies auf eine kurze Aussage über den verfügbaren Projektkontext hin, anstatt auf eine technische Erklärung der internen Modellabläufe. Explainability + Trust
Nach der kleinsten nützlichen Quelle fragen
Nachdem die Lücke benannt wurde, sollte eine gezielte Frage gestellt werden. Zum Beispiel: „Könnten Sie die Notiz einfügen oder mir den Titel nennen, für den Sie sich entschieden haben?“ Wenn der Nutzer mehrere Quellenoptionen haben könnte, bieten Sie eine kurze Auswahl an: „Stand es im letzten Entwurf, in Ihren Projektnotizen oder in einem früheren Chat?“ Das Ziel ist es, die Wiederherstellung zu erleichtern, ohne eine alltägliche kreative Aufgabe in ein Verhör zu verwandeln.
Ein praktisches Antwortmuster lautet: „Anhand der Daten, auf die ich zugreifen kann, kann ich die Farbpalette nicht bestätigen. Wenn Sie die Notiz teilen oder mich an die Farben erinnern, werde ich diese für den nächsten Entwurf verwenden.“ Dies benennt den fehlenden Fakt, bittet um Belege oder eine Bestätigung und erklärt, was als Nächstes geschehen wird. Es erhält zudem den Arbeitsfluss aufrecht: Der Assistent kann mit unbeeinflussten Teilen der Aufgabe fortfahren, während die unsichere Entscheidung offen bleibt.
Klärung ist nützlich, wenn fehlende Informationen die Antwort verändern. In einer Studie über kollaborative Dialoge stellten Testoni und Fernández fest, dass eine durch Modellunsicherheit gesteuerte Klärungsstrategie den Aufgabenerfolg bei ihrer spezifischen Zeichenaufgabe verbesserte; sie berichten jedoch auch, dass das Stellen von Fragen mit Kosten verbunden ist. Das spricht für ein maßvolles Vorgehen: Fragen Sie nach, wenn der fehlende Projektfakt von Bedeutung ist, und halten Sie die Frage fokussiert. Asking the Right Question at the Right Time
Erst nach Bestätigung durch den Nutzer aktualisieren
Sobald der Nutzer eine Quelle bereitstellt oder ein Detail bestätigt, wiederholen Sie den bestätigten Fakt in kompakter Form: „Verstanden: Der aktuelle Titel lautet basierend auf der von Ihnen eingefügten Notiz ‚Kleine Gartennotizen‘.“ Wenn die Quelle etwas geringfügig anderes besagt, machen Sie die Diskrepanz sichtbar, anstatt stillschweigend eine Wahl zu treffen. Zum Beispiel: „In Ihrer Notiz steht ‚Gartennotizen‘; Sie haben gerade ‚Kleine Gartennotizen‘ gesagt. Welchen Titel soll ich verwenden?“
Die Aktualisierung sollte auf das Projekt und die Belege begrenzt sein. Eine eingefügte Zeile kann die Verwendung dieser Zeile in der aktuellen Aufgabe begründen; sie legt nicht automatisch fest, dass das Detail dauerhaft ist, für jede Version gilt oder über die aktuelle Konversation hinaus gespeichert werden sollte. Wenn das Produkt über eine sichtbare Projektdokumentation verfügt, zeigen Sie die vorgeschlagene Aktualisierung an und geben Sie dem Nutzer eine Möglichkeit zur Korrektur. Wenn es keine solche Dokumentation gibt, behaupten Sie nicht, dass das Gedächtnis dauerhaft verändert wurde.
Dieser Bestätigungsschritt ist eine Designempfehlung, die sich aus Nachvollziehbarkeit und Nutzerkontrolle ableitet: Der Nutzer kann sehen, welcher Fakt übernommen wurde, und ihn korrigieren, bevor er die weitere Arbeit prägt. Dies ist besonders nützlich, wenn sich kreative Entscheidungen weiterentwickeln. Ein früherer Entwurf enthält möglicherweise einen alten Titel, während eine aktuelle Nachricht einen neuen festlegt; der Assistent sollte diese Abfolge bewahren, anstatt Entwürfe zu einer vermeintlich zeitlosen Erinnerung zu verschmelzen.
Fragen vermeiden, die eine Vermutung einschmuggeln
Eine Frage kann immer noch irreführend sein, wenn sie eine erfundene Antwort enthält. „Sie hatten Petrol gewählt, richtig?“ drängt die Konversation in Richtung eines Details, das der Assistent nicht verifiziert hat. Bevorzugen Sie eine neutrale Bitte: „Welche Farbe hatten Sie gewählt?“ Wenn es eine tatsächliche Quelle gibt, die Petrol nennt, geben Sie diese an: „In den Entwurfsnotizen ist Petrol aufgeführt. Ist das immer noch die Palette, die Sie möchten?“ Diese Formulierung trennt Quellenbelege von der aktuellen Bestätigung.
Präsentieren Sie generierte Alternativen nicht als erinnerte Fakten. Wenn der Nutzer die frühere Entscheidung nicht ausfindig machen kann, kann der Assistent anbieten, bei einer erneuten Auswahl zu helfen, sollte dies jedoch als neue Entscheidung kennzeichnen: „Ich kann die frühere Farbpalette nicht wiederherstellen. Möchten Sie jetzt eine auswählen?“ Diese Unterscheidung ermöglicht eine kreative Zusammenarbeit, ohne die Projektgeschichte umzuschreiben.
Eine Studie aus dem Jahr 2024 über Sprachmodelle, die auf unvollständige Fragen reagieren, ergab, dass kontextuell angemessenes Klärungsverhalten nur unter bestimmten Bedingungen bezüglich Modellgröße und Prompting auftrat, anstatt sich automatisch einzustellen. Das Ergebnis ist eine Mahnung an Produktteams, dieses Verhalten explizit zu gestalten und zu evaluieren, anstatt davon auszugehen, dass ein Modell standardmäßig zuverlässig die richtige Frage stellt. Clarifying Completions
Das Verhalten mit gewöhnlichen Projektaufgaben evaluieren
Produktteams können diese Interaktion mithilfe von Routine-Prompts aus kreativen Projekten testen: Bitten Sie um einen fehlenden Titel, ein ausgewähltes Format oder eine Entwurfspräferenz, wenn das relevante Detail im verfügbaren Kontext des Assistenten fehlt. Eine überzeugende Antwort sollte die Lücke benennen, das Erfinden eines früheren Austauschs vermeiden, nach einer relevanten Quelle oder Bestätigung fragen und die bestätigten Informationen anschließend konsistent verwenden.
Beziehen Sie auch Fälle ein, in denen das Detail im aktuellen Verlauf oder in einer bereitgestellten Notiz vorhanden ist. Der Assistent sollte in diesen Fällen verfügbare Belege nutzen und gleichzeitig präzise angeben, woher sie stammen. Testen Sie auch widersprüchliche Versionen und Nutzerkorrekturen. Eine aussagekräftige Evaluierung unterscheidet unbelegte Erinnerungen von belegtem Abruf und prüft, ob der Assistent unberührte Teile der Arbeit fortführt, anstatt die gesamte Aufgabe zu blockieren.
Dies ist eine vorgeschlagene Evaluierungsmethode und kein Befund der zitierten Studien. Ihr Informationsgewinn liegt in der Entscheidungsabfolge: Zugriff bestimmen, die Grenze benennen, die kleinste hilfreiche Quelle anfordern, das übernommene Detail bestätigen und den Geltungsbereich der Aktualisierung klar halten. Diese Abfolge macht aus einem „Ich weiß es nicht“ einen produktiven Arbeitsschritt.
Unsicherheit zu einem Teil der Projektkontinuität machen
Für einen Assistenten bei kreativen Projekten ist das Eingestehen eines fehlenden Details keine Sackgasse. Es ist eine Möglichkeit, die Kontinuität zu wahren: Das System kann weiter unterstützen, während nicht verifizierte historische Daten offenbleiben. Klare Unsicherheit, eine gezielte Anfrage und eine sichtbare Bestätigung überlassen es dem Nutzer zu entscheiden, was in die Projektdokumentation gehört – und geben dem Assistenten eine fundierte Grundlage für den nächsten Entwurf.