Als een AI een projectdetail vergeet, moet die het vragen voordat die het zich herinnert

Een creatief project is afhankelijk van kleine beslissingen: welke titel op de shortlist stond, of de tekst in de eerste of tweede persoon is geschreven, of welk kleurenpalet de gebruiker heeft gekozen. Als de assistent een van die details niet kan vinden, kan een vlot antwoord klinken als een betrouwbare herinnering, terwijl er ongemerkt een nieuwe keuze in wordt geïntroduceerd.

NIST rekent ook zelfverzekerd gepresenteerde onjuiste inhoud en uitvoer die afwijkt van of in tegenspraak is met de invoer tot confabulatie door generatieve AI. Een verzonnen projectdetail brengt dat praktische risico met zich mee: het kan worden aangezien voor een beslissing die al is genomen. NIST’s Generative AI Profile beschrijft het mechanisme in algemene termen; de gevolgen voor projectwerk die hier worden genoemd, zijn een ontwerpconclusie en geen bevinding over een specifiek product.

Onderzoek van OpenAI stelt eveneens dat gangbare evaluatieprikkels gokken kunnen belonen in plaats van onzekerheid erkennen. Het voorbeeld gaat over algemene vraagbeantwoording, maar de ontwerp les geldt ook hier: een assistent moet een zelfverzekerd klinkende aanvulling niet behandelen als bewijs dat een eerder gesprek beschikbaar is. Why language models hallucinate

De assistent moet onderscheid maken tussen drie situaties: een detail dat zichtbaar is in het huidige gesprek, een detail dat kan worden opgehaald uit een beschikbare projectbron, en een detail dat die niet kan verifiëren. Voor elk daarvan is een andere formulering nodig. Staat het detail eerder in de huidige chat, dan kan de assistent het citeren of samenvatten en naar die context verwijzen. Heeft die een notitie of document gevonden, dan kan die de bron noemen. Is geen van beide beschikbaar, dan moet die dat duidelijk zeggen.

Een bruikbare uiting van onzekerheid is specifiek en beperkt: “Ik kan op basis van de projectinformatie die ik tot mijn beschikking heb niet verifiëren welke titel je hebt gekozen.” Daarmee beweert de assistent niet dat de gebruiker nooit een titel heeft gekozen, dat die elk mogelijk archief heeft doorzocht of dat het ontbrekende detail niet bestaat. Dat onderscheid is belangrijk, want een gegeven niet kunnen terugvinden bewijst niet dat het nooit is vastgelegd.

Google’s People + AI Guidebook raadt aan relevante mogelijkheden en beperkingen uit te leggen en uitleg te richten op wat van invloed is op het begrip en de beslissingen van de gebruiker. Toegepast op deze situatie pleit dat voor een korte toelichting op de beschikbare projectcontext, in plaats van een technische uitleg over de interne werking van het model. Explainability + Trust

Stel na het benoemen van het ontbrekende detail één gerichte vraag. Bijvoorbeeld: “Kun je de notitie plakken of me vertellen welke titel je hebt gekozen?” Als de gebruiker uit meerdere bronnen kan kiezen, geef dan een korte lijst: “Stond het in de nieuwste versie, je projectnotities of een eerdere chat?” Het doel is om het terugvinden makkelijk te maken zonder van een gewone creatieve taak een verhoor te maken.

Een praktisch antwoordpatroon is: “Ik kan het kleurenpalet niet bevestigen op basis van wat ik kan inzien. Als je de notitie deelt of me aan de kleuren herinnert, gebruik ik die voor de volgende versie.” Zo benoemt de assistent het ontbrekende feit, vraagt die om bewijs of bevestiging en legt die uit wat er daarna gebeurt. Ook blijft het werk op gang: de assistent kan doorgaan met de onderdelen van de taak die hierdoor niet worden beïnvloed, terwijl de onzekere keuze openblijft.

Om verduidelijking vragen is nuttig wanneer ontbrekende informatie het antwoord verandert. In een onderzoek naar gezamenlijke dialogen ontdekten Testoni en Fernández dat een door modelonzekerheid gestuurde verduidelijkingsstrategie de taak in hun specifieke tekentaak succesvoller maakte; ze melden ook dat vragen stellen kosten met zich meebrengt. Dat ondersteunt een afgewogen aanpak: vraag ernaar wanneer het ontbrekende projectdetail ertoe doet, en houd de vraag gericht. Asking the Right Question at the Right Time

Zodra de gebruiker een bron aanlevert of een detail bevestigt, herhaal je het bevestigde feit in het kort: “Begrepen: de huidige titel is ‘Small Garden Notes’, gebaseerd op de notitie die je hebt geplakt.” Als de bron iets anders zegt, benoem dan het verschil in plaats van stilzwijgend een keuze te maken. Bijvoorbeeld: “In je notitie staat ‘Garden Notes’; je zei zojuist ‘Small Garden Notes’. Welke moet ik gebruiken?”

Beperk de update tot het project en het beschikbare bewijs. Een geplakte regel kan het gebruik van die regel voor de huidige taak onderbouwen; dat betekent niet automatisch dat het detail blijvend is, voor elke versie geldt of buiten het huidige gesprek moet worden opgeslagen. Als het product een zichtbaar projectoverzicht heeft, toon dan de voorgestelde wijziging en geef de gebruiker de mogelijkheid om die te corrigeren. Heeft het product zo’n overzicht niet, beweer dan niet dat de herinnering permanent is aangepast.

Deze bevestigingsstap is een ontwerpaanbeveling op basis van traceerbaarheid en gebruikerscontrole: de gebruiker kan zien welk feit is overgenomen en het corrigeren voordat het verder werk beïnvloedt. Dit is vooral nuttig wanneer creatieve keuzes veranderen. Een eerdere versie kan een oude titel bevatten, terwijl een recent bericht een nieuwe vastlegt; de assistent moet die volgorde behouden in plaats van verschillende versies samen te voegen tot één zogenaamd tijdloze herinnering.

Een vraag kan nog steeds misleiden als die een verzonnen antwoord bevat. “Je hebt toch voor teal gekozen?” stuurt het gesprek in de richting van een detail dat de assistent niet heeft geverifieerd. Stel liever een neutrale vraag: “Welke kleur heb je gekozen?” Staat teal daadwerkelijk in een bron, benoem die dan: “In de conceptnotities staat teal. Is dat nog steeds het palet dat je wilt?” Zo blijven bronbewijs en actuele bevestiging van elkaar gescheiden.

Presenteer gegenereerde alternatieven niet als herinnerde feiten. Als de gebruiker de eerdere beslissing niet kan terugvinden, kan de assistent aanbieden om opnieuw te helpen kiezen, maar moet die duidelijk maken dat het om een nieuwe keuze gaat: “Ik kan het eerdere palet niet terugvinden. Wil je er nu een kiezen?” Zo kan er creatief worden samengewerkt zonder de geschiedenis van het project te herschrijven.

Een onderzoek uit 2024 naar taalmodellen die reageren op onvolledige vragen, liet zien dat contextueel passende verduidelijkingsvragen alleen onder bepaalde omstandigheden van modelgrootte en prompting naar voren kwamen; ze ontstonden niet vanzelf. Dat herinnert productteams eraan dit gedrag expliciet te ontwerpen en te evalueren, in plaats van ervan uit te gaan dat een model standaard betrouwbaar de juiste vraag stelt. Clarifying Completions

Productteams kunnen deze interactie testen met gewone opdrachten voor creatieve projecten: vraag naar een ontbrekende titel, een gekozen formaat of een voorkeur voor een concept wanneer het relevante detail ontbreekt in de context die de assistent tot zijn beschikking heeft. Een sterk antwoord benoemt het ontbrekende detail, verzint geen eerder gesprek, vraagt om een relevante bron of bevestiging en gebruikt de bevestigde informatie vervolgens consequent.

Neem ook vergelijkbare gevallen op waarin het detail in de huidige chat of in een aangeleverde notitie staat. In die gevallen moet de assistent het beschikbare bewijs gebruiken en precies aangeven waar het vandaan komt. Test ook tegenstrijdige versies en correcties van de gebruiker. Een bruikbare evaluatie maakt onderscheid tussen onbevestigde herinneringen en onderbouwde terugvinding, en controleert of de assistent doorgaat met werk dat hierdoor niet wordt beïnvloed in plaats van de hele taak stil te leggen.

Dit is een voorgestelde evaluatiemethode, geen resultaat dat door de aangehaalde onderzoeken is vastgesteld. De informatieve waarde zit in de beslisvolgorde: bepalen wat toegankelijk is, de beperking benoemen, om de kleinst mogelijke bruikbare bron vragen, het overgenomen detail bevestigen en de reikwijdte van de update duidelijk houden. Zo wordt “Ik weet het niet” een productieve stap in het werk.

Voor een assistent voor creatieve projecten is erkennen dat een detail ontbreekt geen doodlopende weg. Het beschermt de continuïteit: het systeem kan blijven helpen zonder een niet-geverifieerd verleden in te vullen. Duidelijke onzekerheid, een gerichte vraag en een zichtbare bevestiging laten de gebruiker bepalen wat in het projectoverzicht thuishoort en geven de assistent een onderbouwde basis voor de volgende versie.