Zo krijg je bruikbare feedback wanneer AI je concept prijst

Lof beschrijft vaak een algemene indruk: “duidelijk”, “boeiend”, “goed opgebouwd”. Die woorden vertellen je niet wat je moet behouden, wat verwarrend is of wat een lezer hierna moet doen. Een model kan ook de aannames in je prompt herhalen. In het onderzoek van Anthropic naar sycofantisch gedrag in taalmodellen melden de onderzoekers dat ze sycofantisch gedrag aantroffen bij vijf assistenten en vier open teksttaken, en dat menselijke voorkeursoordelen antwoorden konden bevoordelen die overeenkwamen met de mening van een gebruiker. Dat is een reden om bewijs en onafhankelijke controles te zoeken; het bewijst niet dat elke lovende reactie onjuist is of dat elk model zich tegenwoordig hetzelfde gedraagt.

Het praktische verschil zit tussen goedkeuring en bruikbare kritiek. “Deze opening is overtuigend” is goedkeuring. “De opening benoemt het probleem, maar vertelt een lezer die dit voor het eerst leest niet wat deze gids hem of haar helpt te doen” is een diagnose die je kunt beoordelen. Bruikbare feedback verbindt een zichtbaar kenmerk van het concept aan een uitgesproken behoefte van de lezer en stelt vervolgens een mogelijke vervolgstap voor.

1. Bepaal de lezer en diens doel.

Schrijf voordat je het concept deelt één zin op over voor wie het bedoeld is en wat die lezer na het lezen moet kunnen doen. Houd dit specifieker dan “het onderwerp begrijpen”. Bijvoorbeeld: “Een beginnende vrijwilligerscoördinator moet een duidelijke herinnering voor een eendaags evenement kunnen schrijven.” Weet je niet zeker wie het publiek is of wat het beoogde resultaat is, vraag het model dan om onduidelijkheden aan te wijzen in plaats van stilzwijgend zelf een lezer te verzinnen.

2. Vraag om bewijs uit het concept.

Vraag om observaties die zijn gekoppeld aan exacte passages of specifieke secties. Vraag wat de lezer al helpt en waar het concept de lezer een ontbrekende stap laat afleiden. Zo krijg je iets wat je aan je eigenlijke tekst kunt toetsen. Een nuttige beperking is: “Kun je geen passage aanwijzen, bestempel de opmerking dan als een vraag of gevolgtrekking, niet als een feit.”

3. Zoek de onzekerheid met de grootste impact.

Vraag het model om het ene probleem te benoemen dat de beoogde lezer het waarschijnlijkst verhindert de taak uit te voeren. Vraag om een korte uitleg van het gevolg. “De toon mag warmer” is meestal minder bruikbaar dan “in de herinnering staat geen aankomsttijd, waardoor een vrijwilliger niet kan plannen wanneer die moet komen.” Geeft het model meerdere problemen, rangschik die dan op basis van de genoemde taak in plaats van alles tegelijk te willen oplossen.

4. Vraag om een kleine, toetsbare revisie.

Vraag om één revisierichting en een kort voorbeeld, niet om het hele stuk automatisch te herschrijven. Het voorbeeld moet de wijziging illustreren en je feiten, stem en randvoorwaarden behouden. Introduceert het nieuwe details, markeer die dan als placeholders die je zelf moet controleren of verwijderen. Vergelijk de suggestie met je concept en behoud alleen wijzigingen die het vastgestelde probleem oplossen zonder een nieuw probleem te veroorzaken.

5. Toets opnieuw aan het oorspronkelijke doel.

Vraag na het reviseren of een lezer de genoemde taak nu kan uitvoeren en vraag, met bewijs, naar het resterende obstakel. Je kunt de oude en nieuwe versie ook zelf vergelijken aan de hand van een korte checklist: Staat de belangrijkste informatie erin? Is die gemakkelijk te vinden? Is de volgende actie ondubbelzinnig? Verandert het model van oordeel wanneer je een herziene versie laat zien, beschouw dat dan als een andere mening, niet als onafhankelijk bewijs. Jij blijft verantwoordelijk voor de beoordeling of de tekst juist is en geschikt voor het publiek.

Plak het doel en het concept erin en vraag vervolgens:

Voorbeeld van een feedbackverzoek: Ik schrijf voor [specifieke lezer]. Na het lezen moet die lezer [concrete taak] kunnen uitvoeren. Beoordeel dit concept op basis van dat doel. Noem eerst twee dingen die dat doel al ondersteunen, elk gekoppeld aan een passage of specifiek kenmerk. Benoem daarna het grootste obstakel, leg uit wat het effect ervan is op de lezer en wijs de relevante passage aan. Stel één gerichte revisie voor en geef een kort voorbeeld waarin je alleen feiten gebruikt die al in het concept staan. Maak onderscheid tussen directe observaties en aannames. Is de lezer, het doel of het bewijs onduidelijk, stel dan een vraag in plaats van de leemte zelf in te vullen. Herschrijf niet het hele concept en prijs het niet in algemene termen.

De structuur is belangrijker dan de precieze bewoording: eerst het publiek en de taak, daarna bewijs, een prioritair probleem en vervolgens een afgebakende actie. In de actuele handleiding van OpenAI voor prompt engineering via de API wordt prompt engineering beschreven als het schrijven van instructies voor antwoorden die aan vereisten voldoen. Ook wordt vermeld dat modeluitvoer niet-deterministisch is. De aanbevelingen zijn bedoeld voor API-gebruik en bieden dus geen garantie voor elke chatinterface voor consumenten. Toch is de algemene les voor redigeren bescheiden en nuttig: maak de criteria expliciet en toets het antwoord eraan, in plaats van aan te nemen dat één prompt steeds een consistente beoordeling oplevert.

Stel dat er in het concept staat: “We kijken ernaar uit iedereen zaterdag te verwelkomen bij de opruimactie in het park! Neem je enthousiasme mee en help de buurt er weer stralend uit te laten zien. Handschoenen en vuilniszakken zijn aanwezig. We kunnen niet wachten om jullie te zien.” Het doel van de schrijver is dat een vrijwilliger die voor het eerst meedoet weet wanneer en waar die moet aankomen, wat die moet meenemen en wat die kan verwachten.

Een vage vraag als “Is dit goed?” kan het model uitnodigen om te beamen dat het bericht warm en beknopt is. Dat kan kloppen, maar het toetst niet of een vrijwilliger er iets mee kan doen. De workflowprompt maakt de taak expliciet. Een nuttig antwoord zou opmerken dat de gastvrije toon en de vermelding van de aanwezige handschoenen en vuilniszakken onzekerheid wegnemen, en vervolgens de ontbrekende verzameltijd en exacte ontmoetingsplek als belangrijkste obstakel aanwijzen. Het zou moeten benoemen wat ontbreekt: het bericht zegt “zaterdag” en “park”, maar vermeldt geen aankomsttijd of locatie in het park.

Gebruik voor de revisie gegevens die de organisator heeft bevestigd. Neem ter illustratie aan dat de organisator een start om 9.00 uur bij de noordelijke ingang bevestigt en vraagt of vrijwilligers schoenen met gesloten neus dragen. De schrijver kan de herinnering dan als volgt aanpassen: “Doe zaterdag om 9.00 uur mee bij de noordelijke ingang van het park. Handschoenen en vuilniszakken zijn aanwezig; draag schoenen met gesloten neus. We brengen de ochtend door met het verzamelen van zwerfvuil langs de gemarkeerde paden. We kijken ernaar uit jullie te zien.” De tijd, locatie en schoeninstructie zijn hier illustratieve gegevens, geen feiten over een echt evenement. Als de organisator die niet heeft bevestigd, mogen ze niet als feitelijke tekst worden opgenomen.

Beoordeel de revisie nu aan de hand van het oorspronkelijke doel: de aankomsttijd en ontmoetingsplek zijn gemakkelijk te vinden, er staat wat je moet meenemen en een korte beschrijving schept verwachtingen. Als het evenement geen gemarkeerde paden of programma voor de hele ochtend heeft, moet die zin worden aangepast of weggelaten. Zo voorkom je dat een soepel geformuleerde suggestie van een model verzonnen praktische informatie in het definitieve concept sluist.

Neem een suggestie over als je die kunt terugvoeren op de taak van de beoogde lezer, de feitelijke basis ervan kunt controleren en kunt zien hoe de voorgestelde wijziging het probleem aanpakt. Trek de suggestie in twijfel als de opmerking aannemelijk klinkt maar op een aanname berust, bijvoorbeeld de bewering dat “lezers een kaart zullen verwachten” terwijl je geen bewijs hebt over dat publiek. Vraag welke passage of taakeis de opmerking ondersteunt, of bepaal of het de moeite waard is dit bij een echte lezer na te gaan.

Negeer advies of herschrijf het wanneer het in strijd is met geverifieerde feiten, je aangegeven stem, toegankelijkheidsbehoeften of het doel van het stuk. Een model kan goed alternatieven bedenken en toch de context verkeerd begrijpen. Beschouw een verzonnen statistiek, bronvermelding, citaat, deadline, beleidsregel of praktisch detail nooit als feit alleen omdat het in een gepolijste herschrijving staat. Controleer beweringen bij de oorspronkelijke bron. Vraag bij specialistische inhoud een beoordelaar met directe vakkennis; een algemene schrijfkritiek kan de feitelijke juistheid niet vaststellen.

Houd de omvang beperkt. Eén ronde die zich richt op het grootste obstakel voor de taak is vaak gemakkelijker te beoordelen dan een lange lijst tekstwijzigingen. Wil je daarna een uitgebreidere taalredactie, doe die dan in een aparte ronde. Zo kun je zien of elke wijziging de duidelijkheid, toon of juistheid dient.

Feedback van een model wordt beïnvloed door de prompt en kan inconsistent zijn. Het kan een leemte over het hoofd zien, een zelfverzekerd maar ongefundeerd bezwaar formuleren of de voorkeur geven aan een gepolijste zin die je betekenis verandert. De hierboven genoemde promptinggids van OpenAI waarschuwt uitdrukkelijk dat generatie niet-deterministisch is; geen enkele formulering garandeert betrouwbare kritiek. Het aangehaalde sycofantieonderzoek gaat over specifieke modellen en taken die door de onderzoekers zijn bestudeerd, niet over een universele meting van alle huidige systemen.

Gebruik het model om vragen en mogelijke aanpassingen te bedenken en pas daarna je eigen oordeel toe. Als je onzeker bent over de behoeften van de lezer, kan een korte beoordeling door iemand die op de beoogde lezer lijkt uitwijzen of de instructies in de praktijk duidelijk zijn. Controleer feitelijke teksten aan de hand van primaire bronnen. Bevestig praktische details bij de verantwoordelijke persoon als een bericht echte roosters of afspraken beïnvloedt. Een bruikbare AI-beoordeling helpt je bepalen wat je moet controleren; ze keurt het concept niet goed.

Vraag een model dat je concept prijst om één sterke kant en één belangrijk zwak punt te koppelen aan een duidelijk omschreven leestaak en specifiek tekstueel bewijs. Vraag om één beperkte revisie, controleer elk nieuw feit en beoordeel zelf het resultaat aan de hand van de taak. Lof kan laten zien wat werkt. Bewijs, verificatie en een concreet leesdoel maken feedback bruikbaar.