‘Hij kent mijn naam’ versus ‘Hij begrijpt mijn project’: zo zie je het verschil

Een naam is een compact gegeven: die kan worden opgeslagen, herhaald of aangeleverd vanuit de beschikbare chat- of accountcontext. In ChatGPT kan het geheugen bijvoorbeeld gegevens bevatten die een gebruiker verstrekt. Relevante informatie uit eerdere chats kan ook worden gebruikt als de bijbehorende functie beschikbaar en ingeschakeld is. In de productdocumentatie staat bovendien dat het geheugen niet elk detail bewaart en dat de beschikbare instellingen per abonnement, regio, platform en werkruimte verschillen. Als de naam klopt, weet je dus dat dit gegeven voor het antwoord beschikbaar was. Het zegt niet hoeveel omringende context het systeem kan ophalen of toepassen. OpenAI Helpcentrum, ‘Geheugen in ChatGPT’

Een creatief project is een uitgebreidere test, omdat het meestal verschillende feiten en voorkeuren combineert: wat er wordt gemaakt, voor wie, wat al is besloten, wat nog openstaat en wat voor soort suggesties welkom zijn. ‘Je bent Alex’ herhalen test of één label wordt onthouden. Drie ideeën vragen die passen bij een beschreven projectopdracht test of het systeem meerdere relevante details tegelijk kan selecteren en gebruiken.

Dit onderscheid is praktisch; het is geen oordeel over de vraag of een model menselijk begrip heeft. De nuttige vraag is of het de context die je hebt gegeven op de volgende taak kan toepassen en of je dat in het resultaat kunt controleren.

Beschouw ‘begrijpt mijn project’ in het dagelijks gebruik als een verzamelnaam voor een aantal waarneembare vaardigheden. Een bruikbaar antwoord houdt vastgelegde feiten correct, maakt onderscheid tussen besluiten en mogelijkheden, volgt de beperkingen die voor de opdracht van belang zijn en vraagt om verduidelijking of wijst op onzekerheid als een ontbrekend gegeven het antwoord zou veranderen. Dit zijn taakgerichte maatstaven: je kunt het resultaat bekijken en bepalen of het eraan voldoet.

Onderzoek geeft redenen om elk onderdeel afzonderlijk te testen in plaats van af te gaan op vloeiende formuleringen. FollowBench, een benchmark uit 2024 voor taalmodellen, verdeelt instructiebeperkingen in categorieën zoals inhoud, situatie, stijl, vorm en voorbeelden. Uit de tests bleek dat de prestaties afnamen naarmate er meer beperkingen bijkwamen en dat sommige categorieën moeilijker waren dan andere. De benchmark beoordeelt gecontroleerde taken, niet jouw specifieke chat, maar ondersteunt een nuttige gewoonte: controleer elke belangrijke eis afzonderlijk in plaats van het antwoord goed te keuren omdat het aannemelijk klinkt. Jiang e.a., ‘FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models’

In een aparte benchmark voor contextbegrip werden taalkundige kenmerken getest met vier taken en negen datasets. De auteurs meldden dat vooraf getrainde dichte modellen in hun evaluatie moeite hadden met subtielere contextuele kenmerken, vergeleken met toonaangevende modellen die fijnmazig waren afgestemd. Dat resultaat voorspelt niet hoe een bepaalde huidige assistent met jouw project omgaat, maar onderstreept wel hoe nuttig het is om betekenis en verbanden te controleren in plaats van alleen naar bekende woorden te zoeken. ‘Can Large Language Models Understand Context?’

Bij een project kunnen die verbanden bijvoorbeeld zijn: ‘de poster is voor een zadenruil in de buurt’; ‘de datum van het evenement staat nog niet vast’; ‘de visuele stijl is kleurrijk en handgemaakt’; en ‘vermijd taal die als een verkooppraatje klinkt’. Een antwoord dat ‘zadenruil’ herhaalt, maar een datum verzint of de toon negeert, heeft het onderwerp onthouden, maar de opdracht niet goed gevolgd.

Kies een taak met weinig risico die lijkt op het werk waarvoor je hulp wilt. Geef de chat een korte opdracht en vraag vervolgens om één concreet resultaat. Een bruikbare opdracht kan zijn: ‘Ik maak een uitnodiging van één pagina voor een zadenruil in de buurt. De datum staat nog niet vast, dus laat die weg. Houd de toon warm en eenvoudig. Ik wil dat mensen gelabelde zaden meenemen, maar iedereen mag komen.’ Vraag daarna om een kop en een korte uitnodigingstekst.

Zet de opdracht om in een eenvoudige checklist voordat je het antwoord leest. Controleer in dit voorbeeld of het resultaat:

geen datum verzint;

de uitnodiging voor iedereen openhoudt;

gelabelde zaden noemt als iets om mee te nemen;

een warme, eenvoudige toon gebruikt; en

de gevraagde kop en alinea bevat.

Deze checklist is een hulpmiddel voor redactiewerk, geen gevalideerde wetenschappelijke test. Het voordeel is dat fouten zichtbaar worden. Een gepolijste alinea kan nog steeds een beperking missen, terwijl een eenvoudig antwoord de opdracht nauwkeurig kan volgen.

Vraag daarna om een tweede stap die voortbouwt op de eerste: ‘Maak nu een kortere versie voor een klein bordje, nog steeds zonder datum, en houd de uitnodiging open voor iedereen.’ Controleer of de belangrijkste voorwaarden ook in de andere vorm behouden blijven. Corrigeer vervolgens een fout expliciet, bijvoorbeeld: ‘Haal de woorden “voor ervaren tuiniers” weg; beginners zijn ook welkom’, en kijk of de volgende versie die woorden daadwerkelijk verwijdert zonder dezelfde uitsluiting in een andere vorm terug te brengen.

Een praktische beoordelingslijst heeft vier onderdelen:

Ophalen: gebruikt het antwoord de relevante projectgegevens correct?

Selecteren: haalt het de gegevens aan die voor deze specifieke taak van belang zijn, in plaats van ongerelateerde details op te sommen?

Toepassen: volgt het eindresultaat de beperkingen voor inhoud, toon en vorm uit de opdracht?

Bijwerken: geeft de volgende versie de wijziging weer nadat je een detail hebt gecorrigeerd?

Zoek naar concreet bewijs in het resultaat: formuleringen die een nog onbekende datum openlaten, een gevraagde zin die erin staat of een correctie die in een nieuwe versie behouden blijft. Ken minder gewicht toe aan uitspraken als ‘Ik herinner me je project’ of ‘Ik begrijp precies wat je bedoelt’. Die uitspraken bewijzen niet dat een later resultaat de opdracht nauwkeurig zal volgen.

Houd de test in verhouding tot de taak. Eén goed antwoord zegt iets over die opdracht, maar bewijst niet dat de chat in elk toekomstig gesprek consistent zal presteren. Als een project zich over veel chats uitstrekt, controleer dan of het gebruikte hulpmiddel geheugen- of projectcontextfuncties heeft ingeschakeld en bekijk de beschikbare instellingen. In de documentatie van ChatGPT wordt onderscheid gemaakt tussen opgeslagen herinneringen en informatie uit de chatgeschiedenis. Ook staat er dat geheugensamenvattingen details kunnen weglaten en dat contextbronnen soms kunnen worden ingezien wanneer ze worden weergegeven. Functies en instellingen kunnen veranderen; raadpleeg daarom de actuele productinstellingen en hulppagina voor je account. OpenAI Helpcentrum, ‘Geheugen in ChatGPT’

Bij lange gesprekken is extra aandacht nodig. In ‘Lost in the Middle’ rapporteerden onderzoekers dat geteste taalmodellen relevante informatie in gecontroleerde experimenten wisselend konden gebruiken, afhankelijk van de plek ervan in een lange invoer. De prestaties waren vaak beter voor informatie aan het begin of einde dan voor informatie in het midden. Het onderzoek testte specifieke modellen en taken; het toont niet aan dat elke assistent jouw projectgegevens zal vergeten. Het wijst wel op een verstandige werkwijze: herhaal de paar beslissingen die van belang zijn voordat je om een belangrijk resultaat vraagt, vooral na een lang gesprek. Liu e.a., ‘Lost in the Middle: How Language Models Use Long Contexts’

Als een antwoord de plank misslaat, onderzoek dan eerst waardoor dat komt voordat je beslist wat het betekent. Had het systeem toegang tot de informatie? Was het detail verstopt in een lang gesprek? Combineerde de opdracht veel eisen? Was de voorkeur te algemeen om een specifieke keuze te sturen? Deze mogelijkheden vragen om verschillende oplossingen: herhaal een besluit, kort de opdracht in, zet de eisen in aparte opsommingstekens of geef een concreet voorbeeld van de gewenste stijl.

Een beknopt projectoverzicht kan terugkerend werk makkelijker te beoordelen maken. Beperk het tot stabiele, nuttige gegevens: het doel van het project, de doelgroep, bevestigde keuzes, open vragen en enkele voorkeuren. Markeer onzekere gegevens als onzeker en geef aan welke besluiten zijn veranderd. Vermeld bij een belangrijke taak het relevante deel rechtstreeks in je prompt, in plaats van ervan uit te gaan dat de chat elk eerder detail zal ophalen. Dit is een werkwijze die is afgeleid van de gedocumenteerde wisselvalligheid van geheugen en het onderzoek naar contextgebruik; betere resultaten zijn niet gegarandeerd.

Als een systeem je naam goed heeft, maar herhaaldelijk een centrale projectkeuze mist, beschouw dat dan als twee afzonderlijke waarnemingen. Noteer het ook als het systeem een sterke eerste versie maakt, maar een correctie niet in de volgende versie verwerkt. Een bruikbare assistent kan nog steeds tijd besparen als jij context geeft en het resultaat controleert; de test laat zien welke onderdelen je aandacht nodig hebben.

‘Hij kent mijn naam’ betekent dat een persoonlijk gegeven beschikbaar was en in het antwoord verscheen. Of ‘hij mijn project begrijpt’ kun je beter beoordelen aan de hand van de vraag of de chat relevante context kan meenemen naar een echte taak: bevestigde besluiten behouden, de gevraagde voorwaarden volgen, de vorm aanpassen en correcties verwerken. Probeer een korte opdracht, beoordeel het zichtbare resultaat aan de hand van een checklist en herhaal de test bij een volgende stap. Zo meet je concreet of de chat de projectopdracht blijft volgen, zonder een herkenbaar detail of een zelfverzekerde bewering te verwarren met betrouwbaar contextgebruik.