Metlivi 博客

用无害的细节测试 AI 聊天工具的记忆功能

如果你希望 AI 聊天工具在不同会话之间记住某项无害的偏好,可以用虚构项目中的一个微小细节进行测试,然后检查自己是否能够查看并删除它。一次有效的测试能够区分两类信息:工具仅在当前对话中延续的信息,以及它存储或提取以备日后使用的信息。测试结果反映的是该工具当时在你账户中的表现,并不代表它在每次聊天中都能准确回忆。

2026年9月24日预计阅读时间 6 分钟阅读、艺术与文化作者:Metlivi Editorial Team
第 1 节

AI 聊天工具中的“记忆”究竟意味着什么?

聊天工具可能会将当前对话中的消息作为上下文背景。这有助于它对同一对话串中较早前提到的细节做出回应。某些工具还可以利用以往对话中的信息、保存的记忆条目、自定义指令、文件或关联服务。具体可以使用哪些来源,取决于产品本身和账户设置。

OpenAI 的记忆常见问题解答(Memory FAQ)将“保存的记忆”与“从聊天记录中引用的信息”区分开来。保存的记忆与原始聊天分开存储,因此单单删除某次聊天并不一定会删除相关的已保存记忆。在可用且已启用的情况下,聊天记录引用功能可以调取以往对话中的相关信息。OpenAI 还指出,记忆功能和控制选项可能因套餐、地区、平台以及工作区设置而有所不同。

这些区别在连贯性测试中至关重要。一个工具看起来“记得”,可能是因为原始对话仍处于打开状态,可能是因为它可以引用早前的聊天,也可能是因为它保存了一条记忆。这些行为模式截然不同,单凭一次成功的回答无法断定究竟是哪个来源提供了相关细节。

第 2 节

进行一次无害的偏好测试

使用一个虚构的项目和一项低风险的偏好,例如:“对于我的虚构项目‘纸风筝’,我希望草稿各部分的名称尽量简短。”切勿使用个人、敏感或机密信息。测试的目标是验证一个适度的偏好,而不是测试工具能否还原复杂的历史。

首先检查控制选项。打开该工具的记忆或个性化设置。留意记忆功能是否可用且已启用,以及界面说明中提到它可以调用哪些信息。如果你不想保存测试细节,可以在此停止,或者使用产品标明的非个性化模式。OpenAI 表示临时聊天(Temporary Chat)不会创建或更新记忆,不过具体选项和可用性可能有所差异;请参阅其临时聊天指南。
输入一次偏好。在全新的对话中,清晰直白地陈述该虚构偏好。如果工具询问是否保存,请决定是否允许。避免添加多余的细节,以免干扰对结果的解读。
结束该对话。开启一个全新的独立聊天,最好不要将最初的对话内容复制进去。让它为“纸风筝”项目提供一组简短的草稿章节名称。在新的提示词中不要重复提及之前的偏好。
观察结果,随后询问该细节的来源。工具给出的建议是否体现了你的偏好?如果工具提供了记忆来源或记忆摘要,请仔细查看。仅凭回答符合偏好并不能证实其源于已保存的记忆;模型可能只是碰巧猜中,或者产品直接使用了早前的聊天上下文。
修改或删除该细节,然后重新测试。使用你可用的控制选项更正或删除该偏好。在另一个新聊天中,重复提出相同的中立请求。记录发生了哪些变化,以及界面显示删除了哪些内容。不要将单次回答视为所有副本或来源均已被删除的证据。
第 3 节

客观看待测试结果,切勿过度解读

一份简要的记录能保证测试的参考价值:

如果工具未能体现该偏好,这本身并不能说明记忆功能出现故障:记忆功能可能已关闭、不可用、受限于特定区域,或者无法在新的聊天中调取该来源。如果它准确体现了该偏好,也不代表它能始终如一地回忆起其他细节。请保持结论的克制与具体:“在此项设置下,它将(或未将)此偏好延续到了新聊天中。”

为了获得更严谨的测试结果,可以用另一个虚构项目搭配第二项无害偏好重复测试,且每次仅改变一个条件。例如,只有在产品明确说明不同上下文行为存在差异时,才去对比常规新聊天与特定项目聊天之间的表现。每次测试都要记录具体的设置配置;否则,不同的设置可能会使结果看起来相互矛盾。

检查项:配置;记录内容:产品、账户上下文,以及记忆控制选项是否开启
检查项:测试细节;记录内容:你所提供的虚构偏好
检查项:新聊天结果;记录内容:回答是体现了该偏好、忽略了该偏好,还是与之相悖
检查项:显示的来源;记录内容:界面识别出的任何记忆条目、过往聊天或其他来源
检查项:控制权核查;记录内容:你可以查看、编辑、关闭或删除哪些内容
检查项:重新测试;记录内容:在你修改或删除该细节后发生了什么
第 4 节

检查你可以查看、编辑和删除的内容

在依赖记忆功能之前,先找到工具的实际控制选项,并检查以下三项独立操作:

仔细阅读界面措辞。例如,OpenAI 的常见问题解答指出,要求 ChatGPT 不要提及某件事只会改变个性化设置,并不会删除原始来源。其中还解释道,要彻底移除被记住的信息,可能需要同时删除已保存的记忆以及最初分享该信息的聊天;文件或关联应用等其他来源可能需要单独处理。关闭记忆功能并不等同于删除以往的聊天或已存储的细节。请遵循产品记忆常见问题解答中的最新指引,因为不同账户可用的控制选项可能存在差异。

不同聊天工具之间的控制选项也有所不同。Tolan 的官方常见问题解答表示,其应用程序中的对话会被记录并用于生成记忆,并说明了如何通过该应用的个人资料设置注销账户。这是针对特定产品的说明,并非所有 AI 聊天工具的通用规则。请仔细核实你实际使用的服务,不要默认其他产品的记忆和删除控制规则在此同样适用。

查看:是否存在列表、摘要或来源视图,用来展示哪些信息可能会被用于个性化回答?它能否显示是哪项来源促成了某个回答?
编辑:你是否能够更正过时的偏好,或者要求工具不要使用它?这样做只会影响未来的个性化表现,还是会同步修改底层来源?
删除:你是否能够分别删除已保存的记忆、提供该记忆的对话以及其他任何相关来源?产品说明中关于关闭记忆功能后会发生什么有何描述?
第 5 节

衡量连贯性与控制权的实用标准

如果你能够进行小规模测试、查看可能被调用的信息、在出错时予以更正,并找到清晰的删除途径,那么记忆功能就更容易进行评估。请将测试结果视为针对单一设置下某一特定偏好的具体验证,而不是对可靠回忆能力的绝对承诺。如果控制选项未能清楚说明存储了什么或如何删除,在弄清产品的最新指引之前,请避免将信息存入记忆中。

真正有价值的问题绝非简单的“这个聊天工具能记住吗?”而是:“它能否将一项低风险偏好延续到全新对话中?我能否看到它使用了哪些信息?以及我能否通过可用的控制选项来修改或删除这些信息?”

第 6 节

来源与适用范围

引用的来源为相关定义和限定性指南提供了依据。文中所列示例均为原创编辑说明;不断变化的产品细节应以最新的官方页面为准。本文不对任何特定结果作担保。

OpenAI 记忆常见问题解答:https://help.openai.com/en/articles/8590148-memory-faq
OpenAI 临时聊天常见问题解答:https://help.openai.com/en/articles/8914046-temporary-chat
Tolan 官方常见问题解答:https://www.tolans.com/faq
相关阅读

继续探索这个主题