AI가 프로젝트 세부 사항을 잊었을 때는 기억해 내기 전에 먼저 물어봐야 합니다

그럴듯한 기억도 결국 추측에 불과한 이유

크리에이티브 프로젝트는 작은 결정들에 좌우됩니다. 어떤 제목이 후보에 올랐는지, 초안이 1인칭인지 2인칭인지, 혹은 사용자가 어떤 색상 팔레트를 선택했는지 등이 그렇습니다. 어시스턴트가 이러한 세부 사항 중 하나를 찾지 못할 때 유창하게 내놓는 답변은 신뢰할 만한 기억처럼 들릴 수 있지만, 은연중에 새로운 선택을 끼워 넣는 결과를 낳습니다.

NIST는 생성형 AI의 작화증(confabulation)을 자신 있게 제시되는 거짓 콘텐츠뿐만 아니라 입력값과 달라지거나 모순되는 출력값까지 포함하는 것으로 정의합니다. 지어낸 프로젝트 세부 사항은 이미 내려진 결정으로 오인될 수 있다는 실질적인 위험과 맞닿아 있습니다. NIST의 Generative AI Profile은 이 메커니즘을 일반적인 용어로 설명하고 있으며, 여기서 다루는 프로젝트 작업 관련 결과는 특정 제품에 대한 조사 결과가 아니라 디자인적 추론입니다.

OpenAI의 연구 역시 일반적인 평가 인센티브가 불확실성을 인정하기보다는 추측하는 행위에 보상을 줄 수 있다고 지적합니다. 이 연구의 예시는 일반적인 질의응답이지만 디자인 측면의 교훈은 동일하게 적용됩니다. 어시스턴트는 자신 있게 들리는 완결성을 과거 대화를 참조할 수 있다는 증거로 취급해서는 안 됩니다. Why language models hallucinate

먼저 어시스턴트가 실제로 볼 수 있는 범위를 명확히 하기

어시스턴트는 세 가지 상태를 구분해야 합니다. 현재 대화에서 확인할 수 있는 세부 사항, 사용 가능한 프로젝트 출처에서 검색할 수 있는 세부 사항, 그리고 검증할 수 없는 세부 사항입니다. 이러한 상태에는 각기 다른 표현이 필요합니다. 세부 사항이 현재 스레드의 앞부분에 나타나 있다면 어시스턴트는 이를 인용하거나 요약하고 해당 맥락을 짚어줄 수 있습니다. 메모나 문서를 찾았다면 그 출처의 이름을 밝힐 수 있습니다. 둘 다 사용할 수 없다면 솔직하게 말해야 합니다.

유용한 불확실성 표현은 구체적이고 한정적입니다. “제가 확인할 수 있는 프로젝트 정보로는 어떤 제목을 선택하셨는지 확인할 수 없습니다.” 이는 사용자가 제목을 선택한 적이 없다거나, 어시스턴트가 가능한 모든 아카이브를 검색했다거나, 누락된 세부 사항이 존재하지 않는다는 뜻이 아닙니다. 기록을 검색할 수 없다는 사실이 기록이 생성된 적 없다는 증거는 아니므로 이러한 구분은 중요합니다.

Google의 People + AI Guidebook은 관련 기능과 한계를 설명하고 사용자의 이해와 결정에 영향을 미치는 내용에 설명을 집중할 것을 권장합니다. 여기에 적용해 보면 모델 내부에 대한 기술적 설명보다는 사용 가능한 프로젝트 맥락에 대한 짧은 언급이 바람직하다는 점을 시사합니다. Explainability + Trust

가장 작고 유용한 출처 요청하기

공백을 밝힌 후에는 표적화된 질문 하나를 던지세요. 예를 들어 “메모를 붙여넣어 주시거나 결정하셨던 제목을 알려주시겠어요?”라고 할 수 있습니다. 사용자에게 여러 출처 옵션이 있을 수 있다면 짧은 목록을 제시하세요. “최신 초안, 프로젝트 메모, 아니면 이전 채팅 중 어디에 있었나요?” 목표는 일상적인 창작 작업을 심문으로 만들지 않으면서 복구를 쉽게 만드는 것입니다.

실용적인 답변 패턴은 다음과 같습니다. “제가 접근할 수 있는 범위에서는 팔레트를 확인할 수 없습니다. 메모를 공유해 주시거나 색상을 다시 알려주시면 다음 초안에 반영하겠습니다.” 이는 누락된 정보를 식별하고, 증거나 확인을 요청하며, 다음 작업 과정을 설명합니다. 또한 추진력을 유지해 주어 어시스턴트가 불확실한 선택은 열어둔 채 영향받지 않는 다른 작업 부분을 계속 진행할 수 있게 합니다.

누락된 정보로 인해 답변이 달라질 때 명확화는 유용합니다. 협업 대화 연구에서 Testoni와 Fernández는 모델의 불확실성에 기반한 명확화 전략이 특정 그림 그리기 작업에서 성공률을 높였다는 점을 발견했습니다. 동시에 질문을 던지는 데에도 비용이 따른다고 보고합니다. 이는 절제된 접근 방식을 뒷받침합니다. 즉, 누락된 프로젝트 정보가 중요할 때 질문하되 질문을 집중도 있게 유지하는 것입니다. Asking the Right Question at the Right Time

사용자가 확인한 후에만 업데이트하기

사용자가 출처를 제공하거나 세부 사항을 확인하면 확인된 사실을 간결한 형태로 다시 언급하세요. “확인했습니다. 붙여넣어 주신 메모를 바탕으로 현재 제목은 ‘작은 정원 노트’입니다.” 만약 출처의 내용과 미묘하게 다르다면 임의로 선택하지 말고 불일치를 드러내세요. 예를 들면 이렇습니다. “메모에는 ‘정원 노트’라고 적혀 있는데 방금 ‘작은 정원 노트’라고 말씀하셨습니다. 어느 쪽을 사용할까요?”

업데이트는 프로젝트와 증거의 범위 내로 제한되어야 합니다. 붙여넣은 한 줄의 텍스트는 현재 작업에서 해당 문구를 사용하는 근거가 될 수 있지만, 그 세부 사항이 영구적이라거나 모든 버전에 적용된다거나 현재 대화를 넘어 저장되어야 한다는 점을 자동으로 입증하지는 않습니다. 제품에 눈에 보이는 프로젝트 기록이 있다면 제안된 업데이트를 보여주고 사용자가 이를 수정할 수 있는 방법을 제공하세요. 그런 기록이 없다면 기억이 영구적으로 변경되었다고 주장하지 마세요.

이 확인 단계는 추적 가능성과 사용자 제어권에서 비롯된 디자인 권장 사항입니다. 사용자는 어떤 정보가 채택되었는지 확인하고 이것이 추가 작업에 영향을 미치기 전에 바로잡을 수 있습니다. 이는 크리에이티브한 선택이 점진적으로 발전할 때 특히 유용합니다. 이전 초안에는 이전 제목이 포함되어 있고 최근 메시지에는 새 제목이 설정되어 있을 수 있습니다. 어시스턴트는 초안들을 단 하나의 변치 않는 기억으로 뭉뚱그리기보다 이러한 순서를 보존해야 합니다.

추측을 은근슬쩍 끼워 넣는 질문 피하기

지어낸 답변을 포함하고 있는 질문은 여전히 오해를 불러일으킬 수 있습니다. “청록색을 고르셨던 것 맞죠?”라는 질문은 어시스턴트가 확인하지 않은 세부 사항 쪽으로 대화를 유도하는 압박을 줍니다. “어떤 색상을 고르셨나요?”와 같이 중립적인 요청을 사용하는 것이 좋습니다. 만약 청록색이라고 적힌 실제 출처가 있다면 그것을 밝히세요. “초안 메모에는 청록색으로 나와 있습니다. 계속 이 팔레트를 사용하시겠습니까?” 이 표현은 출처의 증거와 현재 시점의 확인을 분리합니다.

생성된 대안을 기억해 낸 사실인 것처럼 제시하지 마세요. 사용자가 이전 결정을 찾지 못할 경우 어시스턴트는 다시 선택하는 것을 도와주겠다고 제안할 수 있지만 이를 새로운 선택으로 명시해야 합니다. “이전 팔레트를 복구할 수 없습니다. 지금 새로 선택하시겠습니까?” 이러한 구분은 프로젝트의 역사를 왜곡하지 않으면서 창의적인 협업을 가능하게 합니다.

불완전한 질문에 응답하는 언어 모델에 관한 2024년 연구에 따르면, 맥락에 맞게 적절히 명확화를 요청하는 행동은 자동으로 나타나는 것이 아니라 특정 모델 크기와 프롬프트 조건 하에서 나타났습니다. 이 결과는 제품 팀이 모델이 기본적으로 적절한 질문을 알아서 잘 던질 것이라 가정하지 말고, 이러한 동작을 명시적으로 설계하고 평가해야 함을 상기시켜 줍니다. Clarifying Completions

일반적인 프로젝트 작업으로 동작 평가하기

제품 팀은 일상적인 크리에이티브 프로젝트 프롬프트를 사용하여 이러한 상호작용을 테스트할 수 있습니다. 어시스턴트가 접근할 수 있는 맥락에 관련 세부 사항이 없을 때 누락된 제목, 선택된 포맷, 혹은 초안 선호도를 묻는 것입니다. 훌륭한 응답이라면 공백을 명시하고, 이전 대화를 지어내지 않으며, 관련 출처나 확인을 요청한 다음 확인된 정보를 일관되게 사용해야 합니다.

현재 스레드나 제공된 메모에 세부 사항이 존재하는 유사한 사례도 포함하세요. 어시스턴트는 이러한 경우에 가용한 증거를 활용하는 동시에 그 출처가 어디인지 명확히 밝혀야 합니다. 또한 충돌하는 버전과 사용자의 수정 사항도 테스트하세요. 유용한 평가는 근거 없는 회상과 근거 있는 검색을 구분하며, 어시스턴트가 전체 작업을 차단하는 대신 영향받지 않은 작업을 계속 진행하는지 확인합니다.

이것은 제안된 평가 방법이며 인용된 연구들에서 확립된 결과는 아닙니다. 이 방식의 정보적 이점은 결정 순서에 있습니다. 접근 권한을 확인하고, 한계를 밝히고, 가장 작고 유용한 출처를 요청하며, 채택된 세부 사항을 확인하고, 업데이트 범위를 명확히 유지하는 것입니다. 이 순서는 “모르겠습니다”라는 답변을 생산적인 작업 단계로 바꾸어 놓습니다.

불확실성을 프로젝트 연속성의 일부로 만들기

크리에이티브 프로젝트 어시스턴트에게 누락된 세부 사항을 인정하는 것은 막다른 길이 아닙니다. 그것은 연속성을 지키는 방법입니다. 시스템은 검증되지 않은 역사를 공백으로 남겨둔 채 도움을 계속 제공할 수 있습니다. 명확한 불확실성, 초점을 맞춘 요청, 눈에 보이는 확인을 통해 사용자는 프로젝트 기록에 무엇이 포함될지 결정할 수 있으며, 어시스턴트는 다음 초안을 위한 확실한 기반을 얻게 됩니다.

이 주제 더 살펴보기