요점을 벗어난 챗봇의 긴 답변을 어떻게 편집할 수 있을까요?

답변에서 '관련성'이란 무엇을 의미할까요?

답변의 관련성은 독자가 답변의 요점을 자신이 질문한 내용과 연결할 수 있을 때 성립합니다. 길이만으로는 답변의 성공 여부를 알 수 없습니다. 단계별 절차, 조건, 비교가 필요한 요청에는 상세한 설명이 완벽한 정답일 수 있습니다. 유용한 진단 기준은 답변이 사용자의 구체적인 과제를 초반에 다루고 있는지, 그리고 나머지 내용이 그 과제를 완료하는 데 도움이 되는지 여부입니다.

이는 편집 방법론이며, 아래에 인용된 연구들을 통해 검증된 체크리스트는 아닙니다. 대화형 응답 관련성에 관한 연구는 문제를 정의하는 데 도움을 줄 수 있지만, 이 특정 3단계 검토가 답변을 개선한다는 점을 입증하지는 않습니다.

예를 들어, [Wu, Wang, Xue의 COLING 2016 논문](https://aclanthology.org/C16-1063/)은 소셜 미디어 대화 데이터를 활용한 후보 챗봇 응답의 맥락 인식 순위 지정을 연구합니다. [See와 동료들의 NAACL 2019 논문](https://aclanthology.org/N19-1170/)은 PersonaChat 대화에 대한 인간의 판단에서 반복, 구체성, 질문하기를 포함한 제어 가능한 다른 속성들과 함께 응답 관련성을 살펴봅니다. 이러한 논문들은 계산적 응답 순위 지정 및 생성된 일상 대화(chit-chat)에 관한 연구이며, 본 글의 편집 절차를 테스트하거나 지원(support) 형식의 긴 답변을 직접 평가하지는 않습니다. 특정 편집 방식이 효과적이라는 증거가 아니라, 관련성이 왜 중요한지에 대한 배경 맥락으로 참고하세요.

1단계: 사용자의 구체적인 요청 파악하기

사용자의 메시지를 읽고 명확한 한 문장으로 과제를 기술해 보세요. 답변이 그 과제를 완료했는지 판단할 수 있을 만큼 구체적이어야 합니다. 예를 들어 "기차 안에서 쓰기 좋은 컴팩트한 스케치 도구로 무엇을 가져가야 할까요?"라는 질문은 "기차에서 스케치하기 위한 컴팩트한 도구 구성 추천하기"로 정리할 수 있습니다.

핵심 과제와 부수적인 표현을 구분하세요. 사용자는 작은 테이블을 쓴다거나, 작은 가방을 들고 다닌다거나, 펜보다 연필을 선호한다는 점을 언급할 수 있습니다. 이러한 세부 사항은 답변의 제약 조건이 될 수는 있지만, 사용자가 별도로 요청하지 않는 한 독립된 과제가 아닙니다. 유용한 답변의 기준을 바꾸는 제약 조건은 그대로 유지하세요.

메시지에 여러 요청이 포함되어 있다면 답변을 검토하기 전에 목록으로 정리해 두세요. 그래야 편집자가 하나의 하위 질문에 답변한 것을 두고 전체 요청을 다룬 것처럼 착각하는 일을 방지할 수 있습니다. 사용자의 목표가 진정으로 모호하다면 추측하기보다 명확한 질문을 되묻는 것이 더 유용할 수 있습니다. 본 글은 요청은 명확한데 답변이 겉도는 경우에 초점을 맞춥니다.

2단계: 질문에 답하는 첫 번째 문장 찾기

답변의 처음부터 훑어보며 과제를 직접적으로 진전시키는 첫 번째 문장을 표시하세요. 그 문장이 완전한 답변일 필요는 없습니다. 챗봇이 논의할 내용을 단순히 알리는 데 그치지 않고, 요청에 대한 의미 있는 답변을 사용자에게 제공해야 합니다.

기차 스케치 예시의 경우, "슬림한 파우치에 작은 스케치북과 연필 한 자루를 챙기세요"는 곧바로 핵심으로 들어가는 시작입니다. "기차 여행은 드로잉 용품을 고르기 어렵게 만들 수 있습니다"는 배경 상황과는 관련이 있지만 스케치 구성을 추천해 주지는 않습니다. 답변이 추천에 도달하기까지 여러 단락이 걸린다면, 그 지연은 편집이 필요하다는 유용한 신호입니다.

사용자의 질문 주제를 단순히 반복한다고 해서 답변 문장으로 표시하지 마세요. "기차용 스케치 키트는 편리해야 합니다"는 주제를 언급하고는 있지만, 추천해 달라는 요청을 아직 충족하지 못했습니다. 사용자가 요구한 행동, 선택지, 설명 또는 정보를 찾으세요.

3단계: 과제에 도움이 되지 않는 내용 제거 또는 이동하기

답변을 찾은 후 모든 문장을 검토하세요. 각 문장에 대해 다음 질문을 던져보세요: 이 문장이 사용자가 답변을 실행하거나, 중요한 조건을 이해하거나, 유용한 옵션 중에서 선택하는 데 도움이 되는가? 그렇지 않다면 삭제하세요. 유용하지만 부차적인 내용이라면 직접적인 답변 뒤로 옮기거나 짧은 선택 참고 사항으로 넣으세요.

다음은 의도적으로 단순화한 수정 전후 예시입니다. 구체적인 내용은 연구 결과가 아닌 예시용입니다.

수정 전

기차 여행은 스케치 용품을 선택하기 어렵게 만들 수 있습니다. 어떤 예술가는 큰 종이를 선호하는 반면, 다른 예술가는 작은 노트를 사용합니다. 연필은 다양한 종류로 제공됩니다. 도구가 가방에 어떻게 들어갈지도 고려해 보는 것이 좋습니다. 사용자의 취향에 따라 가능한 구성은 무수히 많습니다.

수정 후

슬림한 파우치에 작은 스케치북과 연필 한 자루를 챙기세요. 이 컴팩트한 구성은 기차의 작은 테이블에도 딱 맞습니다. 연필깎이를 휴대하고 싶지 않다면 샤프펜슬도 좋은 선택지입니다.

수정된 답변은 요청받은 추천 구성으로 시작한 다음, 실용적인 이유와 한 가지 선택 가능한 대안을 제시합니다. 스케치 키트를 고르는 데 도움이 되지 않는 광범위한 관찰 내용은 제거했습니다. 한층 더 집중된 답변이 되었지만, 개선의 핵심이 단순히 글자 수를 줄인 것만은 아닙니다. 만약 사용자가 여러 미술 매체, 접근성 관련 요구 사항, 혹은 풀 세트 미술 재료를 물었다면 그러한 세부 정보가 필요했을 것입니다.

삭제, 이동, 유지 여부 결정하기

직관에 따라 지우기보다는 다음 세 가지 편집 작업을 활용하세요:

이 기준은 반복되는 내용도 걸러냅니다. 두 문장이 동일한 역할을 한다면, 두 번째 문장이 별도의 조건을 덧붙이지 않는 한 더 명확한 문장 하나만 남기세요. 반대로, 답변이 길어진다는 이유만으로 필요한 주의 사항을 삭제해서는 안 됩니다.

긴 답변이 올바른 답변이 되는 경우

어떤 요청은 한 문장으로 훌륭하게 완결될 수 없습니다. 기기 문제 해결 방법을 묻는 사용자에게는 순차적인 절차, 중단해야 할 시점에 대한 경고, 각 단계가 제대로 작동했는지 확인하는 방법이 필요할 수 있습니다. 비교 요청에는 상충 관계(trade-off) 설명이 필요할 수 있습니다. 여러 제약 조건이 얽힌 요청이라면 어떤 조건 때문에 해당 추천이 도출되었는지 설명해야 할 수 있습니다.

이러한 경우에는 세부 정보를 유지하되 과제를 중심으로 구조화하세요. 결론이나 첫 번째 유용한 행동 조치를 서두에 두고, 단계, 이유, 대안, 예외 사항을 독자에게 필요한 순서대로 제시하세요. 소제목이나 번호가 매겨진 단계는 답변을 훑어보기 쉽게 만들어 줄 때 유용합니다. 몇 가지 짧은 핵심만 있는 답변에 적용하면 불필요한 군더더기가 됩니다.

과도한 내용뿐만 아니라 누락된 내용이 있는지도 확인하세요. 답변이 간결하더라도 제약 조건을 무시하거나, 요청된 일부를 건너뛰거나, 적용하는 데 필요한 조건 없이 지침만 제공한다면 실패한 답변입니다. 관련성의 핵심은 단어 수를 최소화하는 것이 아니라 요청에 부응하는 것입니다.

빠른 최종 점검

수정을 마친 후, 답변을 1단계에서 정리한 한 문장짜리 과제와 비교해 보세요. 독자가 서두 근처에서 핵심 답변을 찾을 수 있나요? 이후의 각 문장이 이유, 단계, 옵션, 제약 조건 또는 유용한 보충 설명을 제공하고 있나요? 편집 과정에서 사용자에게 꼭 필요한 세부 정보를 보존했나요?

이 검토를 통과했다면, 답변의 길이가 길든 짧든 사용자의 요청에 훨씬 더 잘 부합할 가능성이 높습니다. 여전히 요점이 뒤늦게 나온다면 앞으로 끌어올리고 그 사이에 있는 문장들을 다시 검토하세요. 이를 실용적인 편집 판단으로 여기시기 바랍니다. 인용된 연구는 응답 관련성에 관한 일반적인 통찰을 제공할 뿐이며, 3단계 절차는 검증된 연구 결과라기보다는 논리적인 편집 보조 장치입니다.

이 주제 더 살펴보기