투명성을 점수가 아닌 증거 영수증으로 평가하기

상황과 말투가 바뀌어도 AI 정체성과 역할이 남는지 본다

캐릭터 이름이나 친근한 목소리는 AI 정체성 공개를 대신하지 못합니다. 일반 채팅, 음성, 공유된 출력, 오랜만의 재방문에서도 AI 생성 시스템과 상호작용 중임을 확인할 수 있어야 합니다. 제품 역할은 사용자가 제공한 기록 정리, 성찰 질문 생성, 선택지 초안처럼 구체적으로 표시하고 목적 옆에 지원하지 않는 사용과 한계를 둡니다. 가상의 역할을 요청하는 부정 테스트를 해 봅니다. 말투는 바뀔 수 있지만 AI 정체성, 운영 주체, 실제 능력 경계는 사라지면 안 됩니다. EU AI Act Article 50은 일부 직접 상호작용 AI에 대한 지역적 공개 참고를 제공하지만 적용 여부는 맥락에 따라 달라지므로 여기서는 준수 판단이 아닌 관찰 가능한 설계 단서로만 사용합니다.

현재 대화에 적용된 데이터와 기억 범위를 영수증으로 요구한다

긴 개인정보 안내는 이번 출력에 실제 사용된 입력을 보여주지 못할 수 있습니다. 현재 메시지, 첨부 파일, 프로필 설정, 프로젝트 맥락, 과거 대화, 연결된 출처, 저장된 선호를 나누고 활성 범위를 표시해야 합니다. 이번 출력에 사용한 정보와 다른 목적으로 수집하는 정보도 구별합니다. 각 항목에서 조회, 수정, 비활성화, 만료 설정으로 이동할 수 있는지 확인합니다. 기억 하나를 끈 뒤 새 대화를 열어 표시와 행동이 함께 바뀌는지 테스트합니다. 라벨만 바뀌고 이전 세부 정보가 다시 나오면 불일치입니다. 저장 위치나 삭제 완료 여부는 별도 데이터 투명성 감사의 주제이며 여기서는 상호작용에서 보이는 범위에 집중합니다.

중요한 출력 가까이에 출처·가정·충돌·미확인을 둔다

페이지 끝의 일반 경고보다 판단할 출력 바로 옆의 설명이 유용합니다. 사용자가 준 사실, 검색한 출처와 날짜, 제품 설정, AI 추론, 충돌 자료, 접근하지 못한 정보, 남은 미확인 항목을 분리합니다. PAIR는 신뢰를 조절할 수 있도록 데이터 출처와 시스템 행동을 설명하라고 권합니다. 의미와 근거, 다음 행동이 정의되지 않은 신뢰도 숫자는 증거가 아닙니다. 출처 하나를 제거하고 모순되는 사실을 추가한 뒤 오래된 답변을 다시 열어 불확실성이 드러나는지 확인합니다. 출처 자체의 정확성은 관련 사실 검증 절차에서 별도로 확인해야 하며 출처 표시가 있다는 이유만으로 사실로 확정하지 않습니다.

통제·종료·기기 간 결과가 설명대로 바뀌는지 시험한다

사용자는 기억된 선호를 수정하고, 개인화 범위를 줄이고, 기능과 알림을 끄며, 캐릭터와 협상하지 않고 일반 계정 절차로 나갈 수 있어야 합니다. 각 통제의 대상 화면, 반영 시점, 확인, 실패, 재시도 또는 되돌리기를 기록합니다. PAIR는 피드백이 무엇을 언제 바꾸는지 설명하고 옵트아웃과 재설정을 유지하도록 권합니다. 입력 출처 하나를 끊은 뒤 다른 기기의 무관한 새 대화에서 재사용되는지 살펴봅니다. 대화 속 “해제했습니다”라는 문장만으로는 부족하며 설정 상태와 행동이 함께 변해야 합니다. 기기마다 결과가 다르면 버전과 기기를 기록하고 미해결로 둡니다.

오류 신고와 이의제기를 닫힌 상태까지 추적한다

신고 버튼 뒤에 신고 가능 범위, 첨부 증거, 인간 검토 여부, 상태 확인 위치와 종료 상태가 있어야 합니다. 수정됨, 수용하지 않음, 재현 불가, 새 버전으로 대체됨, 검토 중처럼 구체적인 상태를 사용하고 내용 수정과 제품 사고를 분리합니다. NIST Core는 외부 피드백과 영향 문서화를 지속적인 관리에 포함합니다. 개인정보가 없는 재현 가능한 작은 불일치로 접수 확인, 상태 변화, 결과 이유, 추가 자료나 이의제기 경로를 시험합니다. 응답이 없다고 해결된 것으로 간주하지 않으며 지원 약속도 종료 상태가 나타나기 전에는 증거가 아닙니다. 당시 버전, 대화 식별자, 사용자에게 보인 결과를 보존합니다.

일곱 줄을 버전과 날짜에 묶고 합계나 순위를 만들지 않는다

영수증은 AI 정체성과 역할, 목적과 한계, 데이터와 기억, 출처와 불확실성, 통제와 종료, 오류와 이의제기, 버전과 날짜의 일곱 줄입니다. 각 줄에 위치, 조작, 부정 테스트, 관찰 결과, 미해결, 책임 주체, 확인일을 적습니다. 증거가 있고 조작이 설명대로 작동한 줄만 통과합니다. 점수를 더하거나 평균을 내지 않으며 종료 경로 부재를 화려한 출처 설명으로 상쇄하지 않습니다. 중요한 업데이트 뒤에는 정체성, 기억, 출처 있는 출력, 옵트아웃, 신고 상태를 하나씩 다시 시험합니다. NIST Playbook처럼 실제 맥락에 맞추고, 과거 영수증은 날짜를 유지하며 증거가 없으면 미확인으로 남깁니다.

이 주제 더 살펴보기