測試完整使用旅程,而不只是幾則回覆
陪伴類應用的安全測試不應只挑幾則流暢回覆,而要走完真實使用旅程:第一次使用、累積歷史內容的回訪帳號、語言和輸入方式切換、共用裝置、連線中斷、封鎖與檢舉、購買、匯出與刪除,以及更新後的行為。每段旅程先寫出預期邊界,再確認例外出現後能否復原。NIST ARIA 將模型測試、紅隊與現場測試分開,提醒我們模型回覆只是產品其中一層。只使用虛構中性內容、專用測試帳號和普通使用者可見控制,不放入他人資料,也不刻意尋找危險輸出。記錄發生事項、未知項,以及使用者能否回到可理解的狀態。
用七欄場景卡定義每次測試
每次開始前寫下情境、帳號狀態、輸入變化、預期邊界、可觀察結果、復原路徑與保留證據。情境包含裝置、版本、語言、網路及付費層級;帳號狀態區分新用戶、回訪、受限、已登出或等待刪除。輸入可改變長度、語氣、拼寫、語言與媒介,但保留相同任務。預期邊界要描述具體行為,不能只寫「表現良好」。結果應記錄畫面訊息、資料可見性、工具動作與狀態改變。復原則核對撤銷、重試、封鎖、檢舉、取消、登出或客服。證據需移除密碼、權杖和第三方內容。更新後重跑同一卡片,才能建立可比較紀錄。
涵蓋身分、歷史與裝置轉換
從註冊、帳號復原、工作階段清單、登出和第二台裝置回訪開始,再比較新工作階段、累積歷史帳號及刪除歷史後分別可見什麼。共用裝置要檢查通知預覽、最近使用畫面、自動填寫、下載媒體與登出後的本機存取。顯示語言和輸入語言應分開切換;介面翻譯完成,不代表控制說明與生成回覆遵循相同邊界。以飛航模式、切到背景、重啟或登入逾時中斷操作,確認草稿、上傳、購買或刪除請求是否重複、遺失或處於模糊狀態。這些轉換能找出連續對話看不到的狀態處理問題。
分別測試文字、語音、圖片、連結與外部內容
每一種入口的權限、保存、轉換與錯誤訊息不同,必須分開核對。針對同一個無害虛構任務,改用短句、長句、拼字錯誤、引述、假設和混合語言。語音要看權限時機、錄音提示、轉寫可見性、刪除和辨識失敗的替代路徑;圖片只用自行製作的中性影像,檢查上傳、預覽、移除、已揭露的中繼資料處理與中斷。如果應用會開啟連結、讀取檔案、檢索網頁或呼叫工具,可使用與任務衝突但無害的不可信文字,觀察系統能否保留原始意圖。OWASP 的清單顯示,提示注入與資訊洩漏位於應用邊界,不只是回覆用詞。
把互動控制測成端到端旅程
若可私訊、追蹤、留言、贈送或加入空間,需檢查探索預設值、受眾選擇、靜音、封鎖、檢舉、證據保存、申訴說明及雙方帳號看到的狀態。封鎖按鈕若只改變一個頁面,卻留下通知預覽、舊連結、群組可見性或另一互動入口,就不能算完成驗證。只使用兩個標示清楚的測試帳號,絕不牽涉不知情的人。檢舉使用無害測試內容;若會占用真實審核佇列且沒有官方測試通道,應在送出前停止。必須區分送出控制正常與處理結果已驗證,因為時間與結論可能仍未知。
納入付款、退出與更新後回歸
檢查免費層、試用終點、續訂通知、購買驗證、付款失敗、取消、權益到期,以及刪除帳號和停止平台扣款是否為不同路徑。有安全測試工具時優先使用,否則避免不必要購買。之後檢查匯出、單項內容刪除、帳號刪除申請、已說明的確認流程和等待期間狀態。應用、模型、政策、權限或付款鏈路改變後,重跑較高風險旅程。Google 建議使用貼近自家產品的資料與多樣輸入,因通用基準無法代表每種設定。可保留共用裝置、中斷上傳、封鎖對象、已取消訂閱和已刪除歷史五項回歸。
以復原能力判斷覆蓋是否完成
漂亮回覆無法補償遺失的刪除要求、意外可見內容、不明費用、卡住的上傳或無法撤回的控制。彙總場景卡的確認、條件、矛盾與未知,先處理同時涉及較敏感資料、外部動作、金錢或不可逆狀態的未知項。失敗紀錄要包含起始狀態、最小重現、畫面結果、復原嘗試與版本;「AI失敗」過於籠統,不能支持修正。通過也應標示範圍。實用完成標準是:理想路徑中斷時,普通使用者仍能看懂狀態、知道發生什麼,並到達有說明的下一步;否則仍屬開放測試項。
常見問題
需要多少測試提示才足夠?
沒有通用數量。應涵蓋產品旅程、多樣輸入、重要邊界和復原,並持續加入變更與實際故障。
普通使用者要主動測試越獄嗎?
不需要。使用無害變化和可見控制;專業對抗測試應在授權環境進行。
模型基準高就表示應用安全嗎?
不是。應用還包含帳號、歷史、權限、工具、互動、付款、儲存與復原。
