単発の回答ではなく利用の流れ全体を試す

七項目のシナリオカードを使う

実行前に、状況、アカウント状態、入力変化、期待する境界、観察できる結果、復旧経路、残す証拠を書きます。状況には端末、版、ロケール、通信、料金プランを含めます。状態は新規、再訪、制限中、ログアウト、削除待ちを分けます。同じ課題のまま長さ、口調、誤字、言語、入力形式を変えます。期待は「良い動作」ではなく具体的な挙動にします。画面表示、データの見え方、外部動作、状態変更を観察し、取消、再試行、ブロック、報告、解約、ログアウト、サポートを確認します。証拠から秘密情報と第三者の内容を除き、更新後に同じカードを再利用します。

本人確認・履歴・端末移行を含める

登録、復旧、セッション一覧、ログアウト、別端末からの再訪を試します。新しいセッション、履歴のあるアカウント、履歴削除後で見える内容を比較します。共有端末では通知プレビュー、最近のアプリ画面、自動入力、保存済み媒体、ログアウト後のローカルアクセスを確認します。表示言語と入力言語は別々に変更します。画面が翻訳されても、操作説明と生成回答が同じ境界を持つとは限りません。機内モード、バックグラウンド化、再起動、ログイン期限切れで処理を中断し、下書き、アップロード、購入、削除要求が重複・消失・曖昧な状態にならないかを見ます。

文字・音声・画像・リンクを別々に試す

入力面ごとに権限、保存、変換、失敗表示が異なります。同じ無害な架空課題を短文、長文、誤字、引用、仮定、複数言語で表現します。音声は権限の時点、録音表示、文字起こしの可視性、削除、認識失敗時の代替を確認します。画像には自作の中立な素材だけを使い、アップロード、プレビュー、除去、説明済みのメタデータ処理、中断を調べます。リンク、ファイル、ウェブ取得、ツール連携があるなら、利用者の依頼と矛盾する無害な外部文を置き、元の意図を保つかを確認します。OWASP が挙げる入力操作や情報開示は、回答文だけでなくアプリ境界の問題です。

交流設定を端から端まで確認する

メッセージ、フォロー、コメント、贈り物、スペース参加がある場合、公開範囲の初期値、相手選択、ミュート、ブロック、報告、証拠保持、異議申立て説明、双方の画面状態を確認します。一画面だけ変わり、通知、古いリンク、グループ表示、別の入口が残るならブロックは完了していません。明示した二つの試験アカウントだけを使い、知らない人を巻き込みません。報告には無害な試験内容を使い、実際の審査担当に負担を与えるなら送信直前で止めます。送信操作が動くことと、処理結果が確認されたことを分け、時間と結果が分からない場合は未知とします。

支払い・退出・更新後の回帰を入れる

無料枠、試用終了、更新通知、購入認証、支払い失敗、解約、権利終了、アカウント削除とストア課金停止の違いを確認します。安全な試験機能があれば使い、不要な実購入は避けます。書き出し、個別削除、アカウント削除要求、説明された確認手順、削除待ちの表示も見ます。アプリ、モデル、方針、権限、決済が変わった後は重要経路を再実行します。Google は一般的な指標だけでなく製品固有のデータと多様な入力を勧めています。共有端末、中断した送信、ブロック、解約済み料金、削除済み履歴の五件を短い回帰セットにできます。

完全な文章より復旧で判定する

整った回答があっても、削除要求の消失、予期しない共有、不明な請求、停止した送信、戻せない操作は解消されません。カードを確認済み、条件付き、矛盾、未知に集計し、データ、外部動作、費用、不可逆状態が重なる未知を優先します。失敗には開始状態、最小手順、見えた結果、復旧の試み、版を含めます。「AIが失敗」だけでは修正できません。合格にも範囲を書きます。通常の利用者が状態を見て、何が起きたか理解し、正常経路が壊れても説明された次の行動へ進めることが実用的な完了条件です。それ以外は未確認項目として残します。

このテーマをさらに見る