Tester des parcours complets plutôt que quelques réponses
Un test utile ne sélectionne pas seulement quelques réponses réussies : il suit des parcours complets. Il couvre une première session, un compte ancien avec historique, un changement de langue ou de média, un appareil partagé, une connexion interrompue, le blocage et le signalement, un achat, l’exportation, la suppression et le comportement après mise à jour. Chaque parcours commence par une limite attendue et se termine par une vérification de récupération. Le programme ARIA du NIST distingue test du modèle, équipe d’opposition et test de terrain, rappelant qu’une réponse n’est qu’une couche du produit. Employez des comptes dédiés et du contenu fictif neutre; n’introduisez ni données d’autrui ni demande dangereuse. Notez le résultat observable, les inconnues et la possibilité de revenir à un état compréhensible.
Préparer une fiche de scénario en sept champs
Inscrivez le contexte, l’état du compte, la variation d’entrée, la limite attendue, le résultat observable, la voie de récupération et la preuve conservée. Le contexte comprend appareil, version, langue, réseau et forfait. L’état distingue nouvel utilisateur, retour avec historique, restriction, déconnexion ou suppression en attente. Modifiez longueur, ton, orthographe, langue ou média tout en gardant la même tâche. Décrivez une conduite précise plutôt que « fonctionne bien ». Relevez les messages, la visibilité des données, les actions extérieures et les changements d’état. Vérifiez annulation, nouvelle tentative, blocage, signalement, résiliation, déconnexion ou support. Écartez mots de passe, jetons et contenu tiers des preuves. Réutilisée après une version, la fiche produit une comparaison plutôt qu’une impression.
Couvrir identité, mémoire et transitions d’appareil
Testez inscription, récupération du compte, liste des sessions, déconnexion et retour sur un second appareil. Comparez une session neuve, un compte contenant un historique et un compte après suppression de cet historique. Sur un appareil partagé, observez aperçu des notifications, écran des applications récentes, saisie automatique, médias téléchargés et accès local après déconnexion. Changez séparément langue d’interface et langue de saisie : une traduction visuelle ne démontre pas que contrôles et réponses suivent les mêmes limites. Interrompez un brouillon, un téléversement, un achat ou une suppression par mode avion, arrière-plan, redémarrage ou expiration de session. Vérifiez les doublons, pertes et états ambigus. Ces transitions exposent des défauts invisibles dans une conversation continue.
Tester séparément texte, voix, image et contenu externe
Chaque surface possède des autorisations, transformations, stockages et erreurs distincts. Exprimez une tâche fictive inoffensive sous une forme courte, longue, mal orthographiée, citée, hypothétique et multilingue. Pour la voix, observez le moment de l’autorisation, l’indicateur d’enregistrement, la transcription, la suppression et l’alternative après échec. Pour l’image, utilisez une création neutre personnelle et vérifiez envoi, aperçu, retrait, traitement déclaré des métadonnées et interruption. Si l’application ouvre des liens, lit des fichiers, consulte le web ou appelle des outils, insérez un texte externe inoffensif mais opposé à la demande, puis contrôlez que l’intention initiale reste prioritaire. Les risques OWASP montrent que manipulation d’entrée et fuite d’information concernent les frontières de l’application, pas seulement le style d’une réponse.
Suivre les contrôles sociaux jusqu’au bout
Si les utilisateurs peuvent écrire, suivre, commenter, offrir ou rejoindre un espace, examinez les valeurs de visibilité, le choix du public, la sourdine, le blocage, le signalement, la conservation d’éléments et l’information de recours depuis les deux comptes. Un bouton de blocage n’est pas validé s’il modifie une page mais laisse ouverts notifications, ancien lien, groupe ou autre canal. Employez deux comptes de test clairement nommés et n’impliquez personne à son insu. Utilisez un contenu bénin pour le signalement; arrêtez-vous avant l’envoi s’il charge une vraie file de modération sans voie dédiée. Distinguez le bon fonctionnement du bouton et la résolution confirmée. Le délai et le résultat peuvent rester inconnus, et doivent être notés comme tels.
Inclure argent, sortie et régression après mise à jour
Contrôlez offre gratuite, fin d’essai, avis de renouvellement, authentification d’achat, paiement refusé, annulation, expiration d’accès et différence entre suppression du compte et fin de facturation en boutique. Préférez les mécanismes d’essai sûrs et évitez les achats inutiles. Vérifiez ensuite exportation, suppression d’un élément, demande de suppression du compte, confirmations annoncées et visibilité pendant l’attente. Après une modification de l’application, du modèle, de la politique, des permissions ou du paiement, rejouez les parcours importants. Google recommande des jeux propres au produit et des entrées variées, car les références générales ne représentent pas chaque configuration. Gardez une courte régression : appareil partagé, envoi interrompu, utilisateur bloqué, abonnement résilié et historique supprimé.
Mesurer la couverture par la récupération
Une réponse élégante ne compense pas une demande de suppression perdue, une visibilité inattendue, une facturation ambiguë, un envoi bloqué ou une commande irréversible. Classez les fiches en confirmé, conditionnel, contradictoire et inconnu. Priorisez les inconnues combinant données, action externe, argent ou état difficile à inverser. Un échec doit préciser l’état initial, la reproduction minimale, le résultat visible, la tentative de récupération et la version; « l’IA a échoué » n’est pas exploitable. Un succès doit également annoncer son périmètre. Le critère pratique est le suivant : lorsque le chemin idéal casse, une personne ordinaire voit son état, comprend ce qui s’est produit et rejoint une prochaine étape documentée. Sinon, le scénario demeure ouvert.
Questions fréquentes
Combien de requêtes faut-il tester ?
Aucun nombre universel. Couvrez parcours, variations, limites et récupération, puis ajoutez les cas issus des changements et défauts observés.
Faut-il tenter des contournements offensifs ?
Non pour un utilisateur ordinaire. Les essais spécialisés se font dans un environnement autorisé et encadré.
Un bon score du modèle suffit-il ?
Non. Le produit comprend aussi comptes, historique, permissions, outils, fonctions sociales, paiements, stockage et récupération.