Quali rischi di sicurezza distinguono le piattaforme tra persone dalle app di compagnia basate sull’IA?
Due app possono mostrare la stessa finestra di chat ma costruire conversazioni molto diverse. In una piattaforma tra persone, dall’altra parte può esserci un utente, un gruppo o qualcuno che controlla un account altrui. In un’app di compagnia basata sull’IA, la risposta può essere generata dal sistema, influenzata dalle impostazioni e trattata dal fornitore. Nessuna etichetta decide da sola quale servizio sia più sicuro. Per confrontarli, individua per ogni rischio chi produce il contenuto, chi riceve i dati, chi prende una decisione e chi può correggerla.
Attribuisci l’identità prima di valutare la fiducia
Su una piattaforma umana, nome, foto, badge e anzianità dell’account sono segnali, non prove complete che la persona dichiarata controlli ancora il profilo. Un account può essere imitato, condiviso o compromesso. In un companion IA, invece, il personaggio non va verificato come individuo reale: occorre identificare l’azienda che gestisce il sistema, il modello o la funzione che genera le risposte e l’eventuale presenza di operatori umani. Scrivi quindi accanto a ogni interlocutore «identità dichiarata», «verifica disponibile» e «responsabile del servizio». Eviterai di applicare la stessa fiducia a oggetti tecnicamente diversi.
Chiedi chi ha prodotto il contenuto e con quali leve
Nelle piattaforme tra utenti, messaggi, immagini e inviti provengono in genere dagli iscritti, mentre ordinamento, raccomandazione e visibilità dipendono dalla piattaforma. In un’app companion, il fornitore progetta istruzioni, filtri, memoria e strumenti che condizionano la risposta generata. Un contenuto problematico richiede perciò diagnosi operative diverse: bloccare una persona, correggere una preferenza, disattivare una memoria o segnalare un output non sono azioni intercambiabili. Riproduci il problema con dati innocui e annota quale elemento cambia davvero il risultato, senza attribuire intenzioni umane a un meccanismo automatico.
Disegna due flussi di dati separati
Una piattaforma sociale può mostrare dati ad altri utenti, suggerire il profilo a contatti e registrare interazioni per gestire il servizio. Un companion può trattare prompt, cronologia, memoria, feedback e dati derivati per produrre risposte o migliorare funzioni secondo quanto dichiarato. Il Garante descrive gli assistenti digitali come programmi che comprendono linguaggio naturale e possono persino eseguire azioni: prima di usarli, verifica quindi non solo chi legge il testo, ma cosa il sistema può fare. Per ciascuna app elenca input, destinatari, durata, impostazioni, esportazione e cancellazione invece di usare la sola parola «privato».
Confronta moderazione sociale e vincoli della generazione
Nell’interazione umana, la moderazione cerca contenuti o comportamenti di utenti e può limitare messaggi, visibilità o account. Nel companion IA, filtri e istruzioni possono anche intervenire prima o durante la generazione; resta poi da capire come il servizio esamina una risposta segnalata. Chiedi chi rileva, chi decide, quali elementi vengono conservati e se una persona può riesaminare il caso. Agcom richiama trasparenza e strumenti di segnalazione nel quadro DSA per i servizi interessati, ma non presumere che ogni app o ogni funzione rientri nello stesso percorso. Verifica il meccanismo effettivamente offerto.
Prova il rimedio dalla schermata in cui nasce il problema
Apri una conversazione di prova e trova blocco, segnalazione, esportazione, cancellazione e assistenza. Su una piattaforma umana, controlla se puoi segnalare il singolo messaggio senza perdere il profilo e se il blocco copre nuovi contatti. In un’app IA, verifica se il feedback riguarda quella risposta, la memoria associata o l’intera cronologia. Conserva identificativo, data e conferma, evitando di inviare una conversazione completa quando basta un estratto. Un modulo presente non è ancora un rimedio efficace: osserva ricevuta, stato, motivazione e possibilità concreta di contestare o integrare.
Costruisci una matrice del responsabile per la tua funzione
Crea cinque righe: interlocutore, contenuto, dati, decisione di moderazione e rimedio. Nelle colonne scrivi utente, fornitore, sistema automatico, operatore umano e soggetto esterno. Compila la matrice per una funzione precisa, per esempio chat individuale o condivisione di foto, perché la stessa app può cambiare responsabilità tra aree. Segna anche ciò che non è documentato. Il confronto finale non deve produrre un vincitore astratto: deve mostrare quali rischi puoi ridurre con impostazioni, quali richiedono una risposta del servizio e quali ti fanno rinunciare a quella funzione.
Domande frequenti
Un’app senza utenti umani elimina il rischio di impersonificazione?
Riduce il rischio legato a un profilo umano, ma devi ancora identificare fornitore, funzione generativa, operatori e soggetti che trattano i dati.
La moderazione automatica rende una piattaforma più sicura?
Non da sola. Valuta separatamente rilevamento, decisione, errori, spiegazione, riesame umano e possibilità di ricorso.
Qual è il confronto più utile prima di scegliere?
Scegli una funzione concreta e attribuisci interlocutore, contenuto, dati, moderazione e rimedio a chi li controlla realmente.