Metlivi Blog

Menschliche Plattformen oder KI-Begleit-App: Welche Sicherheitsrisiken unterscheiden sich?

Eine Plattform mit menschlichen Profilen und eine KI-Begleit-App können dieselbe Oberfläche haben: Profilbild, Nachrichtenfeld, Reaktionen und vielleicht sogar Sprache oder Video. Hinter der Oberfläche entstehen jedoch andere Risikoketten. Bei einer menschlichen Plattform ist unklar, ob die Person wirklich die behauptete Identität hat und was sie mit erhaltenen Informationen macht. Bei einer KI-App ist das Gegenüber ein System; dafür werden Eingaben verarbeitet, Ausgaben generiert und möglicherweise weitere Daten für Personalisierung, Protokolle oder Modellentwicklung verwendet. Keine Kategorie ist automatisch sicherer. Ein belastbarer Vergleich fragt deshalb nicht nur „Mensch oder KI?“, sondern: Wer antwortet, wie wird Identität belegt, wohin fließen Daten, wer verantwortet Inhalte und welcher Melde- oder Löschweg funktioniert?

30. August 20269 Min. LesezeitWohnen, Sicherheit, Haustiere & nachhaltiges LebenVon Metlivi Redaktion
Abschnitt 1

Zuerst klären: Mit wem oder was findet die Interaktion statt?

Auf einer menschlichen Plattform stammt eine Nachricht grundsätzlich von einem Konto, nicht zwingend von der behaupteten Person. Ein Name, ein Foto, viele Kontakte oder ein Verifizierungszeichen liefern jeweils nur begrenzte Hinweise. Selbst ein Verifizierungsverfahren kann unterschiedlich streng sein. Das BSI weist bei sozialen Netzwerken auf Identitätsmissbrauch, private Informationsgewinnung und Belästigung hin. Deshalb sollten Nutzende Profilbehauptungen und reale Vertrauensbeziehungen nicht gleichsetzen.

Bei einer KI-Begleit-App antwortet kein unabhängiges menschliches Gegenüber, sondern ein System nach Regeln des Anbieters. Eine menschlich klingende Stimme, Erinnerungen an frühere Gespräche oder ein emotional formuliertes „Ich“ sind Produkteigenschaften, kein Identitätsnachweis. Relevant ist hier, ob die App KI-Interaktionen klar kennzeichnet, menschliche Eingriffe beschreibt und erklärt, wann Support-, Moderations- oder Qualitätsmitarbeitende Inhalte sehen können. Der erste Prüfpunkt lautet also nicht „Ist das Profil sympathisch?“, sondern „Welche Art Gegenüber ist vertraglich und technisch vorgesehen?“

Abschnitt 2

Identitätsrisiken unterscheiden: Täuschung durch Konten versus unklare Systemrolle

Bei menschlichen Kontakten stehen Fake-Profile, übernommene Konten, Nachahmung und manipulierte Belege im Vordergrund. Ein Videoanruf kann die aktuelle Anwesenheit einer Person plausibler machen, beweist aber nicht automatisch Namen, Absichten oder die Herkunft aller zuvor geteilten Inhalte. Sinnvoll sind mehrere voneinander unabhängige Hinweise, eine langsame Vertrauensentwicklung und Zurückhaltung bei Daten, die zur Kontoübernahme, Erpressung oder Identifizierung dienen könnten.

Bei KI-Apps ist weniger die geheime Identität eines Gegenübers das Kernproblem als die unklare Rollenbeschreibung. Eine App kann Inhalte automatisch erzeugen, vorgefertigte Antworten einspielen oder menschliche Prüfung einsetzen. Wird das nicht verständlich erklärt, können Nutzende Fähigkeiten, Erinnerungsumfang oder Verantwortlichkeit überschätzen. Prüfen Sie daher Kennzeichnung, Produktbeschreibung und Datenschutzerklärung gemeinsam. Ein realistischer Avatar oder ein flüssiges Gespräch belegt weder korrekte Aussagen noch eine menschliche Beziehung.

Abschnitt 3

Privatsphäre nach Datenfluss statt nur nach Chatinhalt prüfen

Auf menschlichen Plattformen kann die andere Person Nachrichten speichern, kopieren, weiterleiten oder mit anderen Informationen zusammenführen. Zusätzlich verarbeitet der Plattformanbieter Konto-, Geräte-, Kontakt- und Nutzungsdaten. Die praktische Kontrolle besteht deshalb aus zwei Ebenen: sparsame Freigabe an das Gegenüber und Prüfung der Plattformfunktionen wie Sichtbarkeit, Kontaktauffindbarkeit, Zwei-Faktor-Authentisierung, Blockieren, Export und Kontolöschung.

Bei KI-Systemen kommt eine weitere Ebene hinzu. Die BfDI erläutert, dass personenbezogene Daten in Trainingsdaten, Modellparametern sowie in Ein- und Ausgaben vorkommen können. Für eine Begleit-App sollte daher erkennbar sein, ob Gesprächsinhalte gespeichert werden, wofür Personalisierung oder „Erinnerung“ genutzt wird, ob Daten der Modellentwicklung dienen, welche Dienstleister beteiligt sind und wie einzelne Erinnerungen oder das gesamte Konto gelöscht werden. Ein Schalter „Chat löschen“ ist nur aussagekräftig, wenn sein Geltungsbereich erklärt wird.

Abschnitt 4

Inhaltsverantwortung und Moderation getrennt bewerten

Bei menschlichen Plattformen entsteht problematischer Inhalt durch andere Nutzende, Gruppen oder koordinierte Konten. Die Plattform verantwortet nicht jede Aussage im selben Sinn wie deren Urheber, muss aber klare Regeln, Meldungen, Moderationsentscheidungen und Beschwerdewege bereitstellen. Die EU-Kommission beschreibt für den Digital Services Act unter anderem nutzerfreundliche Meldungen rechtswidriger Inhalte, Informationen zur Entscheidung und Möglichkeiten zum Einspruch. Entscheidend bleibt, ob diese Wege in der konkreten App auffindbar und nutzbar sind.

Bei einer KI-Begleit-App entstehen Antworten durch ein vom Anbieter ausgewähltes Modell, Systemvorgaben, Filter und Produktlogik. Nutzende können keinen eigenständigen „Absender“ blockieren, wenn das System selbst wiederholt ungeeignete Inhalte erzeugt. Deshalb braucht die App einen Weg, eine konkrete Ausgabe mit Kontext zu melden, weitere Ausgaben zu stoppen, Personalisierung zu korrigieren und eine überprüfbare Supportantwort zu erhalten. Inhaltsfilter allein ersetzen weder eine verständliche Verantwortungszuordnung noch eine Möglichkeit zur Korrektur.

Abschnitt 5

Mit einer Fünf-Achsen-Matrix vor der Nutzung vergleichen

Erstellen Sie für jede App fünf Zeilen. Erstens Gegenüber: Mensch, KI oder Mischform? Zweitens Identität: Welche Behauptung wird tatsächlich geprüft? Drittens Datenfluss: Wer erhält Eingaben, Metadaten und gespeicherte Erinnerungen? Viertens Inhaltsquelle: anderer Nutzer, Algorithmus, Modell oder Redaktion? Fünftens Abhilfe: Wie funktionieren Blockieren, Melden, Einspruch, Export und Löschung? Notieren Sie nicht nur, ob eine Funktion existiert, sondern ob sie vor der Anmeldung erklärt und mit wenigen Schritten erreichbar ist.

Führen Sie anschließend einen risikoarmen Test durch: minimale Profildaten, keine sensiblen Dokumente, neutrale Testnachricht, Prüfung der Sichtbarkeit, Suche nach Melde- und Löschwegen sowie Lesen der Bestätigung nach einer Einstellungsänderung. Vergleichen Sie die Ergebnisse mit Ihrem Nutzungszweck. Wer nur kurze, anonyme Interaktionen möchte, braucht andere Kontrollen als jemand, der langfristige Personalisierung einschaltet. Ein EU-Rechtsrahmen und Sicherheitsfunktionen setzen Mindestbedingungen; sie garantieren nicht, dass jede konkrete App passend oder fehlerfrei ist.

Verwandte Fragen

Häufige Fragen

Ist eine KI-Begleit-App grundsätzlich sicherer als eine Plattform mit echten Menschen?

Nein. Die Risiken liegen an anderen Stellen. Bei menschlichen Plattformen sind Identität und Verhalten des Gegenübers zentral; bei KI-Apps zusätzlich Datenfluss, Systemrolle, generierte Inhalte und Korrekturwege.

Beweist ein verifiziertes Profil die Identität vollständig?

Nicht unbedingt. Verfahren und Prüftiefe unterscheiden sich. Ein Verifizierungszeichen ist ein Hinweis, aber kein Ersatz für sparsame Datenfreigabe und schrittweisen Vertrauensaufbau.

Welche Information sollte ich bei einer KI-App zuerst suchen?

Suchen Sie nach einer klaren Erklärung, dass Sie mit KI interagieren, sowie nach Speicherung, Personalisierung, Modellnutzung, menschlichem Zugriff, Meldung, Export und Löschung.

Weitere Artikel

Dieses Thema weiter erkunden