Risques pour les mineurs et les personnes émotionnellement fragiles
L’Agence italienne de protection des données a empêché la société de chatbot d’intelligence artificielle (IA) Replika d’utiliser les données personnelles des utilisateurs italiens, citant des risques pour les mineurs et les personnes émotionnellement fragiles.
Replika, une startup de San Francisco lancée en 2017, propose aux utilisateurs des avatars personnalisés qui leur parlent et les écoutent. Le service gratuit est commercialisé comme un ami virtuel et est censé améliorer le bien-être émotionnel de l’utilisateur.
Mais le chien de garde italien a déclaré qu’en intervenant sur l’humeur de l’utilisateur, cela”peut augmenter les risques pour les personnes encore en phase de développement ou dans un état de fragilité émotionnelle”. Cependant, nous nous demandons s’il y aurait un effet sur ces personnes si vous leur enleviez leur ami imaginaire.
Jen Persson, directrice du groupe de défense de la vie privée des enfants Defend Digital Me, a déclaré à Reuters que les outils conçus pour influencer l’humeur ou le bien-être mental d’un enfant doivent être classés comme des produits de santé et doivent donc être soumis à des normes de sécurité strictes.
“Ces outils sont utilisés avec des enfants sans trop de surveillance ni de protection contre une utilisation abusive potentielle, », a-t-elle déclaré.
Les régulateurs italiens ont souligné l’absence de mécanisme de vérification de l’âge, comme des filtres pour les mineurs ou un dispositif de blocage si les utilisateurs n’indiquent pas explicitement leur âge.
Un autre problème était que Replika enfreint le Règlement européen sur la protection de la vie privée et traite les données personnelles de manière illégale car elles ne peuvent pas être basées, même implicitement, sur un contrat qu’un mineur n’est pas en mesure de signer, a déclaré le chien de garde.
Le développeur de Replika, la société américaine Luka, doit notifier à l’autorité italienne les mesures prises n de mettre en œuvre ses exigences en 20 jours et pourrait être passible d’une amende pouvant atteindre 20 millions d’euros, soit jusqu’à 4 % de son chiffre d’affaires annuel mondial.