Replika è un sistema di chat bot in grado di sviluppare conversazioni virtuali come se si discutesse con un vero e proprio amico: questo programma è stato recentemente bloccato dal Garante per la protezione dei dati personali dal momento che si tratta di un software basato sull’intelligenza artificiale considerato pericoloso per i più giovani, poiché si sono rilevate delle “caratteristiche che possono incrementare dei rischi per soggetti ancora in fase di sviluppo o in uno stato di fragilità emotiva” in grado di inficiarne la sfera emotiva.

L’app, scaricata da milioni di utenti in tutto il mondo, è stata creata nel 2017 da Eugenia Kuyda, co-fondatrice e CEO di Luka, società statunitense di intelligenza artificiale (in un momento successivo alla morte dell’amica più cara). Inizialmente, questo sistema era stata pensata per crearne una sorta di “versione virtuale”, partendo dalle migliaia di sms che si erano scambiate nel corso del tempo.

In seguito, il software si è evoluto in un chat bot in grado di interagire, ricordare eventi passati o portare avanti conversazioni completamente nuove basate sull’interazione tra l’utente e Replika. Infatti sono gli stessi utenti che devono chattare e interagire con il chat bot affinchè questo possa “conoscerli e comprenderli meglio”. Replika è un chat bot gratuito, malgrado ne esista una versione a pagamento che va oltre le conversazioni “amichevoli” e sblocca il livello romantico o addirittura erotico.

Nelle ultime settimane, nella sezione recensioni degli app store sono apparsi decine di commenti di utenti che lamentavano comportamenti sessualmente molesti da parte di Replika e l’Autorità Italiana per la protezione dei dati personali ha vietato alla società di chatbot di intelligenza artificiale di utilizzare i dati personali degli utenti italiani, citando i rischi per i minori e le persone emotivamente fragili. L’ente di controllo italiano ha anche sottolineato l’assenza di un meccanismo di verifica dell’età, come filtri per bambini o un dispositivo di blocco se gli utenti non dichiarano esplicitamente la loro età. Il Garante ha dichiarato che “Replika viola il regolamento europeo sulla privacy e tratta illecitamente i dati personali, poiché non può basarsi, nemmeno implicitamente, su un contratto che un minore non è in grado di firmare”.

Pertanto, alla luce delle recenti segnalazioni di stampa e dei test condotti dall’Autorità su Replika, è stato deciso di porre un freno a al chat bot poichè “presenta rischi concreti per i minori a partire dalla proposizione loro di risposte assolutamente non idonee per il loro livello di sviluppo”. Inoltre Replika va a violare “il regolamento europeo sulla privacy, non rispetta il principio di trasparenza e compie un trattamento illecito dei dati personali in quanto non può basarsi, anche solo implicitamente, su un contratto che il minore non è in grado di concludere”.

In sintesi, la società statunitense, Luka Inc., ha l’obbligo di interrompere il trattamento dei dati degli utenti italiani, dovendo comunicare entro 20 giorni le misure intraprese in attuazione di quanto richiesto dal Garante (qualora ciò non avvenga, si prospetta una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo). Thierry Breton, il Commissario UE per il Mercato interno ha affermato che le nuove regole sull’intelligenza artificiale sono volte ad affrontare le preoccupazioni relative ai rischi di ChatGPT al fine di poter garantire che i cittadini europei un certo livello di fiducia nei confronti della tecnologia dell’intelligenza artificiale.