Apple e la lotta alla pedopornografia

In questi giorni si sta molto parlando dell’intenzione di Apple di abilitare un sistema basato su intelligenza artificiale per identificare lo scambio o la detenzione di materiale pedopornografico da parte dei propri utenti. Naturalmente, la notizia ha destato reazioni avverse e probabilmente non tutte sono “esagerate”.

Photo by Claudio Schwarz on Unsplash

Due approcci

Intanto diciamo subito che il sistema non è ancora stato implementato e che tutto quello che sappiamo si basa su una serie di informazioni che Apple ha comunicato ufficialmente. Stando alle informazioni, gli approcci saranno due: un sistema che controllerà le fotografie scambiate da minori attraverso iMessage ed un sistema di controllo delle foto memorizzate su iCloud ma solo nel caso che l’utente abbia abilitato l’opzione di copia delle foto dal proprio rullino verso quello di iCloud, per cui sono esclusi tutti gli altri dati eventualmente memorizzati in iCloud compresi, quindi, i backup che potenzialmente costituiscono la copia completa delle informazioni contenute nei dispositivi degli utenti.

iMessage

Nel caso di iMessage il controllo verrà attuato solo se il possessore del dispositivo è un minore. In questo caso se l’immagine ricevuta o inviata dovesse essere ritenuta malevola verrebbero avvertiti i genitori e il minore stesso ma nel caso questi abbia fino a 12 anni, in caso di età superiore ai 12 anni, verrebbe avvertito solo il minore.

Il controllo verrà fatto impiegano una rete neurale il cui training è stato fatto attraverso l’analisi di fotografie classificate come CSAM (Child Sexual Abuse Material). La scansione verrà fatta direttamente sul dispositivo dell’utente prima dell’invio del messaggio o prima della sua visualizzazione nel caso di ricezione.

iCloud

In questo caso Apple eseguirà una scansione delle fotografie che gli utenti avranno salvato su iCloud usando l’opzione “Foto di iCloud” che permette di caricare automaticamente le foto del rullino nel cloud di Apple. Nel caso la scansione rilevi foto sospette la procedura prevede che venga fatta una segnalazione ad un operatore umano che avrà il compito di controllare la segnalazione e, in caso il controllo dia esito positivo, provvederà a bloccare l’account e a segnalare l’utente alle autorità competenti.

Anche in questo caso la scansione automatica verrà fatta con l’ausilio di una rete neurale il cui training è stato fatto con le fotografie precedentemente classificate come CSAM.

Per concludere:

• non verranno fatti controlli su altri file che non sono siano le foto di iCloud o quelle inviate via iMessage. Per evitare che le foto caricate su iCloud vengano controllate è necessario disabilitare l’opzione “Foto di iCloud”. Doveroso aggiungere che in un paese come l’Italia nel quale iMessage viene utilizzato da un numero limitato di persone, il sistema non avrebbe un grande effetto di controllo
• da dire che non verranno analizzate le fotografie ma un hash delle stesse. Questo hash verrà poi confrontato con quello delle fotografie classificate come CSAM e solo nel caso di confronto positivo fra i due hash scatterà il workflow di controllo e denuncia alle autorità competenti. Questo sistema è noto come NeuralHash ed è documentato da Apple stessa
• al momento questi controlli verranno fatti solo negli Stati Uniti

Tutto a posto, quindi?

Beh magari non proprio tutto… lodevole l’iniziativa di Apple per combattere un fenomeno così diffuso e così negativo ma rimangono due incognite:

• falsi positivi. Quanti saranno e come evitare che gente si veda bloccato il proprio account o ancora peggio venga denunciata per aver scattato delle foto del tutto lecite e che sono state riconosciute come “malevoli” dal sistema? Altri sistema di riconoscimento di questo genere di immagini hanno dimostrato generare un elevato numero di falsi positivi, il controllo fatto da Instagram, per esempio, marca come malevoli un gran numero di fotografie che si rivelano essere del tutto lecite.
• backdoor: di fatto Apple ne sta creando una per permettere ad un sistema automatico di “farsi un giro” fra i nostri dati: siamo sicuri che un giorno qualcuno (ma anche Apple stessa) non la usi per altri scopi?

EDIT Viste le “proteste” Apple ha deciso di rimandare l’adozione del sistema. EFF, inoltre, ha chiesto ad Apple di abbandonarne definitivamente l’adozione.