Come escludere segretamente le IA vocali

Spektrum der Wissenschaft

9.3.2020

Traduzione: tradotto automaticamente

Immagini: Thomas Kunz

Le attuali IA linguistiche capiscono sorprendentemente bene i testi brevi. Tuttavia, un nuovo software le sta portando sul sentiero del giardino, riscrivendo impercettibilmente le frasi per noi.

Anche le migliori IA linguistiche del momento possono apparentemente essere ingannate semplicemente sostituendo una o due parole in una frase con altre che hanno lo stesso significato. Un lettore umano non noterebbe questa manipolazione. Il computer, invece, interpreta improvvisamente la frase in modo completamente diverso rispetto a prima.

Un simile "attacco" al sistema di intelligenza artificiale funziona anche se non si conosce nulla del funzionamento interno del software di elaborazione del linguaggio. In teoria, quindi, potrebbe essere sfruttato dagli hacker per paralizzare un'IA. L'elaborazione delle immagini si è già dimostrata altrettanto vulnerabile: una manipolazione di singoli pixel impercettibile a occhio nudo fa sì che il computer analizzi improvvisamente l'immagine in modo del tutto errato.

I ricercatori guidati dal team di esperti di informatica hanno dimostrato che l'intelligenza artificiale funziona anche se non si conosce il funzionamento interno del software di elaborazione del linguaggio.

I ricercatori guidati da Di Jin del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT descrivono come l'elaborazione del testo possa essere bypassata in un articolo su "arXiv". Hanno programmato un software per identificare innanzitutto le parole della frase più importanti per l'interpretazione. Per fare ciò, hanno dato in pasto la frase alla stessa IA più volte, ma omettendo sempre le singole parole. Nella fase successiva, i componenti per i quali il risultato di output cambiava maggiormente venivano sostituiti con dei sinonimi. Il computer ha provato tutti i possibili candidati alternativi fino a quando non ne ha trovato uno che ha fatto inciampare l'IA originale.

I ricercatori hanno testato il loro metodo.

I ricercatori hanno testato il loro metodo su diverse IA linguistiche attuali, tra cui il sistema BERT sviluppato da Google: questo ha rivoluzionato il settore nel 2018 e da allora ha costituito la base di numerosi programmi sperimentali per l'elaborazione del linguaggio automatico. Tuttavia, il software liberamente disponibile chiamato TextFooler offre anche l'opportunità di migliorare la prossima generazione di IA linguistiche: il processo di apprendimento dovrebbe essere ampliato con un passaggio che riduca la sensibilità a tale attacco con i sinonimi.

Spettro della scienza

Siamo partner di Spektrum der Wissenschaft e vogliamo rendere le informazioni fondate più accessibili a te. Segui Spektrum der Wissenschaft se ti piacciono gli articoli.

Spektrum der Wissenschaft

Wissenschaft aus erster Hand

dirdjaja@spektrum.de

Gli esperti della scienza e della ricerca riferiscono sulle ultime scoperte nei loro campi – competenti, autentiche e comprensibili.

Segui

---

Informatica

Segui gli argomenti e ricevi gli aggiornamenti settimanali relativi ai tuoi interessi.

Segui argomento

Potrebbero interessarti anche questi articoli