Comment neutraliser secrètement les IA vocales

Spektrum der Wissenschaft

9/3/2020

Traduction: traduction automatique

Photos: Thomas Kunz

Les IA vocales actuelles comprennent étonnamment bien les textes courts. Mais un nouveau logiciel les met en porte-à-faux en réécrivant des phrases de manière imperceptible pour nous.

Même les IA linguistiques les plus performantes du moment semblent pouvoir être induites en erreur, simplement en remplaçant un ou deux mots d'une phrase par des mots de même sens. Un lecteur humain ne remarquerait pas cette manipulation. En revanche, l'ordinateur interprète soudain la phrase de manière très différente de ce qu'il faisait auparavant.

Une telle "attaque" contre le système d'IA fonctionne même si l'on ne sait rien du fonctionnement interne du logiciel de traitement de la parole. C'est pourquoi elle pourrait théoriquement être exploitée par des pirates pour paralyser une IA. Le traitement d'images s'est déjà avéré vulnérable de la même manière : une manipulation de pixels individuels, imperceptible à l'œil nu, conduit l'ordinateur à analyser soudain l'image de manière totalement erronée.

Des chercheurs dirigés par Di Jin du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT décrivent dans un article sur "arXiv" la manière de déjouer le traitement de texte. Ils ont programmé un logiciel pour identifier d'abord les mots de la phrase qui sont les plus importants pour l'interprétation. Pour ce faire, ils ont répété la phrase à la même IA, mais en omettant toujours certains mots. L'étape suivante consistait à remplacer les éléments qui modifiaient le plus le résultat par des synonymes. L'ordinateur a alors essayé toutes les alternatives possibles jusqu'à ce qu'il en trouve une qui fasse trébucher l'IA d'origine.

Les chercheurs ont testé leur méthode sur plusieurs IA vocales actuelles, dont le système BERT développé par Google : celui-ci a révolutionné le domaine en 2018 et constitue depuis la base de nombreux programmes expérimentaux de traitement automatique du langage. Le logiciel, appelé TextFooler et disponible gratuitement, offre toutefois la possibilité d'améliorer la prochaine génération d'IA vocales - il faudrait pour cela ajouter une étape à la procédure d'apprentissage afin de réduire la sensibilité à une telle attaque par synonymes.

Spektrum der Wissenschaft

Nous sommes partenaires de Spectre des Sciences et souhaitons vous rendre plus accessible des informations fondées. Suivez Spectre des Sciences si vous aimez ses articles.

Spektrum der Wissenschaft

Wissenschaft aus erster Hand

dirdjaja@spektrum.de

Des experts de la science et de la recherche rendent compte des dernières découvertes dans leur domaine – de manière compétente, authentique et compréhensible.

Suivre

---

Informatique

Suivez les thèmes et restez informé dans les domaines qui vous intéressent.

Suivre

Ces articles pourraient aussi vous intéresser