L’IA transforme le langage en portraits – Des chercheurs du MIT réussissent à étonner les choses
En 2019, des chercheurs du Massachusetts Institute of Technology (MIT) ont présenté un algorithme qui délivre aujourd’hui des résultats surprenants grâce à l’intelligence artificielle (IA). L’IA utilise un enregistrement vocal pour créer un visage correspondant.
Les résultats ne sont pas encore parfaits, mais dans certains cas déjà sacrément proches du visage d’origine. Une IA s’entraîne à l’aide de vidéos Youtube et d’un algorithme > [– appelé Speech2Face. L’algorithme a été écrit par des scientifiques pour l’IA du Laboratoire d’informatique et d’intelligence artificielle (CSAIL), qui appartient au MIT. Ils ont créé une IA qui transforme les enregistrements vocaux de trois secondes en portraits basés sur des paramètres définis et leur expérience accumulée.</p>\n
De nombreux résultats ressemblent beaucoup à la personne derrière la voix.</p>\n
Comment fonctionne Speech2Face
\nLes chercheurs y sont parvenus en « alimentant » le réseau de neurones artificiels avec des millions de vidéos YouTube. Vidéos de personnes parlant devant la caméra. L’IA a été chargée de trouver des caractéristiques sonores qui peuvent être attribuées à certaines caractéristiques faciales et à d’autres caractéristiques. Sans aide extérieure, l’IA a appris à déduire l’âge, le sexe, l’origine ethnique et plus encore – et à générer des portraits à partir de l’information.
\nLes chercheurs ont également développé un décodeur facial qui reconstruit un portrait frontal à partir d’une image fixe YouTube. Le logiciel le fait indépendamment de l’éclairage et de la pose de la personne photographiée. Ils sont utilisés pour revoir les portraits frontaux créés par Speech2Face. Des résultats impressionnants se rejoignent.
\nÀ l’extrême gauche, vous pouvez voir l’image fixe de Youtube. Au milieu, l’image de test générée à partir de l’image fixe Youtube pour examen. Et à droite, l’image générée uniquement à partir d’un court enregistrement vocal.
\nÀ propos, des enregistrements vocaux plus longs conduisent à un meilleur résultat. Les chercheurs le montrent avec les exemples suivants, qui ont été créés à partir d’extraits audio de trois ou six secondes.
\nÀ l’heure actuelle, l’IA a encore des problèmes avec les voix masculines élevées, qui sont souvent interprétées comme des femmes. De plus, les hommes asiatiques qui parlent l’anglais américain reçoivent des portraits qui ressemblent à des hommes blancs. Si la même personne parle dans sa langue maternelle, l’origine ethnique correcte est attribuée.
\nLes chercheurs espèrent des résultats encore plus précis s’ils fournissent plus de données d’entraînement plus représentatives de l’ensemble de la population mondiale. Ils sont conscients que l’IA est actuellement aux prises avec des préjugés racistes et tentent de remédier à cette situation.
\nQu’en est-il de la protection des données ?
\nMême s’il y a des raisons scientifiques derrière ce projet, des questions sur les abus se posent. Les chercheurs croient que leur système n’est pas en mesure de révéler la véritable identité d’une personne en fonction de la voix. L’IA est entraînée à capturer des caractéristiques basées sur l’entrée vocale que de nombreuses personnes ont en commun. Il en résulte des visages d’apparence moyenne avec des caractéristiques visuelles typiques.
\nReste à savoir si cela restera le cas. Si vous souhaitez écouter comment l’enregistrement vocal original sonne sur une image générée, vous pouvez trouver des exemples here.
\n</a></p></h2></deeplignore></p></deeplignore></p></deeplignore></p></h2></deeplignore>](%22https://arxiv.org/abs/1905.09773)
Le baiser quotidien de la muse stimule ma créativité. Si elle m’oublie, j’essaie de retrouver ma créativité en rêvant pour faire en sorte que mes rêves dévorent ma vie afin que la vie ne dévore mes rêves.