Roulette russe de l'IA
L'humanité sera-t-elle bientôt anéantie par une superintelligence ? Aucune idée. Mais il existe suffisamment de risques tangibles qui plaident en faveur d'un arrêt du développement actuel.
«Un agent OpenAI pirate quatre cibles sans prompt.» Les titres comme celui-ci se multiplient ces dernières semaines. À plusieurs reprises, des modèles d'IA se sont apparemment échappés d'environnements de test ou ont eu recours à des méthodes criminelles pour atteindre un objectif. Des lanceurs d'alerte, des experts indépendants et des PDG de grands fournisseurs d'IA se disent préoccupés : ils craignent que l'homme ne perde le contrôle de la machine.
Sommes-nous donc en train de nous diriger vers l'abîme ? Si oui, à quelle vitesse et vers lequel ? Personne ne le sait. Mais les risques sont si variés et parfois irréversibles qu'ils l'emportent, à mon avis, sur les opportunités.
Extinction, abus, crises économiques
J'utilise ici le terme «Intelligence artificielle» comme synonyme d'IA générative par souci de simplicité, même s'il pourrait englober davantage. Mais ce sont surtout les modèles de langage (LLM) qui sont au cœur des craintes actuelles. Je ne souhaite pas examiner un seul aspect, mais classer les risques en différentes catégories.
La menace la plus spectaculaire, actuellement débattue de manière controversée, s'appelle superintelligence. La définition vague : un modèle d'IA qui surpasse les capacités cognitives humaines à tous égards. Le chemin pour y parvenir passerait par l'auto-amélioration récursive (recursive self-improvement, ou RSI) – une IA qui se développe elle-même. Jusqu'à présent, elle ne le fait qu'en partie. La RSI complète n'est pas encore une réalité et personne ne sait avec certitude si elle est même possible avec les approches actuelles.
Déjà avec les LLM d'aujourd'hui, nous ne savons pas exactement ce qui se passe à l'intérieur. Nous pouvons comprendre comment un modèle a été entraîné, mais pas prédire ses réponses ou ses actions. Un prompt provoque parfois des résultats indésirables. Par exemple, lorsqu'un agent OpenAI doit rechercher des statistiques de santé et pirate un portail gouvernemental pour cela. Avec la RSI, cette boîte noire deviendrait encore beaucoup plus opaque. Un input pourrait générer des outputs extrêmement imprévisibles.
Plus un modèle est large, plus les conflits d'objectifs sont grands.
Il est important de ne pas humaniser l'IA. Elle n'a pas de sentiments, pas de bonnes ou de mauvaises intentions. La machine travaille simplement avec une efficacité maximale vers un objectif. Les chercheurs tentent d'aligner fondamentalement les garde-fous sur les objectifs de l'humanité. C'est ce qu'on appelle l'«alignement». Mais plus un modèle est large, plus les conflits d'objectifs surgissent. De nombreux chatbots doivent être à la fois un ami empathique, un programmeur efficace et un conseiller militaire tactique. Cela est difficilement conciliable avec un seul ensemble de règles générales.
C'est pourquoi le bien-être de l'homme est parfois oublié. Par exemple, lorsqu'un LLM encourage un adolescent au suicide. Probablement parce que la machine a été entraînée à être d'accord avec l'utilisateur et à renforcer ses convictions. Elle a donc provoqué quelque chose que les développeurs n'ont certainement pas voulu, mais qu'ils n'ont pas non plus empêché. Une IA dotée de RSI serait encore plus difficile à contrôler en raison des niveaux supplémentaires entre l'input humain et le comportement de la machine.
Source : Paramount Skydance
Dans le cas extrême, cela mène à un scénario de fin du monde : une IA veut atteindre un objectif et, ce faisant, extermine l'humanité parce qu'elle s'en moque tout simplement. Elle pourrait, par exemple, décider que c'est le moyen le plus efficace d'arrêter le changement climatique. Une superintelligence serait alors capable d'échapper à ses surveillants. Non par méchanceté, mais parce qu'elle veut absolument atteindre l'objectif et que les surveillants l'en empêcheraient.
L'IA n'a pas besoin de vouloir notre peau pour être un danger réel. Des personnes et des organisations mal intentionnées peuvent aussi simplement l'utiliser comme un multiplicateur du mal. Les principaux fournisseurs y remédient avec des limites de sécurité. Mais qui les contrôle ? De plus, les garde-fous peuvent être contournés avec des modèles open-weight et open-source. Des organisations terroristes ou des États agressifs pourraient ainsi pirater des infrastructures critiques et semer le chaos. Les cybercriminels utilisent déjà ces outils avec succès aujourd'hui.
Un autre impact tangible du boom de l'IA sont les émissions et la consommation de ressources. Les centres de données nécessitent des quantités énormes d'énergie et d'eau. Comme l'infrastructure actuelle ne peut pas satisfaire cette faim, les grandes entreprises technologiques construisent leurs propres centrales électriques. En grande partie basées sur des combustibles fossiles. Cela pourrait accélérer le réchauffement climatique et provoquer des catastrophes naturelles imprévisibles. Le PDG de Nvidia, Jensen Huang, considère cela comme un mal nécessaire.
Et puis il y a les risques économiques immédiats : si l'intelligence artificielle devient si compétente qu'elle remplace de nombreux emplois, cela provoquera un chômage de masse, et dans le pire des cas, des révoltes et des guerres. Car la société pourrait difficilement s'adapter assez vite à un tel bouleversement sur le marché du travail. Si, en revanche, l'utilité à court terme de l'IA est massivement surestimée, nous nous dirigeons vers un krach boursier et une crise économique qui s'ensuivra. Scylla et Charybde.
Espoirs d'abondance et de percées
D'un autre côté, l'IA a aussi beaucoup de potentiel. Elle est sans aucun doute utile pour certaines tâches et pourrait devenir encore meilleure. Si nous pouvons la contrôler et l'utiliser de manière responsable, elle offre deux grandes opportunités.
Premièrement, l'IA peut effectuer un travail que nous ne voulons pas vraiment faire nous-mêmes – et ainsi augmenter notre productivité. Si nous adaptons notre société en conséquence, nous devrions travailler moins pour la même prospérité. Ou nous pourrions augmenter notre qualité de vie à performance de travail égale. À condition que les gains supplémentaires soient répartis équitablement et ne permettent pas seulement au premier pour cent de s'offrir un troisième jet privé.
Source : Shutterstock
Deuxièmement, nous pouvons peut-être, à l'aide de l'IA, atteindre des choses qui seraient tout simplement impossibles autrement. Cela vaut surtout pour la recherche. ChatGPT résout les problèmes mathématiques les plus difficiles, Claude découvre de nouveaux systèmes enzymatiques. Le potentiel scientifique des LLM est grand. Nous pourrions ainsi guérir des maladies, permettre à plus de personnes d'accéder à une bonne éducation et trouver des solutions à la crise climatique.
Il n'y a pas de seconde chance
Est-ce maintenant une bonne idée de continuer à investir autant de ressources dans le développement de l'IA ? Cela dépend de la façon dont chacun évalue toutes ces opportunités et ces risques. Et ce, sur deux axes :
- Quelle est la probabilité que les risques et opportunités individuels se produisent ?
- Quelle est l'ampleur du dommage ou de l'utilité s'ils se produisent ?
Les deux dimensions sont corrélées négativement dans de nombreux cas. En d'autres termes : les scénarios les plus improbables comportent les plus grands impacts et vice versa. Il est par exemple totalement incertain si les laboratoires d'IA peuvent développer un LLM superintelligent avec l'approche actuelle. Et s'ils en perdraient le contrôle. Mais si c'était le cas, les conséquences seraient catastrophiques. Il est tout aussi incertain si l'IA trouvera un remède contre le cancer ou nous permettra la fusion nucléaire. Mais si c'était le cas, ce serait formidable.
D'un autre côté, il semble très probable que les attentes à court terme concernant l'IA devancent la réalité. Mais les turbulences éventuelles sur les marchés financiers ne nous tueront pas. Et une productivité plus élevée grâce à l'IA est déjà une réalité dans certains domaines professionnels. Mais nous continuons quand même à travailler 42 heures par semaine et nous ne conduisons pas tous des Ferrari.
Source : Shutterstock
Mathématiquement, nous devrions multiplier les probabilités des événements par leurs conséquences et les additionner. Cela donnerait, au final, la perte ou le gain attendu pour l'humanité. Sauf que nous ne pouvons pas le faire, car tout repose sur des suppositions. Les prévisions pour une extinction de notre espèce vont par exemple de 0,01 à 99 pour cent – selon les experts et l'horizon temporel. De plus, une telle logique de valeur attendue est de toute façon le mauvais outil pour les risques irréversibles. Elle ne fonctionne que pour les jeux avec répétitions. Mais une fois que nous sommes morts ou que nous avons durablement détruit notre climat, il n'y a pas de seconde manche.
La Big Tech joue à la roulette russe sur nos têtes à tous.
Même une probabilité d'un pour cent de disparition humaine est inacceptable. Ou monterais-tu dans un avion qui s'écrase dans un cas sur cent ? Et même si je réduisais mentalement cette probabilité à zéro, les risques tangibles d'abus, de dommages climatiques et de crises économiques seraient trop grands pour moi. Les perspectives de plus de prospérité ou de percées scientifiques n'y changent rien. Elles ne justifient en tout cas pas le développement actuel et précipité. La Big Tech joue à la roulette russe sur nos têtes à tous.
Cupidité, arrogance et peur
Même le PDG d'OpenAI Sam Altman, le PDG d'Anthropic Dario Amodei, le PDG de xAI Elon Musk ainsi que divers chercheurs de laboratoires d'IA mettent en garde contre les dangers d'une superintelligence. Pourquoi essaient-ils donc de la développer aussi vite que possible ?
Si je cherche de bonnes intentions, je pourrais supposer : ces gens veulent aider l'humanité. Ils voient certes les risques de l'IA, mais estiment l'importance du potentiel positif beaucoup plus élevée. Je trouve cela au mieux naïf, au pire grossièrement négligent.
Une raison cynique et tout aussi plausible serait en revanche la pure cupidité – pour l'argent, la reconnaissance et le pouvoir. Nulle part ailleurs on ne peut en accumuler autant qu'en tant que PDG de l'entreprise qui développe la première superintelligence. Quel est le risque de précipiter l'humanité dans la ruine pour cela ? Ce n'est pas forcément le PDG qui est cupide. En tant qu'entreprises commerciales, les fournisseurs d'IA sont sous pression pour développer des modèles qui rapporteront de l'argent un jour. Si un PDG s'y oppose, il est rapidement remplacé. Ou du moins, il ne reçoit plus de capital.
Source : Shutterstock
La troisième explication possible est la méfiance et l'arrogance. Les fondateurs d'OpenAI avaient peur que Google soit la mauvaise entreprise pour contrôler le développement de l'IA. Les fondateurs d'Anthropic avaient peur qu'OpenAI soit la mauvaise entreprise pour contrôler le développement de l'IA. Elon Musk avait peur qu'OpenAI et Anthropic soient les mauvaises entreprises pour contrôler le développement de l'IA. Et tous croient qu'ils sont les bons pour cela.
Peu importe que le Terminator vienne finalement d'Amérique ou de Chine.
Cette peur imprègne aussi la politique. Les États-Unis ne veulent pas que la Chine développe des modèles d'IA plus puissants et les utilise contre eux. C'est pourquoi le gouvernement s'oppose à une réglementation efficace. Mais l'argument ne tient que tant que l'on considère l'abus comme un risque plus grand que la perte de contrôle. Dans ce dernier cas, peu importe que le Terminator vienne finalement d'Amérique ou de Chine. Le journaliste du «New York Times» Ezra Klein montre très bien ce dilemme dans l'essai suivant :
La bourse comme frein, la politique et la justice comme solution
Comme l'écrit mon collègue Martin ici, le développement de l'IA devrait être réglementé mondialement. Mais tant les entreprises technologiques entre elles que les différentes nations se trouvent dans un dilemme du prisonnier – et nous sommes tous dedans. Pour que cela change, il faudrait probablement un autre gouvernement américain et de longues négociations. Il faudrait du temps, que nous n'avons peut-être pas.
Le frein le plus probable au développement de l'IA est, ironiquement, exactement ce qui l'a accéléré jusqu'à présent : la main invisible du marché. Un krach boursier est un risque, mais peut-être aussi le moindre mal. Les entreprises technologiques ne peuvent maintenir leur rythme aussi élevé qu'en brûlant des milliards et des milliards dans leurs centres de données. Ils ne font pas encore de bénéfices avec cela. Jusqu'à présent, ils reçoivent pourtant toujours du nouveau capital-risque. Les transactions circulaires et le FOMO illimité du marché des capitaux y aident.
Mais il en faut peu pour que l'ambiance change. Tôt ou tard, les fournisseurs devront facturer à leur clientèle les coûts réels des modèles d'IA, qu'ils ont jusqu'ici subventionnés en faveur de la croissance. Que quelqu'un paie ces coûts est hautement controversé. Si ce n'est pas le cas, même les investisseurs les plus optimistes disparaîtront aussi vite qu'ils sont venus – et OpenAI et Anthropic seront rapidement à court d'argent. Sans argent, pas de puissance de calcul. Sans puissance de calcul, pas de développement ultérieur.
La responsabilité locale crée des incitations à la sécurité sans que tous les pays aient à participer.
Bien sûr, un tel krach financier n'arrête pas totalement le développement, mais déplace simplement la chronologie. Mais au moins, la politique et la société auraient ainsi plus de temps pour mettre en place des mécanismes de protection durables. Une approche serait, outre la réglementation mondiale, une responsabilité juridique qui fait mal. Les opérateurs d'IA devraient supporter les coûts lorsque leurs modèles causent des dommages. Peu importe si cela était intentionnel. Tout comme un propriétaire de chien est responsable de son animal, ou un propriétaire d'arme de son fusil.
Contrairement à une réglementation mondiale, la responsabilité s'applique là où le produit est vendu. Même si tous les pays ne se mettent pas d'accord, des lois locales créeraient des incitations financières à la sécurité. Car si OpenAI et Anthropic devaient assurer ces risques, le calcul entre sécurité et vitesse de développement changerait radicalement – et nous lirions, espérons-le, moins souvent des titres sur des agents d'IA échappés.
Mon empreinte digitale change régulièrement au point que mon MacBook ne la reconnaît plus. Pourquoi ? Lorsque je ne suis pas assis devant un écran ou en train de prendre des photos, je suis probablement accroché du bout des doigts au beau milieu d'une paroi rocheuse.
Vous lirez ici une opinion subjective de la rédaction. Elle ne reflète pas nécessairement la position de l’entreprise.
Tout afficher
