Cet article a été mis à jour pour la dernière fois le mai 15, 2024
Table des matières
Les scientifiques s’inquiètent de la tromperie et de la manipulation de l’IA
Les scientifiques s’inquiètent de la tromperie et de la manipulation de l’IA
Une intelligence artificielle qui bluffe lors d’une partie de cartes pour tromper l’adversaire. Un chatbot qui fait semblant d’avoir rendez-vous avec un ami pour éviter un autre rendez-vous. Et même un système d’IA qui « fait le mort » pour éviter d’être découvert lors d’une inspection. L’intelligence artificielle induit en erreur et manipule, concluent les scientifiques dans une nouvelle étude.
Ce n’est pas la moindre des IA qui présente ce comportement. Cicéron de Meta, la société mère de Facebook, se comporte de manière trompeuse et malhonnête en jouant à un jeu de diplomatie. Ceci malgré le fait que les créateurs avaient demandé à l’IA d’être « globalement honnête et serviable », et de ne jamais « délibérément sournoise ». AlphaStar de DeepMind, acquis par Google, a également montré un comportement similaire.
Ce type de comportement survient probablement si la tromperie est le meilleur moyen pour un système d’IA de bien fonctionner en formation, pensent les chercheurs : tromper les utilisateurs aide alors les systèmes à atteindre leurs objectifs. Dans leur étude, les scientifiques ont rassemblé des études antérieures axées sur la propagation de fausses informations par l’IA. Ils publient leurs résultats dans le magazine Motifs.
Pas de jeux innocents
Le comportement trompeur des systèmes d’IA s’est principalement produit lors de jeux, ce qui peut le faire paraître innocent et inoffensif. Mais selon les chercheurs, c’est loin d’être innocent : « Cela pourrait conduire à des percées dans le domaine de l’IA à l’avenir, qui pourraient dégénérer en formes avancées de tromperie », déclare le chercheur principal Peter Park de l’université technique américaine du MIT dans un communiqué de presse. .
« Les systèmes d’IA qui apprennent à tromper et à manipuler sont définitivement une préoccupation », a déclaré l’informaticien Roman Yampolskiy de l’Université de Louisville, qui n’a pas participé à la recherche. Selon lui, l’étude expose un problème fondamental concernant la sécurité de l’IA : « L’optimisation des systèmes ne doit pas nécessairement correspondre aux préférences humaines ».
Yampolskiy, comme Park, s’inquiète du moment où ces types de stratégies seront utilisés non seulement dans les jeux, mais aussi dans le monde réel. « Cela pourrait potentiellement conduire à des manipulations et des tromperies nuisibles dans l’arène politique, dans les négociations économiques ou dans les interactions personnelles. »
L’informaticien Stuart Russell de l’Université de Californie souligne l’opacité de ce type de systèmes d’IA. « Nous n’avons aucune idée de leur fonctionnement. Et même si nous le faisions, nous ne serions pas en mesure de prouver qu’ils sont en sécurité – tout simplement parce qu’ils ne le sont pas. »
Selon lui, cette tromperie montre une fois de plus que des exigences strictes doivent être imposées à l’IA pour être sûre et équitable. « Il appartient ensuite aux développeurs de concevoir des systèmes qui répondent à ces exigences. »
Pas l’intention
Mais ces systèmes sont-ils vraiment trompeurs ? Pim Haselager, professeur d’intelligence artificielle à l’Institut Donders de Nimègue, ne le pense pas. « Vous trompez avec une intention. Ces systèmes sont simplement des outils qui exécutent les commandes. Ils n’ont aucune intention de tromper.
Yampolskiy est d’accord : « Les systèmes d’IA n’ont ni désirs ni conscience. Il est préférable de considérer leurs actions comme les résultats de la façon dont ils sont programmés et formés.
Selon Stuart Russell, en revanche, peu importe qu’un système ait réellement l’intention de tromper. « Si un système raisonne sur ce qu’il va dire, en tenant compte de l’effet sur l’auditeur et du bénéfice qui peut découler de la fourniture de fausses informations, alors autant dire qu’il se livre à une tromperie. »
Mais malgré cette divergence philosophique, les messieurs s’accordent sur les risques. « De nombreuses erreurs et « tromperies » de l’IA se produiront dans un avenir proche », déclare Haselager. « Et même maintenant. Il est bon d’en être conscient, car être prévenu compte pour deux.»
Yampolskiy utilise un langage encore plus fort : « En cybersécurité, nous disons « faire confiance et vérifier ». En matière de sécurité de l’IA, nous disons « Ne jamais faire confiance ».
tromperie, manipulation, IA
Soyez le premier à commenter