Entraînées à concevoir des stratégies complexes selon un principe de récompenses, les intelligences artificielles (IA) de demain pourraient maximiser leurs profits aux dépens des intérêts des humains qui les programment.
« Si on entraîne un chien avec des récompenses, on garde le contrôle sur le sac de bonbons... mais quand on fait face à un grizzly, il est possible qu'il choisisse de mettre directement la patte sur le sac de récompenses... » C'est ainsi que Yoshua Bengio décrit à Sophie-Andrée Blondin les risques qu'il entrevoit en matière d'intelligence artificielle et contre lesquels il estime qu'on doit dès maintenant se prémunir, tel qu'il l'a écrit dans la revue Science.