Pour le contrôle des algorithmes

Cathy O’Neil, mathé­ma­ti­cienne diplô­mée de Har­vard et post-doc au Mas­sa­chu­setts Ins­ti­tute of Tech­no­lo­gy — MIT, a été l’une des pre­mières à sou­li­gner que notre nou­vel empe­reur est nu. Un algo­rithme (ou la célèbre Intel­li­gence Arti­fi­cielle, qui “n’est rien d’autre qu’un terme mar­ke­ting pour les algo­rithmes”) est aus­si sexiste, raciste ou dis­cri­mi­na­toire que celui qui le conçoit. Mal pro­gram­més, ils peuvent deve­nir des armes de des­truc­tion mathé­ma­tique (Cap­tain Swing), comme elle le décrit dans son livre sur le dan­ger qu’ils repré­sentent pour la démocratie.

Affir­mez-vous qu’il existe une dif­fé­rence entre ce que les gens pensent être un algo­rithme et ce qu’est réel­le­ment un algo­rithme. Lequel des deux est-ce ?

Les gens consi­dèrent un algo­rithme comme une méthode per­met­tant d’es­sayer de par­ve­nir à une véri­té objec­tive. Nous avons déve­lop­pé une foi aveugle en eux parce que nous pen­sons qu’il y a une auto­ri­té scien­ti­fique der­rière eux.

En réa­li­té, un algo­rithme est une chose stu­pide, essen­tiel­le­ment un sys­tème de pro­fi­lage démo­gra­phique géné­ré à par­tir du big data. Il déter­mine si vous êtes un client qui paye ou évo­lue si vous êtes un poten­tiel ache­teur d’une mai­son en se basant sur les indices que vous avez lais­sés, comme votre classe sociale, votre richesse, votre race ou votre ori­gine ethnique.

Qu’est-ce qu’une arme de des­truc­tion mathématique ?

C’est un algo­rithme majeur, secret et des­truc­teur. Injuste pour les per­sonnes qu’il évalue.

Il s’a­git géné­ra­le­ment d’un sys­tème de nota­tion. Si vous obte­nez un score suf­fi­sam­ment éle­vé, une option vous est pro­po­sée, mais si vous ne l’ob­te­nez pas, vous êtes refu­sé. Il peut s’a­gir d’un emploi ou d’une admis­sion à l’u­ni­ver­si­té, d’une carte de cré­dit ou d’une police d’as­su­rance. L’al­go­rithme vous attri­bue un score de manière secrète, vous ne pou­vez pas le com­prendre, vous ne pou­vez pas faire appel. Il uti­lise une méthode de prise de déci­sion injuste.

Cepen­dant, non seule­ment c’est injuste pour l’in­di­vi­du, mais ce sys­tème de déci­sion est géné­ra­le­ment des­truc­teur pour la socié­té éga­le­ment. Avec les algo­rithmes, nous essayons de trans­cen­der les pré­ju­gés humains, nous essayons de mettre en œuvre un outil scien­ti­fique. S’ils échouent, ils font entrer la socié­té dans une boucle des­truc­trice, car ils accroissent pro­gres­si­ve­ment les inégalités.

Mais cela peut aus­si être quelque chose de plus pré­cis. Il pour­rait s’a­gir d’un algo­rithme per­met­tant de déci­der qui béné­fi­cie d’une pro­ba­tion raciste, d’un algo­rithme déter­mi­nant les quar­tiers les plus sur­veillés en fonc­tion de la pré­sence de minorités…

Qui devons-nous tenir pour res­pon­sable lors­qu’un algo­rithme est injuste ?

C’est une bonne ques­tion. La semaine der­nière, on a appris qu’Ama­zon avait un algo­rithme de recru­te­ment sexiste. Chaque fois que quelque chose comme ça arrive, les entre­prises sont cho­quées, toute la com­mu­nau­té tech­no­lo­gique est cho­quée. C’est vrai­ment une fausse réac­tion, il y a des exemples d’al­go­rithmes dis­cri­mi­na­toires partout.

S’ils admet­taient que les algo­rithmes sont impar­faits et peuvent poten­tiel­le­ment être racistes ou sexistes, illé­gaux, ils devraient alors abor­der ce pro­blème pour tous les algo­rithmes qu’ils uti­lisent. S’ils pré­tendent que per­sonne ne sait rien, ils peuvent conti­nuer à pro­mul­guer cette foi aveugle dans les algo­rithmes, qu’ils n’ont pas vrai­ment, mais qu’ils savent que le reste du public possède.

C’est pour­quoi j’ai écrit ce livre, pour que les gens ne soient plus inti­mi­dés par les modèles mathé­ma­tiques. Vous n’a­vez pas à aban­don­ner l’au­to­ma­ti­sa­tion ou à ces­ser de faire confiance aux algo­rithmes, mais vous devez les tenir pour res­pon­sables. Sur­tout lors­qu’ils opèrent dans un domaine où il n’existe pas de défi­ni­tion claire de ce qu’est le “suc­cès”. C’est le genre d’al­go­rithme qui m’in­quiète. Celui qui contrôle l’al­go­rithme contrôle la défi­ni­tion du suc­cès. Les algo­rithmes fonc­tionnent tou­jours bien pour les per­sonnes qui les conçoivent, mais nous ne savons pas s’ils fonc­tionnent bien pour les per­sonnes visées par ces algo­rithmes. Ils peuvent être ter­ri­ble­ment injustes envers eux.

La pro­chaine révo­lu­tion poli­tique consis­te­ra-t-elle à contrô­ler les algorithmes ?

Dans un sens, oui. Je pense que les algo­rithmes rem­pla­ce­ront tous les pro­ces­sus bureau­cra­tiques humains parce qu’ils sont moins chers, plus faciles à entre­te­nir et beau­coup plus faciles à contrô­ler. Donc, oui : la ques­tion de savoir qui a le contrôle est liée à qui déploie cet algo­rithme. J’es­père que nous aurons un contrôle res­pon­sable sur eux.

Mais si vous regar­dez un endroit comme la Chine, où il existe des sys­tèmes de nota­tion sociale qui sont des ten­ta­tives expli­cites de contrô­ler les citoyens, je ne suis pas très opti­miste quant à la pos­si­bi­li­té pour les citoyens chi­nois de pos­sé­der ces algo­rithmes. Dans ces cas, nous par­lons d’une dys­to­pie, d’une socié­té de sur­veillance où le gou­ver­ne­ment contrôle les citoyens avec des algo­rithmes, comme d’une menace réelle. C’est quelque chose qui peut arriver.

Pour l’ins­tant, le pou­voir poli­tique n’a pas fait grand-chose pour amé­lio­rer la trans­pa­rence des algorithmes.

Oui, c’est un vrai pro­blème. Les poli­ti­ciens pensent qu’à par­tir de leur posi­tion, ils auront en main le contrôle des algo­rithmes, donc ils ne veulent pas aban­don­ner ce pou­voir, même si c’est mau­vais pour la démocratie.

C’est une consi­dé­ra­tion très sérieuse. Comme je le dis dans le livre, Oba­ma était ado­ré par la gauche pour son uti­li­sa­tion du big data pour aug­men­ter les dons ou amé­lio­rer la seg­men­ta­tion des mes­sages. Mais il s’a­gis­sait d’un pré­cé­dent très dan­ge­reux : lors des der­nières élec­tions, nous avons vu com­ment la cam­pagne de Trump a réus­si à sup­pri­mer le vote des Afro-Amé­ri­cains grâce à cette même seg­men­ta­tion des mes­sages par les algo­rithmes de Facebook.

Vous avez publié votre livre en 2016. Est-ce que quelque chose a chan­gé depuis ?

Lorsque j’ai écrit le livre, je ne connais­sais per­sonne qui se pré­oc­cu­pait de cette ques­tion. Cela a chan­gé. Je reviens de Bar­ce­lone, où j’ai vu 300 per­sonnes, prin­ci­pa­le­ment des jeunes, pré­oc­cu­pées par cette ques­tion. C’est un phé­no­mène émergent dans le monde entier, les gens com­mencent à voir les dégâts, le mal qui est là. La plu­part de ces dom­mages algo­rith­miques ne sont pas vus, ils ne sont pas visibles. Le fait que les gens soient plus conscients signi­fie que nous pou­vons espé­rer qu’il y aura une demande pour que les algo­rithmes soient tenus res­pon­sables. J’es­père que ça arrivera.