Les algorithmes, c’est politique

Nous vivons entou­rés d’al­go­rithmes. Des gad­gets tech­no­lo­giques abs­traits qui ont encore des consé­quences bien réelles pour les tra­vailleurs, comme la volon­té de nous iden­ti­fier grâce à de futures camé­ras de recon­nais­sance faciale en plein cœur de Bar­ce­lone.

Mal­gré les risques de la tech­no­lo­gie, nous assis­tons à un faux récit qui asso­cie le pro­grès tech­no­lo­gique au pro­grès social et tente de nous convaincre qu’un code infor­ma­tique sera plus objec­tif lors­qu’il s’a­gi­ra de résoudre ce qui était aupa­ra­vant déci­dé par d’autres moyens. Mal­gré cela, depuis le groupe tech­no­lo­gique de Semi­na­ri Tai­fa, dédié à l’é­tude du capi­ta­lisme numé­rique, nous défen­dons que ce qui affecte la vie des gens est poli­tique, que ce soit la loi ou le code.

Bref, qu’est-ce qu’un algo­rithme ? Il s’a­git d’une liste d’ins­truc­tions finies, struc­tu­rées, séquen­tielles et hau­te­ment spé­ci­fiques. Ou, comme le veut la méta­phore, une recette, éga­le­ment de nature ana­lo­gique. Dans notre réa­li­té pan­dé­mique, le triage dans les urgences médi­cales suit un pro­to­cole qui peut être assi­mi­lé à un algo­rithme. En mathé­ma­tiques, ils sont cou­rant dans des opé­ra­tions comme la mul­ti­pli­ca­tion ou la divi­sion, mais c’est avec la numé­ri­sa­tion qu’ils ont connu un véri­table âge d’or, grâce à l’é­mer­gence des algo­rithmes d’ap­pren­tis­sage auto­ma­tique. Cette tech­no­lo­gie, appe­lée appren­tis­sage auto­ma­tique, n’est rien d’autre qu’un sys­tème per­met­tant d’op­ti­mi­ser un cer­tain résul­tat dans d’autres algo­rithmes sans néces­si­ter de super­vi­sion humaine.

Mais qui décide du résul­tat à opti­mi­ser et qui accepte les consé­quences qui peuvent résul­ter de l’ob­ten­tion de ce résul­tat dans un sys­tème com­plexe ? Il est inévi­table d’a­na­ly­ser cette tech­no­lo­gie en termes d’i­né­ga­li­té. Pas tant en tant que cause, mais en tant que per­pé­tui­té. L’al­go­rithme de Glo­vo, par exemple, est conçu pour favo­ri­ser les plus-values de l’en­tre­prise et non celle des lec­teurs. La ver­sion numé­rique de l’exploitation.

Comme Judith Mem­brives l’a décla­ré dans le débat Algo­rit­mos ses­ga­dos du CVC et comme Adam Green­field l’af­firme éga­le­ment dans son livre Radi­cal Tech­no­lo­gies, nous par­lons d’une par­tie qui impose ses règles à l’autre sans que la par­tie domi­née en soit néces­sai­re­ment consciente. Un cadre numé­rique de domi­na­tion qui, der­rière la rhé­to­rique de la fausse objec­ti­vi­té et de l’op­ti­mi­sa­tion, agit comme un voile qui cache les rela­tions sociales d’ex­ploi­ta­tion (et qui peut même en créer de nou­velles), deve­nant sou­vent un bouc émis­saire du fait que les res­pon­sables de l’ex­ploi­ta­tion ne sont pas tenus res­pon­sables. Blâ­mer l’al­go­rithme c’est idéal : les varia­tions sont dif­fi­ciles à véri­fier, et l’al­go­rithme n’est pas phy­sique et ne per­met donc pas la pression.

Mais com­ment un algo­rithme crée-t-il exac­te­ment des inéga­li­tés ? Ses déci­sions dis­cri­mi­na­toires peuvent pro­ve­nir des éven­tuels biais de genre, de race ou de classe inhé­rents à tout code ou à tout ensemble de don­nées uti­li­sé pour l’en­traî­ner. Dans tous les cas, que ce soit par igno­rance ou par inté­rêt, le pou­voir de domi­na­tion des algo­rithmes com­mence bien plus tôt, lorsque la déci­sion de les uti­li­ser est prise. Selon Rachel Tho­mas, citant Arvind Naraya­nan, pro­fes­seur à Prin­ce­ton, les logi­ciels d’ap­pren­tis­sage auto­ma­tique peuvent être clas­sés en trois groupes.

Per­cep­tion : recherche inverse d’i­mages ou de sons, diag­nos­tics médi­caux, ou encore les hyper­tru­cages média­tiques, appe­lés deep­fakes en anglais. Il y a ici des avan­cées réa­listes et mesu­rables, recon­nues par le monde universitaire.

Recon­nais­sance et clas­si­fi­ca­tion : détec­tion des mes­sages indé­si­rables, des vio­la­tions de la pro­prié­té intel­lec­tuelle, détec­tion des dis­cours hai­neux. Il s’a­git d’une zone grise où il existe des algo­rithmes effi­caces comme ceux de la pre­mière caté­go­rie, mais où il y en a aus­si beau­coup qui sont biai­sés, per­pé­tuant les inégalités.

Pré­vi­sion du déve­lop­pe­ment social : il s’a­git de la caté­go­rie la plus dou­teuse, ouver­te­ment pseu­do-scien­ti­fique, qui tente de détec­ter les risques ter­ro­ristes, de signa­ler les per­sonnes en conflit, de pré­dire le com­por­te­ment en matière de finances ou de réus­site pro­fes­sion­nelle. Ici, bien sûr, entrent en jeu de nom­breux algo­rithmes qui excluent de nom­breuses per­sonnes dans le monde, sou­vent sans qu’elles com­prennent com­ment et pourquoi.

La croyance en l’ob­jec­ti­vi­té post-idéo­lo­gique des algo­rithmes conduit aus­si sou­vent à l’af­fir­ma­tion que l’u­ti­li­sa­tion d’al­go­rithmes ne com­porte aucun com­pro­mis, mais choi­sir d’ap­pli­quer des algo­rithmes de ce troi­sième groupe ou d’un groupe non entiè­re­ment déve­lop­pé revient à per­pé­tuer les inéga­li­tés. Par exemple : l’al­go­rithme décide qu’une per­sonne ne se ver­ra pas accor­der un prêt ou qu’elle n’est pas un bon can­di­dat pour un emploi. En Cata­logne, de nom­breux per­mis de pri­son sont trai­tés par Ris­Can­vi, qui éva­lue plus de 43 variables, ce qui signi­fie que la per­sonne pri­vée de liber­té ne sait pas clai­re­ment pour­quoi telle ou telle déci­sion a été prise.

Le fait de ne pas com­prendre le rai­son­ne­ment de l’al­go­rithme est appe­lé l’ef­fet “boîte noire” et, selon Frank Pas­quale, c’est le prin­ci­pal élé­ment de l’i­né­ga­li­té. Le pou­voir judi­ciaire est obli­gé d’ar­gu­men­ter des ver­dicts, mais les algo­rithmes, méca­ni­que­ment objec­tifs, sont noirs et blancs, mais tou­jours indis­cu­tables. Si nous savions quelles sont les prio­ri­tés de l’al­go­rithme, nous pour­rions appli­quer la loi de Good­hart et lui don­ner les para­mètres qu’il demande, pour qu’il joue en notre faveur. Tant que nous ne connais­sons pas l’al­go­rithme, le pou­voir n’est que d’un côté.

Que faire alors ?

Poli­ti­sons l’a­na­lyse de l’al­go­rithme comme sa créa­tion l’a été. Nous devons ana­ly­ser les rela­tions sociales qui sous-tendent l’al­go­rithme, tout comme nous ana­ly­sons les rela­tions sociales qui sous-tendent la mar­chan­dise. Lors­qu’une déci­sion poli­tique d’une entre­prise ou d’une admi­nis­tra­tion avait un impact sur les tra­vailleurs ou d’autres col­lec­tifs, il était viable de lan­cer une réponse ou d’en­ta­mer une négo­cia­tion. Cepen­dant, ce che­min se com­plique lors­qu’il y a un algo­rithme avec sa fausse patine d’ob­jec­ti­vi­té, qui devient un enne­mi éthé­ré et incompréhensible.

Nous com­pre­nons que le pro­blème n’est pas les algo­rithmes, car ils peuvent être utiles dans les tâches médi­cales et scien­ti­fiques et peuvent être la clé pour par­ve­nir à une véri­table éco­no­mie pla­ni­fiée, comme le sou­lignent cer­tains auteurs tels que Paul Cock­shott et Maxi Nie­to. Le pro­blème est le capi­ta­lisme et son uti­li­sa­tion inté­res­sée de cette tech­no­lo­gie comme un autre outil de domi­na­tion. L’al­go­rithme ne fait rien d’autre que repro­duire les inéga­li­tés inhé­rentes au sys­tème et la preuve en est que l’as­so­cia­tion patro­nale CEOE ne consi­dère pas que l’o­bli­ga­tion éta­blie par le minis­tère du tra­vail de rendre publics les algo­rithmes des entre­prises de livrai­son pré­caires (Uber Eats, Deli­ve­roo, Glo­vo) est une menace pour elles. Outre le détail que la loi n’o­blige à publier que la par­tie de l’al­go­rithme rela­tive au droit du tra­vail (comme si le reste de l’al­go­rithme n’a­vait aucune influence), il est déjà prou­vé que l’ex­ploi­ta­tion se pour­suit avec le pas­sage d’une par­tie impor­tante de la main-d’œuvre par les agence d’intérim.

La chose est claire : si seul l’al­go­rithme est remis en ques­tion, ce n’est pas un pro­blème pour les employeurs, puisque les rela­tions d’ex­ploi­ta­tion conti­nue­ront d’exis­ter, qu’elles soient numé­riques ou ana­lo­giques. En outre, l’ad­mi­nis­tra­tion et les mou­ve­ments sociaux sont encore dans le flou lors­qu’il s’a­git de com­prendre et de contrer l’im­pact de cette tech­no­lo­gie sur l’i­né­ga­li­té des tra­vailleurs. Il y a quelques années, des jour­na­listes comme Aus­tin Carr ou Judith Dupor­tail ont décryp­té le fonc­tion­ne­ment de l’al­go­rithme de l’ap­pli­ca­tion de ren­contres Tin­der. Il s’est avé­ré être pro­fon­dé­ment clas­siste et pour­tant il n’y a eu pra­ti­que­ment aucune réac­tion, même par­mi les uti­li­sa­teurs. Peut-être les consé­quences n’ont-elles pas été comprises.

Si les algo­rithmes font de la poli­tique, nous devons les ame­ner à chan­ger de camp et à recher­cher d’autres expé­riences comme le minis­tère du tra­vail, qui effec­tue des ins­pec­tions auto­ma­ti­sées pour détec­ter les faux tra­vailleurs tem­po­raires, ou les Bread­Tu­bers, qui publient des conte­nus de gauche en fai­sant croire à l’al­go­rithme de You­Tube que leurs vidéos sont d’ex­trême droite. Si les algo­rithmes devaient ser­vir à domi­ner, ils peuvent aus­si ser­vir à remettre en ques­tion cette domination.