Machines Ă biais - Propublica
Sur Propublica, la journaliste Julia Angwin et le responsable donnĂ©es Jeff Larson signent une terrible enquĂȘte sur les biais racistes des algorithmes de prĂ©diction des crimes (voir Ă©galement âQuel est votre score de menace ?â). Ils Ă©voquent en introduction un terrible exemple entre une jeune femme noire arrĂȘtĂ©e pour un vol et un homme blanc dâune quarantaine dâannĂ©e arrĂȘtĂ© pour un crime similaire et condamnĂ© dâune maniĂšre proche. Le second ayant plus dâantĂ©cĂ©dents criminels que la premiĂšre. Et bien le programme algorithmique utilisĂ© par la police pour leur attribuer un score de menace classe la jeune femme comme bien plus Ă risque que lâhomme. Deux ans plus tard, la jeune femme nâa pas commis dâautres crimes, alors que lâhomme lui a Ă©tĂ© condamnĂ© pour un autre crime Ă 8 ans de prison.Â
LâĂ©valuation automatique des risques criminels est de plus en plus courante dans de nombreuses courts de justice dâEtat amĂ©ricains et sont livrĂ©es aux juges lors de la condamnation pĂ©nale. En 2014, le procureur gĂ©nĂ©ral Eric Holder sâinquiĂ©tait des risques que lâutilisation de ces scores faisaient peser sur les inĂ©galitĂ©s de la justice amĂ©ricaine, mais aucune Ă©tude dâĂ©valuation de ces programmes nâa Ă©tĂ© lancĂ©.Â
Les journalistes de ProPublica ont Ă©tudiĂ© les scores de risques attribuĂ©s Ă plus de 7000 personnes arrĂȘtĂ©es dans le comtĂ© de Broward en Floride entre 2013 et 2014. Si le lâalgorithme prĂ©dit correctement la rĂ©cidive Ă 61%, les noirs ont deux fois plus de chance dâĂȘtre Ă©valuĂ© Ă plus haut risque que les blancs, indĂ©pendamment de leurs antĂ©cĂ©dents ou de la rĂ©cidive. Les accusĂ©s noirs sont 77% plus susceptibles dâĂȘtre indexĂ©s Ă risque de commettre un crime violent et 45% plus susceptibles dâĂȘtre indexĂ©s Ă risque de commettre un crime de toute nature. La sociĂ©tĂ© qui fournit lâalgorithme du score de menace, mise en cause par ProPublica, Northpointe, rĂ©cuse les accusations des journalistes.Â
Reste que lâaccusation des journalistes de ProPublica est terrible. Ils rapportent par exemple lâinfluence de ce score sur la condamnation dâun homme coupable dâavoir volĂ© une tondeuse Ă gazon, contre lequel le procureur avait requis un an de prison, mais qui a Ă©copĂ© de deux ans de prison et trois ans de surveillance du fait de son score de menace dĂ©sastreux. Et les auteurs de rappeler que les prĂ©venus ne peuvent contester leurs Ă©valuations, notamment parce que les donnĂ©es sous-jacentes au calcul de ces scores (provenant de rĂ©ponses Ă quelques 137 questions, affirme Northpointe) ne leur sont pas disponibles. Pour Christopher Slobogin, directeur du programme de justice pĂ©nale de lâĂ©cole de droit Vanderbilt, ses donnĂ©es devraient ĂȘtre accessibles aux deux parties et donner lieux Ă une procĂ©dure contradictoire ouverte.Â
MAJ : Andrea Fradin pour Rue89 revient Ă©galement sur le sujet :Â
â. Les personnes noires sont plus souvent considĂ©rĂ©es comme Ă©tant hautement susceptibles de rĂ©cidiver, sans que ce soit suivi de faits (44,9 % des Afro-amĂ©ricains classĂ©s dans cette catĂ©gorie nâont pas commis dâautres crimes, contre 23,5 % de personnes blanches).
. Les personnes blanches, Ă lâinverse, sont considĂ©rĂ©es moins risquĂ©es quâelles ne devraient lâĂȘtre (47,7 % de personnes blanches classĂ©s dans cette catĂ©gorie ont rĂ©cidivĂ©, contre 28 % de personnes noires).
. Les personnes noires ont deux fois plus de chance dâĂȘtre considĂ©rĂ©es, Ă tort, comme potentielles rĂ©cidivistes violentes.
. Les personnes blanches rĂ©cidivistes et accusĂ©es de crimes violents par le passĂ© ont 63% plus de chances de se voir attribuer, Ă tort, un faible risque de rĂ©cidive violente, par rapport Ă un criminel noir au mĂȘme profil.â
Et Le Monde enfonce le clou :Â
âUn type qui violente un enfant tous les jours pendant un an obtiendra peut-ĂȘtre un score de risque faible parce quâil a un boulot. Alors quâun type arrĂȘtĂ© pour ivresse publique obtiendra un score Ă©levĂ© parce quâil est sans domicile fixe. Les facteurs de risque ne vous disent pas si une personne doit aller en prison ; ils vous disent surtout quels sont les bons critĂšres fixer pour une mise Ă lâĂ©preuve.â
Sur son compte Facebook, Antoinette Rouvroy conclu : âNaturalisation des prĂ©jugĂ©s sociaux. Tant que l'on ne s'intĂ©ressera pas aux circonstances et conditions de production des "donnĂ©es" qui les nourrissent, les machines ne feront jamais que reflĂ©ter passivement, tout en les immunisant (partiellement) de la critique, les biais et prĂ©jugĂ©s sociaux dominants. Ce ne sont pas tant les machines (les algorithmes) qui sont en cause, que la maniĂšre dont nous produisons et enregistrons les donnĂ©es Ă propos de la rĂ©alitĂ© sociale. Des donnĂ©es amnĂ©siques de leur contexte de production naturalisent les normes sociales, biais et prĂ©jugĂ©s, en faisant passer pour des "faits" relevant d'une "physique sociale", les effets de nos biais et prĂ©jugĂ©s.â
MAJ : lâavocat et scientifique de donnĂ©es David Colarusso a utilisĂ© un jeu de donnĂ©es criminel en provenance de Virginie pour mesurer ce qui affecte le plus la durĂ©e dâune sentence : les revenus ou lâorigine ethnique... Sa conclusion est sans appel : âPour quâun homme noir de Virginie ait le mĂȘme traitement quâun de ses pairs blancs, il doit gagner plus de 500 000 dollars par an !âÂ