Sur Propublica, la journaliste Julia Angwin et le responsable données Jeff Larson signent une terrible enquête sur les biais racistes des algorithmes de prédiction des crimes (voir également “Quel est votre score de menace ?”). Ils évoquent en introduction un terrible exemple entre une jeune femme noire arrêtée pour un vol et un homme blanc d’une quarantaine d’année arrêté pour un crime similaire et condamné d’une manière proche. Le second ayant plus d’antécédents criminels que la première. Et bien le programme algorithmique utilisé par la police pour leur attribuer un score de menace classe la jeune femme comme bien plus à risque que l’homme. Deux ans plus tard, la jeune femme n’a pas commis d’autres crimes, alors que l’homme lui a été condamné pour un autre crime à 8 ans de prison. 

L’évaluation automatique des risques criminels est de plus en plus courante dans de nombreuses courts de justice d’Etat américains et sont livrées aux juges lors de la condamnation pénale. En 2014, le procureur général Eric Holder s’inquiétait des risques que l’utilisation de ces scores faisaient peser sur les inégalités de la justice américaine, mais aucune étude d’évaluation de ces programmes n’a été lancé. 

Les journalistes de ProPublica ont étudié les scores de risques attribués à plus de 7000 personnes arrêtées dans le comté de Broward en Floride entre 2013 et 2014. Si le l’algorithme prédit correctement la récidive à 61%, les noirs ont deux fois plus de chance d’être évalué à plus haut risque que les blancs, indépendamment de leurs antécédents ou de la récidive. Les accusés noirs sont 77% plus susceptibles d’être indexés à risque de commettre un crime violent et 45% plus susceptibles d’être indexés à risque de commettre un crime de toute nature. La société qui fournit l’algorithme du score de menace, mise en cause par ProPublica, Northpointe, récuse les accusations des journalistes. 

Reste que l’accusation des journalistes de ProPublica est terrible. Ils rapportent par exemple l’influence de ce score sur la condamnation d’un homme coupable d’avoir volé une tondeuse à gazon, contre lequel le procureur avait requis un an de prison, mais qui a écopé de deux ans de prison et trois ans de surveillance du fait de son score de menace désastreux. Et les auteurs de rappeler que les prévenus ne peuvent contester leurs évaluations, notamment parce que les données sous-jacentes au calcul de ces scores (provenant de réponses à quelques 137 questions, affirme Northpointe) ne leur sont pas disponibles. Pour Christopher Slobogin, directeur du programme de justice pénale de l’école de droit Vanderbilt, ses données devraient être accessibles aux deux parties et donner lieux à une procédure contradictoire ouverte. 

MAJ : Andrea Fradin pour Rue89 revient également sur le sujet : 

“. Les personnes noires sont plus souvent considérées comme étant hautement susceptibles de récidiver, sans que ce soit suivi de faits (44,9 % des Afro-américains classés dans cette catégorie n’ont pas commis d’autres crimes, contre 23,5 % de personnes blanches). . Les personnes blanches, à l’inverse, sont considérées moins risquées qu’elles ne devraient l’être (47,7 % de personnes blanches classés dans cette catégorie ont récidivé, contre 28 % de personnes noires). . Les personnes noires ont deux fois plus de chance d’être considérées, à tort, comme potentielles récidivistes violentes. . Les personnes blanches récidivistes et accusées de crimes violents par le passé ont 63% plus de chances de se voir attribuer, à tort, un faible risque de récidive violente, par rapport à un criminel noir au même profil.”

Et Le Monde enfonce le clou : 

“Un type qui violente un enfant tous les jours pendant un an obtiendra peut-être un score de risque faible parce qu’il a un boulot. Alors qu’un type arrêté pour ivresse publique obtiendra un score élevé parce qu’il est sans domicile fixe. Les facteurs de risque ne vous disent pas si une personne doit aller en prison ; ils vous disent surtout quels sont les bons critères fixer pour une mise à l’épreuve.”

Sur son compte Facebook, Antoinette Rouvroy conclu : “Naturalisation des préjugés sociaux. Tant que l'on ne s'intéressera pas aux circonstances et conditions de production des "données" qui les nourrissent, les machines ne feront jamais que refléter passivement, tout en les immunisant (partiellement) de la critique, les biais et préjugés sociaux dominants. Ce ne sont pas tant les machines (les algorithmes) qui sont en cause, que la manière dont nous produisons et enregistrons les données à propos de la réalité sociale. Des données amnésiques de leur contexte de production naturalisent les normes sociales, biais et préjugés, en faisant passer pour des "faits" relevant d'une "physique sociale", les effets de nos biais et préjugés.”

Sur la Harvard Business Review, Vasant Dhar (@vasantdhar), scientifique des données et spécialiste en analyse prédictive, éditeur du Journal Big Data, explique qu’un bon moyen d’évaluer la confiance que l’on peut avoir dans les algorithmes et les systèmes de recommandation automatisés consiste à tenter de mesurer leur caractère prédictif et le coût de leurs erreurs.

La prévisibilité consiste à distinguer les systèmes dont la prédiction peut-être proche de l’aléatoire et qui peuvent progresser de manière marginale, des systèmes déterministes.

Le calcul du coût des erreurs, lui, consiste à évaluer le coût des erreurs des systèmes automatisés (très faible pour un filtre anti-spam, pour la publicité ou pour le trading à haute fréquence et bien plus élevé pour un système de voiture autonome ou le pilotage de drones de combats).

Christophe Bys pour Usine Digitale revient sur l’annonce par le cabinet de recrutement Michael Page de l’utilisation du marketing programmatique appliquée au recrutement. Le marketing programmatique n’est rien d’autre que l’achat automatisé d’espaces publicitaires en temps réel sur le web depuis le croisement entre les données et préférences de l’acheteur et de celui qui propose l’espace, mais plutôt que de s’appliquer uniquement au marketing classique, commence à toucher d’autres secteurs. “Ainsi, appliqué à l’emploi, cela revient à pousser auprès des candidats en recherche active ou passive, c’est-à-dire ceux qui sont en poste et qui ne cherchent pas vraiment un nouvel emploi, une offre qui pourrait les intéresser.” L’offre d’emploi vient ainsi jusqu’aux candidats potentiels, permettant de toucher des populations spécifiques définies par l’annonceur, selon l’âge, le genre, le lieu d’habitation ou les habitudes de consommation. Si on comprend bien sa fonction appliquée au marketing, on voit, avec l’exemple du recrutement, qu’il pourrait demain s’appliquer à bien d’autres domaines : la rencontre par exemple ou le tourisme. 

Quelle est la fiabilité de la prédiction dans les systèmes sociaux complexes ? Si les réseaux sociaux sont de plus en plus utilisés pour faire de la prédiction, on connait très mal les limites de ces prédictions, expliquent dans une étude disponible sur ArXiv les chercheurs Travis Martin, Jake Hoffman, Amit Sharma, Ashton Anderson et Duncan Watts. Le taux d’erreur des modèles prédictifs reposent souvent sur l’insuffisance des données ou des modèles disponibles ou sur l’imprévisibilité inhérente aux systèmes sociaux complexes. Les chercheurs ont utilisé ces limites pour faire une étude prédictive sur la taille de l’information en cascade sur Twitter. Malgré un volume d’information énorme sur les utilisateurs, les contenus ou les résultats passés, les meilleurs modèles qu’on produit les chercheurs expliquent moins de la moitié de la variance de la taille des cascades d’information. 

Effectivement, la mise en relation entre l’offre et la demande, sur le site Pôle Emploi peut certainement être grandement améliorée. 

C’est ce que souhaite faire le jeune data scientist Paul Duan, rapporte le Figaro, dont l’organisation non-profit qu’il a lancé, Bayes Impact - qui se veut un nouvel acteur du service public en utilisant les “données pour le bien”, à l’image des nombreuses associations américaines qui travaillent à la construction de l’innovation publique - vient de signer un partenariat avec Pôle Emploi (notamment son laboratoire d’innovation). L’enjeu est de développer un système personnalisé, permettant de proposer à chaque demandeur d’emploi des offres et des formations plus adaptées à son profil. 

De là à avancer qu’un simple algorithme pourrait réduire le chômage d’au moins 10% comme l’a clamé une récente Une de Society (mais le jeune homme semble avoir pris le partie du pragmatisme quant au storytelling), il y a peut-être un pas un peu rapide que politiques et administrations semblent vouloir ne pas voir. C’est oublier en tout cas un peu vite que le nombre d’emplois non pourvu n’est pas de cet ordre de grandeur et que les raisons qui font qu’ils ne sont pas pourvus s’explique aussi par la nature même de ces offres.