Bonjour, bonjour !
Vous ne le savez peut-être pas, mais mon travail actuel consiste à décortiquer la transformation numérique du secteur banques / assurances. Et mardi, en arrivant au bureau, j’ai appris que le programme de crédit offert par l’Apple card présente un biais sexiste. Un entrepreneur installé aux Etats-Unis s’en insurgeait sur les réseaux : dans son couple, la femme gagne plus. Pour les prêts, c’est à elle que les banques font confiance, plus qu’à lui. Mais chez Apple, elle se voit accorder une limite de crédit 20 fois inférieur à celle de son mari. Explication laconique avancée par les conseillers clientèle de l’entreprise : « c’est la faute de l’algorithme ».
C’est de ça que je voudrais vous parler aujourd’hui : des biais des algorithmes. Ils me restent en tête depuis le premier article que j’ai écrit dessus, début 2018.
Ce qu’il est important de comprendre, c’est qu’aussi complexes soient les algorithmes de machine learning, aussi profond l’apprentissage qu’on leur fait réaliser, il n’en reste pas moins qu’on parle d’outils créés par des ingénieur·es, des data scientists… bref des humain·es. L’autre chose à savoir, c’est que pour que ces fantastiques petites machines fonctionnent, pour qu’elles reconnaissent des chats, des chiens ou des mélanomes, il faut leur fournir des quantités astronomiques de données. C’est à partir de celles-ci qu’elles pourront établir leur « raisonnement ».
Les résultats qu’elles donnent, donc, sont tout à fait dépendants des informations qu’on leur a fournies. Or, si on donne uniquement les images présentes sur Google à un algorithme de reconnaissance d’images, par exemple, il reconnaitra mieux les personnes blanc·hes que les noir·es. Pourquoi ? Parce qu’il y a bêtement beaucoup plus d’image de blanc·hes que de noir·es dans la base de données fournies à l’algorithme.
Étendu à nos activités quotidiennes, ce type de biais a de sévères impacts. Celui de l’accès au crédit, par exemple. Ou bien de celui à la santé : fin octobre, une étude démontrait qu’un algorithme utilisé dans le système américains sous-estimait en permanence les besoins de santé des noir·es par rapport à ceux des blanc·hes. Résumé très grossièrement, le problème vient de l’inégalité persistante d’accès aux soins entre les deux populations. Celle-ci n’était certes pas exprimée directement dans les données fournies à l’algorithme, mais pouvait s’y retrouver par l’intermédiaire d’autres variables. Le fait d’aller peu à l’hôpital, par exemple, ne signifie pas forcément qu’on est en bonne santé, mais peut-être qu’on n’a pas les moyens d’y aller, ou qu’on en habite trop loin.
En fait, trois problèmes se posent dans le mécanisme de construction des algorithmes. D’une part, il y a ces biais que l’on retrouve dans les données. Ils peuvent représenter des biais propres à nos sociétés, ils sont complexes, mais potentiellement correctibles. D’autre part, il y a les biais présents dans tuyaux mêmes de l’outil. Ceux-là sont plutôt dûs au manque de diversité dans les équipes d’ingénieur·es et de technicien·nes qui construisent les IA : très majoritairement composées d’hommes blancs de classe moyenne ou supérieure, elles ont du mal à implémenter d’autres visions du monde que la leur - et c’est bien normal. De la diversité dans leur constitution permettrait de faire évoluer les choses. Et puis il y a le côté boîte noire des algorithmes : bien souvent, nous sommes tout simplement incapables d’expliquer comment l’un des ces outils a abouti à son résultat. Et donc incapables de le challenger, voire de le corriger.
Ajoutez-y notre foi dans le progrès, dans les mathématiques, doublée d’un renoncement un peu confortable à expliquer ces systèmes qui nous paraissent trop compliqués. Ca nous mène à cette réponse qu’ont fait les responsables clientèles d’Apple à notre époux énervé de tout à l’heure : « c’est la faute de l’algorithme ». Humainement, philosophiquement même, c’est un sacré aveu d’impuissance.
Que faire pour lutter contre tout ça ? S’informer, certainement. Rajouter des cours de philosophie, d’éthique, dans les cursus d’ingénierie, et travailler sur les raisons qui détournent les filles des carrières d’ingénieures (raisons bien plus sociales que biologiques). Faire exactement le même travail pour mieux intégrer les minorités. Tout cela permettra de varier les points de vue - et donc, à terme, de construire de meilleurs outils. Et côté entreprises et recherche, mettre sur pieds dès aujourd’hui des réflexions (comme ici ou là), plancher sur des outils de contrôle, de correction des algorithmes. Et puis sur d’autre qui les rendent plus transparents, mieux explicables. Parler éthique. D’autres idées ?
Pour aller plus loin, je vous suggère cette lecture, celle-ci, et puis celle-ci aussi (et probablement plein d’autres au fil des semaines parce que ce sujet est complexe et bien loin d’être réglé).
📨 Pour me joindre, répondez à ce mail ou contactez-moi sur twitter.
📷 Une image
Angry is the new black (Paris, 2017)
💻 En ce moment, sur l’IA, les robots, et nous, je lis :
Dans une note publiée ce jour, la CNIL plaide pour un “code de la route” de la reconnaissance faciale. Elle plaide, même, pour un usage limité de cette techno. Car, sans barrières clairement définies : « Le risque est grand (…) que des glissements progressifs conduisent à un changement de société non anticipé et non souhaité, et que nous soyons, un jour, devant un fait accompli. »
Le Wall Street Journal a révélé que Google siphonnait des quantités de données de santé de patients américains depuis 2018. Le nom du projet ? Nigthingale. Le partenaire ? Ascension, l’un des plus gros système de santé américain. Le consentement des “50 millions de patients ou plus répartis sur 21 États” ? N’a pas été recueilli. Le but du projet Nightingale est d’accroître l’usage d’intelligence artificielle dans la santé, nous dit le New-York Times, afin d’en améliorer les résultats, d’en multiplier les cas d’usage. Mais cette histoire présente au moins deux problème. D’une part, ce refus de laisser aux patient·es le libre choix de céder ou non leurs données au géant technologique (on parle tout de même de leurs données personnelles, noms compris, plus leurs dossiers médicaux). D’autre part, il y a l’impossibilité de concevoir une quelconque limite aux expériences de Google dans la santé - l’entreprise elle-même semble infichue d’en dessiner.
Souvenez-vous, LimeWire, les belles années, le téléchargement illégal (oups). Voici la longue histoire de la manière dont cette application a modifié notre consommation de musique.
D’ailleurs au sujet du piratage, celui des vidéos connait un rebond, notamment à cause de la morcellement des offres de streaming.
Une histoire intéressante sur les différentes réceptions de l’automatisation du travail. Dans les ports de Los Angeles, par exemple, les dockers font la grève, les camionneur·ses sont ravi·es de l’arrivée des robots : ces derniers promettent des délais d’attente bien moins longs pour récupérer les chargements.
En vrac : Ingénieure aérospatiale, Natalyia Brikner est aussi devenue cheffe d’entreprise avant ses trente ans, et s’apprête désormais à envoyer des satellites en orbite autour de la Terre ; les caméras-piétons de la police ont été produites par l’entreprise chinoise qui construit les outils de surveillance capables d’identifier les membres de la population ouïghoure (celle-là même qui subit une immense campagne d’épuration ethnique) ; les employé·es noir·es de Facebook adressent une lettre ouverte à leur PDG, dénonçant une culture d’entreprise qui les exclut ; le rédacteur en chef de Next Inpact a live-tweeté la discussion du projet de loi permettant à Bercy de collecter en masses nos informations issues ds réseaux sociaux à l’Assemblée (je vous en parlais dans cette édition) ; le Sénat, lui, a validé une expérimentation de “carte Vitale biométrique”.
📰 Et à d’autres sujets :
Ce qui est intéressant, avec Adèle Haenel, c’est d’une part son courage et la façon dont elle a su prendre la parole : c’est elle qu’on écoute, d’elle qu’on parle, et non pas de son agresseur. Mais ce sont aussi les sujets propres à la société toute entière, et pas seulement au monde du cinéma (lisez quand même cette enquête des Inrocks), qu’elle a soulevé, aidée par la nouvelle accusation de viol faite par Valentine Monnier à l’encontre de Polanski. Par exemple : pourquoi, comment des hommes d’âge mûrs parviennent à se convaincre qu’il est normal d’être attirés par de très jeunes femmes ? Une réponse ici, une autre là.
Quant au tweet ci-dessus, il est violent, mais illustre très bien l’étrange question de la séparation entre l’homme et l’artiste. Qu’est-ce que c’est que cette interrogation ? Face à la caméra de Médiapart, la chercheuse Iris Brey (lire son portrait dans Le Monde) déclarait : « Il est difficile, selon moi, de séparer l’homme de l’œuvre quand l’homme utilise son œuvre pour asseoir son pouvoir sur certaines femmes ». Quant au Huffington post, il se demande pourquoi on ne brandit cette histoire de séparation que pour les hommes. Après tout, on s’intéresse sans se poser de questions à l’intimité de la vie des femmes artistes. On y puise même de nouvelles façons d’appréhender leur travail, qui en donnent une lecture souvent plus riche.
Dernière question : pourquoi est-on plus rapides à demander la présomption d’innocence pour les cas de violences sexuelles que pour n’importe quelle autre agression ? Pour rappel, 12 femmes accusent Polanski de violences sexuelles. Douze.
P.S.
Un conseil culture
Improbable découverte faite sur Twitter (comme d’habitude) : le travail de recherche sur les émotions réalisé par Orlagh O’Brien.
Son idée était de comprendre comment nous ressentons les émotions dans nos corps. La graphiste a donc interrogé 250 personnes de 35 pays pour leur demander de cartographier la façon dont-ils ressentent la peur, la tristesse, la joie ou l’amour. Le dispositif était assez simple. Elle leur a demandé quels mots leur évoquaient quelles émotions. Ou encore de montrer quelles zones du corps sont mobilisées, la direction dans laquelle vont ces émotions (si elles bougent), les couleurs qu’elles évoquent. Ensuite, elle a superposé toutes les réponses.
Le résultat s’appelle Emotionaly}Vague, c’est joli et intéressant, et ça se trouve par ici.
Vous avez aimé cette édition ?
Si oui, recommandez la autour de vous !
À vendredi,
— Mathilde