Présenté en avril 2021, le projet de règlement européen sur l’intelligence artificielle prévoit que les systèmes à “haut risque” – tels que les dispositifs de reconnaissance faciale – devront faire l’objet d’audits pour pouvoir être commercialisés au sein du marché unique . L’objectif est de vérifier qu’ils respectent bien la réglementation en vigueur (principe de non-discrimination, respect de la vie privée…).
comprendre pour auditeur
La Commission nationale de l’informatique et des libertés (Cnil) pourrait être l’autorité en charge de contrôler et de sanctionner les entreprises en cas de manquements. Ou, pour mener ces futures missions, elle devra être en mesure d’examiner le fonctionnement des algorithmes. Pour s’y préparer, elle a travaillé avec Clément Henin, actuel conseiller référendaire en service extraordinaire de la Cour des comptes et chercheur au sein de l’équipe-projet Privatics de l’Institut national de recherche en sciences et technologies du numérique (Inria ). Il est l’auteur d’une thèse parue en 2021 sur l’explication et la justification des “systèmes de décisions algorithmiques”, menée sous la direction de Daniel Le Métayer et Claude Castelluccia.
Il est important de préciser que les travaux de Clément Henin ne portent pas que sur l’intelligence artificielle. Il regrette d’ailleurs que la Commission européenne ait choisi ce terme pour son règlement. “Il y a d’autres algorithmes qui peuvent poser des problèmes même s’ils n’emploient pas de l’IA“, explique-t-il à L’Usine Digitale. C’est ainsi qu’il définit l’IA comme”un algorithme qui n’a pas son comportement entièrement programmé par un humain mais est capable d’une forme d’apprentissage à partir des données (machine learning) ou d’expériences (l’apprentissage par renforcement)“. A cette définition, il y oppose celle d’un système de décision algorithmique : “l’utilisation d’un algorithme dans un processus de décision” dans lequel l’humain a une place beaucoup plus importante.
La Cnil a testé deux outils : IBEX et Algocate
Dans le cadre de la collaboration avec la Cnil, une trentaine d’agents chargés du contrôle ont testé deux outils développés par Clément Henin : IBEX (pour Interactive Black-box EXplanation) et Algocate (concaténation d’algorithme et d’avocat). Le premier est un système d’explication en boîte noire, c’est-à-dire à partir des entrées et sorties sans accéder au code du système. Il permet à l’utilisateur – profane ou expert – de choisir le type d’explication qu’il souhaite obtenir, sous la forme d’un diagramme, une règle de décision ou la présentation d’un contrefactuel. Pour construire des explications, IBEX commence par sélectionner un ensemble d’entrées. Les liens entre ces entrées et les sorties correspondantes sont ensuite analysés afin de générer l’explication finale.
Pour des questions juridiques, un cas fictif a été choisi, celui d’une entreprise proposant des crédits à la consommation. A partir d’un jeu de données, les équipes ont intégré un algorithme à auditer sur lequel a été testé IBEX. L’expérimentation a été menée à partir d’une plateforme en ligne. Les agents de la Cnil ont ainsi dû répondre à des questions sur des décisions algorithmiques fictives pour tester leur compréhension du système.
Confronter des décisions aux normes de la société
De son côté, Algocate fonctionne selon “un système d’affirmation“. A la différence des explications proposées par IBEX, dont le but est de faire comprendre le fonctionnement de l’algorithme, les justifications tentent de convaincre que la décision est bonne. Clément Hénin explique pour obtenir une justification, il faut d’abord que soit défendue une décision, dénommée “la décision attendue“. Un utilisateur doit donc donner les raisons qui lui laissent penser que la décision issue du système algorithmique est mauvaise. En l’espèce, il peut contester le refus de crédit à la consommation arguant qu’il s’agit de sa première demande de crédit et qu’il s’agit d’un montant faible. Une fois formalisée, la contestation est analysée par Algocate à la lumière des normes de la société, par exemple les principes de non-discrimination.
Clément Hénin nous explique que de manière générale, ces expérimentations ont été fructueuses ; de son côté pour tester IBEX et Algocate sur le terrain et du côté de la Cnil pour améliorer les performances de ses agents.
