Interprétabilité vs explicabilité : comprendre vs expliquer son réseau de neurones (1/3)

Public ciblé : Tout public, lycéen·ne·s 

Dernière mise à jour : 28/08/2020

Cet article est également co-publié sur le Blog Binaire blog de médiation du magazine "Pour la Science" 

Comment comprendre et expliquer une décision automatisée prise¹  avec un algorithme de ce qu’on appelle l’Intelligence Artificielle, ou IA, (par exemple un réseau de neurones) ?

Il est plus qu’important de pouvoir expliquer et interpréter ces résultats, parfois bluffants ou tout simplement contre-intuitifs, qui orientent souvent nos décisions humaines. Cette problématique tire ses origines du concept même du Machine Learning également appelé Apprentissage Machine ou Apprentissage Automatique. 

Premier d'une série de trois articles qui questionnent sur les concepts d'interprétabilité et d’explicabilité des réseaux de neurones, on commence ici par une introduction aux problématiques liées à la compréhension de ces algorithmes de Machine Learning.

Le Machine Learning (ML) est un sous-domaine de recherche de l’intelligence artificielle qui consiste à donner une capacité d’apprentissage à une machine (un ordinateur) sans que celle-ci n’ait été explicitement programmée pour cela [WhatIs, 2016] et ce, en ajustant son calcul en fonction de données dites d’apprentissage. En d’autres termes, un algorithme de ML consiste à demander à notre machine d’effectuer une tâche sans que l’on ne code précisément les différentes étapes et actions qu’elle devra réaliser pour y arriver mais en ajustant les paramètres d’un calcul très général aux données fournies.

Justement, ces prises de décision automatisées, liées à l’utilisation d’algorithmes de Machine Learning, notamment les réseaux de neurones artificiels, dits profonds quand il y a de nombreuses couches de calcul (on parle alors de Deep Learning), soulèvent de nos jours de plus en plus de problématiques d’ordre éthique ou juridique [Hebling, 2019]. Ces problématiques sont principalement dues à l’opacité de la plupart de ces algorithmes de Machine Learning. Elles amènent donc de plus en plus de chercheurs, de développeurs, d’entreprises et aussi d’utilisateurs de ces outils à se poser des questions d’interprétabilité et d’explicabilité de ces algorithmes.

De la boîte noire à l’IA explicable

« La principale différence entre l’IA des années 1970 et celle d’aujourd’hui est qu’il ne s’agit plus d’une approche purement déterministe » [Vérine et Mir, 2019]. 

En effet, l’implémentation des algorithmes d’IA a fortement évolué ces dernières années. Précédemment fondés en majorité sur les choix des développeurs, l’agencement des formules et des équations mathématiques utilisées, ces algorithmes et leurs prises de décision étaient fortement influencés par les développeurs, leur culture, leur propre façon de penser. Désormais, ces règles sont bien plus issues des propriétés “cachées” dans les données à partir desquelles les algorithmes vont apprendre, c’est à dire ajuster leurs paramètres. Bien entendu, l’implémentation sera toujours influencée par le développeur mais la prise de décision de l’algorithme ne le sera plus tout autant. De ce fait, la prise de décision automatisée par ces algorithmes s’est opacifiée.        

Ainsi, aujourd’hui si un réseau de neurones est assimilé à une « boîte noire » c’est parce que les données en entrée et en sortie sont connues mais son fonctionnement interne, spécifique après apprentissage, ne l’est pas précisément. Quand on étudie les couches cachées profondes d’un réseau (représentées sur notre figure 2 par le cadre le plus foncé) on observe que la représentation interne des données est très abstraite, donc complexe à déchiffrer, tout comme les règles implicites encodées lors de l’apprentissage. 

 

Ce phénomène est notamment dû à l’approche que les nombreux chercheurs et développeurs en IA ont eu pendant des années : la performance de ces algorithmes a été mise au centre des préoccupations au détriment de leur compréhension. 

Soulignons également un autre aspect impliqué dans ce phénomène de “boîte noire" : le volume croissant des données !  En effet, les corpus de données utilisés ont vu leur volume exploser ces dernières années, ce qui n'était pas le cas au début de l'IA. La taille désormais gigantesque des données prises en compte par les algorithmes gène, si ce n’est empêche, l’analyse et la compréhension de leurs comportements par un cerveau humain. Par exemple, si une personne peut analyser un ou dix tickets de caisse simultanément, il devient vite impossible pour elle de chercher des similitudes sur plus d’une centaine d’entre eux pour comprendre et prédire le comportement des consommateurs d’un supermarché. Cela est d’autant plus vrai lorsqu’il s’agit de milliers ou de millions de tickets de caisse en parallèle. Il devient par conséquent difficile de comprendre les décisions résultant de l’analyses et des prédictions de ces algorithmes.

Si la démystification des “boîtes noires” que représentent les réseaux de neurones devient un sujet majeur ces dernières années, c’est entre autre dû au fait que ces outils sont de plus en plus utilisés dans des secteurs critiques comme la médecine ou la finance. Il devient alors indispensable de comprendre les critères pris en compte derrière leurs propositions de décision afin de limiter au maximum par exemple, les biais moraux et éthiques présents dans ces dernières.

Justement, les propositions de décisions issues d’algorithme d’IA, posent des questions cruciales et générales notamment en termes d’acceptabilité de ces outils. Le besoin de confiance et de transparence est ainsi très présent et très prisé. Il y a donc aujourd’hui une vraie réorientation des problématiques liées au Machine Learning notamment le besoin de les expliquer [Crawford, 2019]. 

Effectivement, comment avoir confiance en la proposition de décision d’un algorithme d’IA si nous ne pouvons expliquer d’où elle provient ? L’entrée en vigueur du RGPD,  particulièrement de l’article 22-1 stipulant qu’une décision ne peut être fondée exclusivement sur un traitement automatisé, ajoutée au fait qu’un humain a besoin d'éléments explicites et non opaques pour prendre une décision, ont fortement accéléré les recherches dans ce domaine.  

Interprétabilité ou explicabilité ?

Les besoins de transparence et de confiance dans les algorithmes de Machine Learning (e.g. les réseaux de neurones ou les mécanismes d’apprentissage par renforcement) ont ainsi fait émerger deux concepts : l’interprétabilité et l’explicabilité. Souvent associés, il semble important d’expliciter que ce sont deux concepts différents : définissons-les ! 

L’interprétabilité consiste à fournir une information représentant à la fois le raisonnement de l’algorithme de Machine Learning et la représentation interne des données dans un format interprétable par un expert en ML ou des données. Le résultat fourni est fortement lié aux données utilisées et nécessite une connaissance de celles-ci mais aussi du modèle [Gilpin et al., 2018].

L’explicabilité quant à elle consiste à fournir une information dans un format sémantique complet se suffisant à lui-même et accessible à un utilisateur, qu’il soit néophyte ou technophile, et quelle que soit son expertise en matière de Machine Learning [Gilpin et al., 2018]. Par exemple, le métier de chercheuse ne sera pas expliqué de la même manière à des lycéennes, lycéens qu'à des étudiants en informatique. Le jargon utilisé est adapté à des concepts partagés par ceux qui émettent l'explication et ceux qui la reçoivent.

En d’autres termes, l’interprétabilité répond à la question « comment » un algorithme prend-il une décision (quels calculs ? quelles données internes ? ...) tandis que l’explicabilité tend à répondre à la question « pourquoi » (quels liens avec le problème posé ? quelles relations avec les éléments applicatifs ? ...). À noter que l’interprétabilité est la première étape à réaliser afin de faire de l’explicabilité. Un modèle explicable est donc interprétable mais l’inverse ne l’est pas automatiquement !

Cela explique aussi pourquoi nombreux sont ceux qui travaillent sur l’interprétabilité des réseaux de neurones artificiels. Champ de recherche vaste et passionnant, que chacun peut aborder à travers son propre prisme, il a connu une véritable explosion du nombre de travaux et de publications depuis la fin de l’année 2017 avec notamment le projet Explainable AI (XAI) de la DARPA, l’agence du département de la défense des Etats-Unis chargée de la recherche et du développement (Figure 1). 

Domaines palpitants, l'interprétabilité et par extension l’explicabilité sont donc des sujets en plein essor dont de nombreuses questions d’actualités sont encore loin d’être résolues !

Que retenir ? 

Sous domaines de recherche de l’IA, le Machine Learning, le Deep Learning et donc les réseaux de neurones, suscitent de nos jours un véritable intérêt tant leur impact devient important dans nos vies. En parallèle d’améliorer précision et performance, la communauté IA a de plus en plus besoin de comprendre la logique interne et donc, les causes des prises de décisions de ces algorithmes. Or comment s’assurer de la pertinence d’une prédiction d’un réseau de neurones si les raisons derrière celle-ci sont obscures ? 

Par ailleurs, peut-on tout expliquer ou interpréter ? Qu’en est-il des décisions issues de contextes très complexes nécessitant de gros volumes de données où l’ensemble des éléments est bien trop vaste pour être assimilé par un cerveau humain ? Ces questions ouvertes sont justement l’objectif des travaux de recherche qui tendent vers une compréhension humaine des réseaux de neurones. 

C’est donc dans le but  de démystifier ces “boîtes noires” que les chercheurs, entreprises ou encore utilisateurs s’intéressent de plus en plus au domaine de l'interprétabilité, i.e. la compréhension de la logique interne des réseaux de neurones,  et celui de l’explicabilité, i.e. la capacité d’expliquer les raisons à l’origine d’une prédiction de ces mêmes réseaux.  

Nous verrons dans la suite de cette série de trois articles les questions auxquelles il est nécessaire de répondre afin de choisir entre deux approches d’interprétabilité à utiliser selon le cas d’usage mais aussi comment elles aident à rendre les IA plus transparentes et compréhensibles.

---

¹  L’expression “prise de décision” d’un algorithme fait référence ici à la prise de décision réalisée par un humain suite à une proposition (i.e. prédiction) issue de cet algorithme. Il s’agit donc d’une proposition de décision.

---

Cet article est le fruit de la collaboration de Marine LHUILLIER et Ikram CHRAIBI KAADOUD. Ingénieure R&D en informatique en passe d’être diplômée de l’EPSI Bordeaux, Marine s’est spécialisée lors de sa dernière mission dans la recherche à la jonction de l’IA et des Sciences cognitives, notamment dans le domaine de l’interprétabilité. Ikram quant à elle, chercheuse IA & Sciences cognitives, ainsi qu’ancienne Epsienne, se passionne pour la modélisation de la cognition ou autrement dit comment faire de l’IA inspirée de l’humain. Toutes deux ont collaboré dans le cadre d'un projet de recherche en Machine Learning sur l'interprétabilité des réseaux de neurones chez l'entreprise onepoint.

Pour citer cet article : 

Références :

• Crawford Kate (2019) « Les biais sont devenus le matériel brut de l’IA ». URL : https://www.lemonde.fr/blog/internetactu/2019/10/03/kate-crawford-les-biais-sont-devenus-le-materiel-brut-de-lia/ 
• Gilpin, L. H., Bau, D., Yuan, B. Z., Bajwa, A., Specter, M., & Kagal, L. (2018). Explaining explanations: An overview of interpretability of machine learning. In 2018 IEEE 5th International Conference on data science and advanced analytics (DSAA) (pp. 80-89). IEEE. 
• Helbing, D. (2019). Societal, economic, ethical and legal challenges of the digital revolution: from big data to deep learning, artificial intelligence, and manipulative technologies. In Towards Digital Enlightenment (pp. 47-72). Springer, Cham. 
• Turek, M. (2017). DARPA - Explainable Artificial Intelligence (XAI) Program,URL :  https://www.darpa.mil/program/explainable-artificial-intelligence 
• Vérine, Alexandre et Mir, Stéphan. (2019). L’interprétabilité du machine learning : quels défis à l’ère des processus de décision automatisés ? URL : https://www.wavestone.com/fr/insight/interpretabilite-machine-learning/ 
• WhatIs,  2016.  Machine  Learning  definition.  Publié  sur  le  site  WhatIs.com  URL  : https://whatis.techtarget.com/fr/definition/Machine-Learning