Architecture des réseaux de neurones : Réseaux de neurones impulsionnels (3/3)!

Public averti

Petite introduction : Cet article, le troisième d'une série de 3 articles, a été écrit en collaboration avec André Garenne. Maitre de conférences à l’Université de Bordeaux. André Garenne fait partie de l’équipe transdisciplinaire MNEMOSYNE qui est rattachée à l’INRIA Bordeaux, au LABRI et à l’institut des maladies neurodégénératives (CNRS).

Réseaux de neurones impulsionnels

Cette famille de modèles se caractérise par un souci de réalisme biologique plus poussé que les neurones artificiels classiques, ce qui induit en général une complexité calculatoire plus importante et demande à échelle identique des puissances de calcul supérieures pour les réseaux. Ces modèles, appelé modèle à temps « continu », ont aussi l'avantage de proposer une intégration temporelle de l'information plus proche du temps biologique. Dans cette famille nous regrouperons les modèles biophysiques, tel que Hodgkin-Huxley (HH) et ses extensions et dérivés, mais aussi les « toy-models » du type Leaky Integrate-and-Fire (LIF) ou d’Izhikevich. Les questions auxquelles ces modèles répondent sont également sensiblement différentes des objectifs suivis par les modèles « classiques » vus auparavant.

Rappel de quelques notions de biologie

C’est la genèse et la transmission de l’influx nerveux entre les neurones qui permet la circulation de l’information. C’est plus précisément au niveau des synapses de cette transmission se fait. Au niveau physico-chimique, cela se traduit par des modifications de la concentration des ions au voisinage de la membrane cellulaire qui se traduisent par une différence de potentiel électrique autour de celle-ci. C’est ce que l’on nomme le potentiel de membrane. C’est ce phénomène qui est à la base de la plupart des métriques (mesures) utilisées en électrophysiologie et qui permettent de mesurer l’activité et l’excitabilité d’une cellule nerveuse ou de toute autre cellule excitable et d’isoler l’élément d’information qu’est le potentiel d’action.  La figure A ci-dessous résume les différentes étapes de la genèse du potentiel d’action.

Figure A : Potentiel d’action (membranaire) et changements des concentrations ioniques associés. D’après Rousset S. et Perlemuter G. Biologie fondamentale et génétique. UE 2.1, UE 2.2. Cahiers des sciences infirmières. Paris : Elsevier-Masson ; 2010.)

 

Le principe de la genèse du potentiel d’action est le suivant. Au repos un neurone possède une valeur de potentiel de membrane négative de l’ordre de -65 mV (variable selon les types neuronaux). Sous l’action d’un courant électrique dépolarisant les canaux sodiques s’ouvrent laissant entrer le sodium. Si la dépolarisation est suffisante (notion de seuil) le courant entrant va générer un signal (le potentiel d’action) et ce signal va ensuite être acheminé dans le neurone et notamment vers l’axone qui va ainsi le conduire vers la cellule suivante qui pourra être un neurone mais également une cellule musculaire, une cellule endocrine etc.

En résumé, les modèles de neurones impulsionnels sont des systèmes dynamiques qui décrivent « en continu » la courbe temporelle de potentiels de membrane mais aussi des signaux synaptiques et des mécanismes biologiques associés.

Modèle de Hodgkin-Huxley

Le modèle de Hodgkin-Huxley peut être décrit par un circuit électrique nommé circuit équivalent à la membrane et décrit sur la figure B. Construit d’après des mesures réalisées sur l’axone de calmar, il a permis de formaliser la genèse du potentiel d’action et de modéliser quantitativement l’effet des différents éléments (concentration ionique, canaux etc.) sur la dynamique neuronale.

Figure B – Composants de base des modèles de type Hodgkin-Huxley représentant les caractéristiques biophysiques des membranes cellulaires (source).

Ce modèle fait appel à un système d’équation différentielles décrit à l’aide de 4 variables.

Une équation différentielle est une équation qui montre la relation entre une fonction et ses dérivées. La solution d’une équation différentielle est une fonction et non des nombres. Les équations différentielles permettent de modéliser mathématiquement un système chimique ou physique complexe et son évolution.

Le modèle de Hodgkin et Huxley propose donc une modélisation mathématique de la dynamique du neurone selon les variations des concentrations ionique (Alexandre, 2005). Autrement dit, on modélise l’évolution du potentiel membranaire V_m (soit le comportement du neurone) en fonctions des courants et donc des modifications de concentrations d’ions au niveau de la membrane (représentant les flux de courants électriques).

Eh oui ! Des notions mathématiques de base sont essentielles dans le domaine des neurosciences computationnelles ! Le prix à payer pour atteindre ce niveau de description c’est que la simulation d’un neurone et a fortiori d’un neurone décrit à l’échelle globale (tridimensionnelle) est coûteuse en terme de puissance de calcul comparée à la simulation d’un neurone formel classique par exemple.

Le modèle de Hogkin-Huxley (HH en abrégé) a déjà une large descendance soit sous la forme de versions abrégées comme le modèle de Fitzhugh-Nagumo, soit au contraire sous la forme de versions détaillées et étendues permettant de décrire les neurones et réseaux de neurones de mammifères. Ces derniers modèles peuvent prendre en compte aussi bien des conductances à d’autres ions (Ca²⁺) que d’autre mécanismes associés comme l’énergétique cellulaire ou les phénomènes de plasticité synaptique. Le modèle HH est donc plutôt réservé en l’état à l’étude de la neurobiologie et de l’électrophysiologie avec des questions de biologie à la clé.

Modèle LIF (Leaky Integrate & Fire)

Mathématiquement, ce modèle est défini par une seule équation différentielle simple :

Physiquement, c'est l'intensité qui traverse le potentiel de membrane qui est prise en compte et la variable est simplement le potentiel de membrane V_m. Le neurone peut être d'ailleurs représenté tel un circuit électrique doté d'un condensateur et d'une résistance comme sur la figure C.

Figure C – circuit équivalent à la membrane pour un modèle LIF

Le modèle LIF est issu des travaux de Louis Lapicque qui date du tout début du XXème siècle ce qui en fait en pratique l’ancêtre des modèles neuronaux. Il se décline en plusieurs modalités avec une ou deux variables pour les plus récentes. Le modèle LIF simple, en raison de sa simplicité d’implémentation est aussi bien utilisé pour répondre à des questions de modélisation en biologie pour développer des outils d’analyse de signaux.

Modèle d’Izhikevich

Ce modèle se distingue par sa capacité à reproduire un grand nombre de dynamiques neuronales en faisant intervenir seulement deux équations différentielles. De nouveaux modèles à 2 variables ont été développées au cours du temps pour répondre à la problématique suivante. Le modèle LIF possède un régime de décharge constant pour un courant d’entrée donné mais dans la nature de nombreux neurones possèdent des propriétés intrinsèques de traitement de l’information que le LIF ne peut pas reproduire comme l’effet rebond ou encore l’émission de bouffées de potentiels d’action. C’est pour répondre à cette problématique tout en gardant une grande simplicité mathématique que les neurones 2D ont été développés. Quelques exemples de ces régimes de décharge sont présentés sur la figure D.

Figure D – Exemples d’activité de modèles neuronaux soumis à des courants de stimulation exprimés en ampère (noté A) (rouge). Le modèle LIF est soumis à trois créneaux de courant constants croissants. Les temps sont exprimés en millisecondes (noté ms), le potentiel de membrane (bleu) en mV. A gauche, il s’agit d’un modèle LIF classique et à droite 4 modèles d’Izhikevich (sources personnelles d’après  https://courses.cs.washington.edu/courses/cse528/07sp/izhi2.pdf)

Comme on le voit sur la figure D, le modèle LIF soumis à trois valeurs de courant constantes croissantes émet des potentiels d’actions (spikes) à des fréquences croissantes mais toujours constantes. Les 4 graphes de droite montrent qu’avec un courant de stimulation constante, des régimes de décharge non linéaires apparaissent à base de potentiels d’action réguliers ou de bursts (bouffées de potentiels d’action). Ces différents types d'activité sont représentatifs d'enregistrements de différentes classes de neurones retrouvées dans des tissus nerveux vivants.

Que retenir au final des trois articles portant sur ce sujet ??

S'il n'y avait qu'une idée à retenir sur les réseaux de neurones et les architectures potentielles, c'est qu'il en existe une multitude. Selon le domaine et la tache ciblée (la parole, la reconnaissance d'images, la classification, etc.), nous entendrons plus parler d'un réseau que d'un autre car le premier a été plus étudié que les autres ou qu'il s'est avéré plus pertinent. Par ailleurs, certains réseaux, peuvent être décliné selon plusieurs versions et modifié pour se montrer plus performant pour une tache donnée chacun. Ainsi il n'existe pas une seule solution pour une problématique donnée !

Mais une fois l'architecture trouvé, le chemin vers un réseau fonctionnel n'est pas fini. En effet, d'autre paramètres, tout aussi importants, interviennent alors : le nombre de neurones par couche, le nombre de couches, le choix du taux d'apprentissage, de l'algorithme d'apprentissage, le volume de données nécessaires, etc. Comment cela ? Ceci est une autre histoire, un autre article !

Cependant il nous faut insister sur un élément important : Utiliser des neurones impulsionnels ou à décharge n’exclut pas de faire d’applications utilisables en industrie. Par ailleurs, il faut savoir qu’il existe un grand débat sur si oui ou non l’utilisation de neurone à décharges permet de modéliser le biologique : si oui, à quelle échelle ? si non, pourquoi ? et qu’en est-il de la modélisation du fonctionnement cognitif ? Peut-on modéliser le raisonnement ? ou la prise de décision humaine ? Vous l’aurez compris, plusieurs questions sont en suspens ! Ce qui nous fait autant de sujets d’articles à partager avec vous !

D’ici là voici une cartographie qui reprend les réseaux de neurones, cités dans les articles de cette série, classés selon le type de spike émis :

L’article 1/3 aborde de manière simple la grande famille des Réseaux de neurones à spike explicites, ceux que nous vous avons détaillé dans les deux articles suivants. L’article 2/3 présente les Réseaux de neurones artificiels classiques les plus connus : les modèles à temps discret mais aussi les modèles sans spikes les cartes auto-organisées de Kohonen. L’article 3/3, ci-dessus, présente les Réseaux de neurones impulsionnels, modèles à temps continu.

Si vous connaissez des articles, vidéos, liens de médiations scientifiques autour des neurones impulsionnels ou de classifications de familles de réseaux de neurones, partagez-les en commentaires !

Cet article conclut la série sur les réseaux de neurones et l’année 2019 ! En vous souhaitant de passer de bonnes fêtes de fin d’année, nous espérons vous retrouvez nombreuses et nombreux en 2018 !

Pour citer cet article : 

Ikram Chraibi Kaadoud & André Garenne. Architecture des réseaux de neurones : Réseaux de neurones impulsionnels (3/3)! Publication sur le blog de https://scilogs.fr/intelligence-mecanique, Décembre 2018

Référence

• Alexandre Frédéric, 2005. Les spiking neurons : une leçon de la biologie pour le codage et le traitement des données. Faouzi Ghorbel, Stephane Derrode, Jean-Paul Haton et Lamia Ben Youssef. Traitement et Analyse de l'Information Méthodes et Applications - TAIMA'05, Hammamet/Tunisie. https://hal.inria.fr/inria-00000506/document
• Chartier, S., & Boukadoum, M., 2011. Encoding static and temporal patterns with a bidirectional heteroassociative memory. Journal of Applied Mathematics, 2011. https://www.hindawi.com/journals/jam/2011/301204/
• Durand, Stéphane, 1995. TOM, une architecture connexionniste de traitement de séquences : application à la reconnaissance de la parole. Thèse de doctorat, Nancy 1.
• Grossberg, Stephen. ,2013. Adaptive Resonance Theory: How a brain learns to consciously attend, learn, and recognize a changing world. Neural Networks, 37, 1-47. PDF
• Martinez, Régis, 2011. Dynamique des systèmes cognitifs et des systèmes complexes. Thèse de doctorat, Université Lumière Lyon 2.
• Rougier, Nicolas P, 2000. Modèles de mémoires pour la navigation autonome. Thèse de doctorat, Université Henri Poincaré-Nancy I.
• Salakhutdinov, R., & Larochelle, H. 2010. Efficient learning of deep Boltzmann machines. In Proceedings of the thirteenth international conference on artificial intelligence and statistics(pp. 693-700). http://www.iro.umontreal.ca/~bengioy/ift6266/H12/html/deepgm_fr.html

• Thorpe Simon, 2012 “Spike-based Image Processing: Can we reproduce biology in hardware?, Workshop on Biological and Computer Vision Interfaces in Firenze, Italy, http://www-sop.inria.fr/manifestations/wbcvi2012/slides/thorpe.pdf