Deep Learning Démystifié — Du Perceptron aux Réseaux Modernes (CNN, RNN, LSTM)

Introduction

Les réseaux de neurones artificiels sont l'une des innovations les plus puissantes et les plus impactantes de l'apprentissage automatique moderne. Inspirés par le fonctionnement du cerveau biologique, ces systèmes composés de nombreuses unités simples interconnectées peuvent apprendre et résoudre des problèmes extraordinairement complexes. Le "deep learning" - l'utilisation de réseaux avec plusieurs couches cachées - a révolutionné des domaines comme la vision par ordinateur et le traitement du langage naturel.

De la reconnaissance d'images au traitement du langage en passant par la génération de contenu créatif, les réseaux de neurones profonds sont derrière la plupart des avancées spectaculaires en IA ces dernières années. Ce cours vous guidera à travers l'évolution de ces architectures, de leurs fondations théoriques jusqu'aux applications pratiques modernes.

Le Perceptron : Les Débuts

Le perceptron est le prédécesseur de tous les réseaux de neurones modernes. Inventé par Frank Rosenblatt en 1958, c'est un modèle mathématique simple d'un neurone biologique. Le perceptron prend plusieurs entrées numériques, assigne à chacune un poids, les additionne, applique une fonction seuil, et produit une sortie binaire (0 ou 1).

Formellement, le perceptron calcule : output = 1 si (w1×x1 + w2×x2 + ... + wn×xn) > threshold, sinon 0. Les poids (w1, w2, ...) et le seuil (threshold) sont les paramètres que le perceptron apprend à partir des données d'entraînement. Si on prédit incorrectement un exemple, les poids sont ajustés dans la direction qui réduirait l'erreur.

Le perceptron peut apprendre toute fonction linéairement séparable - c'est-à-dire tout problème où une ligne droite (en 2D) ou un hyperplan (en dimensions supérieures) peut séparer les deux classes. Cependant, en 1969, Minsky et Papert ont montré que le perceptron ne peut pas résoudre même des problèmes simples non-linéaires comme l'XOR (OU exclusif). Cette limitation a mené au premier "hiver de l'IA".

Fonctions d'Activation

La clé pour surmonter les limitations du perceptron était l'utilisation de fonctions d'activation non-linéaires. Au lieu de simplement seuil binaire du perceptron, on ajoute une fonction qui introduit de la non-linéarité, permettant au réseau d'apprendre des frontières de décision complexes.

La fonction sigmoid (logistique) a longtemps été la standard. Elle mappe toute valeur à un nombre entre 0 et 1 : sigmoid(x) = 1 / (1 + e^-x). Elle ressemble à une "S" lisse, donc elle est différentiable partout, ce qui est crucial pour l'entraînement via la rétropropagation. La fonction tanh (tangente hyperbolique) est similaire mais mappe entre -1 et 1 et a une meilleure performance pratique.

Plus récemment, la fonction ReLU (Rectified Linear Unit) a dominé le deep learning moderne. ReLU(x) = max(0, x) - elle retourne simplement x si x est positif, et 0 sinon. ReLU est exceptionnellement simple à calculer, se différencie presque partout, et empiriquement conduit à une convergence plus rapide et à de meilleures performances dans les réseaux profonds. Elle a partiellement résolu le problème de "vanishing gradient" qui affectait les fonctions sigmoïde et tanh dans les réseaux profonds.

Autres variantes : Leaky ReLU permet un petit gradient négatif, ELU (Exponential Linear Unit) et SELU (Scaled ELU) sont lisses aux deux côtés de 0. Pour les couches de sortie, on utilise généralement softmax pour la classification multi-classe, qui normalise les outputs en probabilités.

Rétropropagation et Entraînement

La rétropropagation (backpropagation) est l'algorithme qui a permis l'entraînement efficace des réseaux de neurones multi-couches. Elle utilise la règle de chaîne du calcul différentiel pour calculer efficacement le gradient de la fonction de perte par rapport à chaque paramètre (poids et biais).

L'algorithme procède en deux étapes. D'abord, la passe avant (forward pass) calcule les activations de chaque couche, couche par couche, jusqu'à produire une prédiction. Ensuite, la passe arrière (backward pass) calcule comment la perte change par rapport à chaque paramètre, en remontant du dernier neurone jusqu'aux premiers.

Une fois les gradients calculés, ils sont utilisés pour mettre à jour les poids, typiquement via la descente de gradient : w_nouveau = w_ancien - learning_rate × gradient. Le learning_rate (taux d'apprentissage) est un hyperparamètre crucial - trop grand et l'entraînement devient instable, trop petit et l'entraînement devient très lent.

Des variantes de la descente de gradient standard sont maintenant courantes : Momentum accumule les gradients passés pour une convergence plus rapide, Adam (Adaptive Moment Estimation) adapte le learning_rate pour chaque paramètre, RMSprop normalise par la magnitude des gradients récents. Adam est devenu le standard industriel car il fonctionne bien sur une large gamme de problèmes avec peu de tuning.

Architectures Modernes

Réseaux de Neurones Convolutionnels (CNN) sont optimisés pour les données en grille comme les images. Au lieu de couches entièrement connectées, elles utilisent des couches convolutionnelles qui appliquent un petit filtre (kernel) partout sur l'image, détectant des features locales comme les bords, les textures, puis des motifs plus complexes. Les couches de pooling réduisent les dimensions. Les CNN révolutionné la vision par ordinateur et restent dominant pour traiter les images.

Réseaux de Neurones Récurrents (RNN) et leurs variantes LSTM (Long Short-Term Memory) et GRU (Gated Recurrent Unit) traitent les séquences. Contrairement aux réseaux feedforward qui traitent des entrées statiques, les RNN maintiennent un état caché qui se mets à jour à chaque pas de temps. Cela permet de modéliser des dépendances temporelles. LSTMs résolvent le problème du vanishing gradient dans les RNNs simples en utilisant des "portes" (gates) qui contrôlent le flux d'information. Ils dominent les tâches de traitement du langage naturel comme la traduction et la génération de texte.

Transformers ont révolutionné le NLP ces dernières années. Au lieu de traiter les séquences de manière séquentielle, ils utilisent un mécanisme d'attention qui permet à chaque élément de la séquence d'interagir directement avec tous les autres. Cela permet un entraînement parallèle beaucoup plus efficace et capture mieux les dépendances long-distance. Les transformers sont la base des modèles de langage de grande taille modernes comme GPT et Claude.

Transfer Learning (apprentissage par transfert) est une technique puissante où on prend un modèle entraîné sur une grande tâche générique et on l'adapte à une tâche spécifique avec peu de données. Par exemple, un CNN entraîné pour classifier 1000 catégories générales peut être retouché efficacement pour identifier des types spécifiques d'oiseaux rares. C'est immensément pratique et économe en ressources.

Applications Pratiques

Vision par Ordinateur : Les CNNs dominent. Détection d'objets (localiser ET classifier les objets dans une image), segmentation sémantique (assigner une classe à chaque pixel), reconnaissance faciale, diagnostic médical basé sur l'imagerie. Les réseaux modernes comme ResNet, EfficientNet, et Vision Transformers établissent des records sur les benchmarks.

Traitement du Langage Naturel (NLP) : Initialement dominé par les RNNs et LSTMs, maintenant les Transformers règnent. Traduction automatique, génération de texte, résumé, analyse de sentiment, question-answering, modèles de langage de grande taille (LLMs) comme GPT-4 et Claude. Ces modèles, entraînés sur des centaines de milliards de mots, sont devenu des assistants polyvalents.

Reconnaissance de la Parole (Speech): Les RNNs et Transformers convertissent l'audio en texte. Combinés avec des modèles de langage, cela alimente les assistants vocaux comme Siri et Alexa.

Apprentissage par Renforcement : Les réseaux de neurones profonds guident les agents d'IA. AlphaGo utilise un CNN pour évaluer les positions du Go et une MCTS (Monte-Carlo Tree Search) pour la planification. AlphaFold prédit les structures 3D des protéines en combinant des architectures d'attention avec des convolutions géométriques.