Pourquoi le GPU est nécessaire pour la formation en IA

Avec le boom de l’IA déclenché par ChatGPT, les GPU sont devenus la pierre angulaire des plateformes de formation de grands modèles d’IA, et peuvent même être considérés comme la base arithmétique décisive. Pour répondre à la question de savoir pourquoi le GPU est nécessaire pour la formation en IA, il est essentiel de comprendre les principales technologies de l'intelligence artificielle (IA) et du deep learning.

Intelligence artificielle et apprentissage profond

L'intelligence artificielle est une discipline avec une longue histoire. Depuis les années 1950, elle a été explorée dans diverses directions technologiques, connaissant plusieurs hauts et bas. Les débuts de l’intelligence artificielle ont donné naissance à un genre quelque peu infructueux connu sous le nom de « réseaux de neurones artificiels ». Le concept derrière cette technologie était que l’intelligence du cerveau humain est sans précédent et que pour parvenir à une intelligence artificielle avancée, il est essentiel d’imiter le cerveau humain. Le cerveau humain est constitué de milliards de neurones interconnectés pour former un réseau neuronal vaste et complexe. Le cerveau d'un bébé est comme une page vierge qui, grâce à l'apprentissage postnatal, peut atteindre des niveaux élevés d'intelligence.

Des modèles de neurones artificiels ont été conçus pour s'inspirer des neurones du cerveau humain. Dans les neurones artificiels du côté droit du diagramme, l’ajustement du poids de chaque entrée et son traitement via le neurone donnent la sortie correspondante. Dans ce contexte, chaque poids est appelé paramètre.

Connecter plusieurs neurones comme celui-ci pour former un réseau aboutit à un réseau neuronal artificiel. Les réseaux de neurones artificiels se composent généralement d’une couche d’entrée, de plusieurs couches cachées entre elles et d’une couche de sortie.

De tels réseaux neuronaux artificiels s'apparentent au cerveau d'un bébé : vide et nécessitant une quantité importante de données pour apprendre de manière globale et acquérir des connaissances nécessaires à la résolution pratique de problèmes. Ce processus est connu sous le nom d’« apprentissage profond » et relève du sous-ensemble de « l’apprentissage automatique ».

Dans l’approche couramment utilisée de « l’apprentissage supervisé », les données transmises à l’IA doivent contenir à la fois le problème et la réponse. Par exemple, si l’objectif est d’entraîner l’IA à détecter si une image contient un chat, nous devons fournir à l’IA de nombreuses images étiquetées comme contenant un chat, ainsi que les caractéristiques déterminantes des chats. L’IA utilisera ensuite ces exemples pour apprendre les modèles et les caractéristiques des chats.

Le processus d'apprentissage commence par l'analyse par l'IA d'une image donnée à l'aide de son ensemble initial de paramètres. Il compare ensuite sa conclusion à la bonne réponse et ajuste les pondérations des paramètres en conséquence. Ce processus itératif se poursuit jusqu'à ce que le résultat de l'IA corresponde étroitement à la bonne réponse.

Ce processus d'apprentissage est appelé formation. Généralement, fournir à l’IA une grande quantité de données avec des réponses correctes connues se traduira par de meilleurs résultats de formation. Une fois satisfaits de la formation, nous pouvons tester les performances de l’IA sur des problèmes inconnus. Si l’IA parvient à trouver les réponses avec précision, nous considérons que la formation est réussie et l’IA a démontré de bonnes capacités de « généralisation ».

Comme le montre le diagramme, le transfert des poids des paramètres d'une couche du réseau neuronal à la suivante est essentiellement une multiplication et une addition matricielles. Plus l'échelle des paramètres du réseau neuronal est grande, plus les calculs matriciels requis pendant la formation sont étendus.

Les réseaux neuronaux d’apprentissage profond les plus avancés peuvent contenir des centaines de millions, voire des milliards de paramètres, et nécessitent de grandes quantités de données d’entraînement pour atteindre une grande précision. Cela signifie qu’ils doivent traiter un nombre énorme d’échantillons d’entrée par propagation vers l’avant et vers l’arrière. Puisque les réseaux de neurones sont construits à partir d’un grand nombre de neurones identiques, ces calculs sont intrinsèquement hautement parallèles. Compte tenu des exigences informatiques massives, devrions-nous utiliser un CPU ou un GPU ?

CPU vs GPU

Le CPU (Central Processing Unit) est le cerveau de l’ordinateur, le cœur du cœur. Il se compose principalement d'une unité arithmétique et logique (ALU) pour effectuer des calculs et d'une unité de contrôle (CU) pour gérer le flux de données et d'instructions.

Lorsque les données arrivent, elles sont d'abord stockées en mémoire. L'unité de contrôle récupère ensuite les données pertinentes de la mémoire et les transmet à l'ALU pour traitement. Une fois le calcul terminé, le résultat est stocké en mémoire.

Au début, un processeur disposait d’un seul ensemble d’ALU, de CU et de cache et ne pouvait traiter qu’une seule tâche à la fois. Pour gérer plusieurs tâches, le processeur devrait les mettre en file d'attente et les exécuter séquentiellement, en partageant les ressources.

Plus tard, plusieurs ensembles d'ALU, de CU et de cache ont été intégrés sur une seule puce, créant ainsi un processeur multicœur. Les processeurs multicœurs ont de véritables capacités de traitement parallèle.

En règle générale, les processeurs modernes comportent de quelques cœurs à des dizaines de cœurs. Lorsque les smartphones ont commencé à se généraliser, les fabricants ont fortement insisté sur le nombre de cœurs, conduisant à une « guerre des cœurs » sur le marché des smartphones. Cependant, cette course au nombre de cœurs a finalement atteint un plateau et les fabricants de puces se sont concentrés sur l'optimisation des performances des cœurs.

Pourquoi les processeurs n’intègrent-ils pas encore plus de cœurs ? En effet, le CPU est un processeur à usage général. Ses tâches sont très complexes, l'obligeant à gérer différents types de calculs de données et à répondre aux interactions homme-machine. La gestion et la planification complexes des tâches nécessitent des unités de contrôle plus sophistiquées et des caches plus volumineux pour maintenir une faible latence lors du basculement entre les tâches. À mesure que le nombre de cœurs augmente, la surcharge de communication entre les cœurs augmente également, ce qui peut dégrader les performances de chaque cœur. De plus, avoir plus de cœurs peut augmenter la consommation d'énergie et si la charge de travail n'est pas répartie uniformément, les performances globales peuvent ne pas s'améliorer, voire diminuer.

GPU, Expert en Informatique Parallèle

Plongeons dans le domaine du GPU. Le GPU, également connu sous le nom d'unité de traitement graphique, a été conçu à l'origine pour alléger la charge du processeur, en accélérant le rendu des graphiques tridimensionnels, couramment utilisés dans les cartes graphiques des ordinateurs. Le traitement d’images est essentiellement une forme de calcul parallèle intensif axé sur les matrices. Comme le montre le diagramme ci-dessous, l'image de gauche est composée de nombreux pixels et peut être naturellement représentée sous forme de matrice à droite.

Le terme « GPU » a gagné en popularité en 1999 avec la sortie par Nvidia du GeForce256, un produit qui traite simultanément chaque point de pixel, effectuant des calculs parallèles mathématiquement intensifs tels que les transformations graphiques, l'éclairage et le découpage des triangles pour le rendu de l'image.

La capacité des GPU à gérer le calcul parallèle intensif découle de leurs différences architecturales par rapport aux CPU. Les processeurs ont moins de cœurs, chaque cœur possédant un cache important et des capacités de calcul robustes, ainsi qu'une prise en charge matérielle de nombreuses prédictions de branche d'accélération et de jugements logiques encore plus complexes, ce qui les rend adaptés à la gestion de tâches complexes.

En revanche, les GPU sont plus simples et plus brutaux ; chaque cœur a une puissance de calcul et une taille de cache limitées, s'appuyant sur un nombre croissant de cœurs pour améliorer les performances globales. Avec un nombre plus élevé de cœurs, les GPU peuvent effectuer plusieurs tâches efficacement en traitant un grand volume de tâches informatiques parallèles simples.

Au fil du temps, les GPU ont évolué pour devenir plus polyvalents et programmables, étendant leurs fonctionnalités au-delà du rendu de l'affichage d'images pour accélérer le calcul haute performance, l'apprentissage en profondeur et d'autres charges de travail. Saisissant l'opportunité présentée par l'augmentation de la demande de calcul parallèle piloté par l'intelligence artificielle, les GPU ont abandonné leur ancien rôle périphérique pour occuper le devant de la scène, devenant ainsi très recherchés. Le terme « GPU » s'est transformé en GPGPU, désignant un GPU à usage général. Tirer parti du parallélisme inhérent de la formation de l'IA sur les GPU augmente considérablement la vitesse par rapport à la formation utilisant uniquement des processeurs, ce qui en fait la plate-forme privilégiée pour la formation de systèmes complexes et à grande échelle basés sur des réseaux neuronaux. La nature parallèle des opérations d’inférence s’aligne bien avec l’exécution sur GPU. Par conséquent, la puissance de calcul fournie par les GPU en tant que force principale est appelée « calcul intelligent ».