L’Intelligence artificielle est sur toutes les lèvres depuis un peu plus d’un an et l’arrivée de ChatGPT. Derrière toutes les possibilités imaginables, mesure-t-on notre capacité à contenir l’impact environnemental de ces technologies ? Nous avons obtenu quelques éléments de réponse pendant la conférence de Thomas Solignac à la Caisse d’Epargne Normandie, le 15 février dernier.
Thomas Solignac est entrepreneur dans l’IA (Intelligence Artificielle) depuis dix ans et passionné par le sujet. Il a notamment créé l’entreprise Golem.ai spécialisée dans le NLP (Natural language processing) et le NLU (Natural language understanding), soit la compréhension et le traitement du langage naturel. Il était présent lors de la dernière soirée NWX le 15 février dernier à la Caisse d’Epargne Normandie pour partager son analyse de la frugalité dans l’IA. Voici un résumé de cette conférence éclairante sur cette thématique où nous manquons encore beaucoup d’informations.
On peut choisir de ne pas faire de blockchain.
On peut choisir de ne pas faire de métavers.
On ne peut pas choisir de ne pas faire d’IA.
C’est ainsi que Thomas commence sa conférence. L’IA est l’évolution logique de l’informatique et il paraît difficile de ne pas être amené à s’en servir, quel que soit son secteur d’activité.
Il revient pour commencer sur les évolutions rapides des derniers mois et particulièrement l’énorme coup marketing qu’a été ChatGPT. Avec des compétences très variées et une capacité à créer de la nouveauté en mobilisant des concepts existants, ce LLM (Large language model, modèle linguistique en français) a entraîné une révolution de l’accessibilité de l’IA auprès du grand public.
Mais comment fonctionne un LLM ?
Sa recette est constituée de trois grandes briques : un énorme modèle basé sur le deep-learning et les dernières technologies. C’est un très gros réseau de neurones artificiels tel que présenté ci-dessous qui traite les informations avec une approche probabiliste.
A ce niveau, GPT3 (le modèle derrière ChatGPT à sa sortie grand public) comporte environ 180 milliards de paramètres (les neurones ci-dessus) . Le précédent modèle GPT2 (datant de 2019) en comportait lui 1,5 milliard, soit plus de 100 fois moins ! On commence dès lors à entrevoir l’impact environnemental que peut entraîner une telle complexité.
La deuxième brique du LLM, c’est son entraînement sur un énorme volume de données. Dans le cas de ChatPGT, l’entraînement s’est fait avec la répartition suivante : diverses sources Internet (82%), Livres (15%) et Wikipédia (3%).
La troisième brique du LLM, c’est le fine-tuning (perfectionnement) afin de lui apprendre à réagir correctement et à déterminer comment mobiliser la connaissance afin de reproduire une conversation avec l’utilisateur.
IA et consommation énergétique
Cette technologie de LLM s’appuyant sur le deep-learning repose finalement sur deux piliers afin d’augmenter sa capacité et sa fiabilité : plus de puissance de calcul et un plus grand volume de données. Et ces besoins augmentent d’autant plus dès qu’on traite des informations plus complexes telles que des images ou des vidéos.
Pour illustrer ces besoins grandissants, Thomas nous invite à observer l’évolution de la consommation électrique des data centers : représentant 1% de la consommation électrique mondiale en 2020 avec un peu plus de 200 TWh, elle pourrait plus que doubler d’ici à 2030 et atteindre 500 TWh, en raison principalement de l’essor de l’IA.
Mais à l’origine, Thomas nous apprend que deux approches de l’IA se développaient en parallèle : l’IA symbolique et l’IA connexionniste. La première gère le raisonnement formel et sa logique, et est facilement explicable là où la seconde est probabiliste et très difficile à expliquer. Elle est bien plus gourmande en puissance de calcul. Vous l’aurez sûrement compris, les modèles actuels tels que ChatGPT repose sur l’IA connexionniste et est donc extrêmement consommatrice d’énergie.
Thomas utilise alors un élément économique pour imager cette explosion des besoins en puissance de calcul : les revenus de la société Nvidia, principal fabricant de processeurs graphiques et qui s’est spécialisée dans la fabrication de processeurs adaptés aux besoins du deep-learning. Le chiffre d’affaires de l’entreprise a été multiplié par plus de 5 entre 2016 et 2023, passant de 5 à 27 milliards de dollars.
Comment alors rendre l’IA plus frugale ?
- Thomas distingue deux niveaux d’action :
- L’optimisation bas niveau : faire que chaque opération soit plus efficace. Cela passe par :
- Le choix du langage de programmation
- L’optimisation du code
- Des cartes électroniques spécialisées et donc plus efficaces
- L’optimisation haut niveau : limiter le nombre d’opérations. Cela passe par :
- Des changements au niveau des algorithmes
- Des changements de structures de données
- Une spécialisation des algorithmes
Au final, Thomas nous partage ce qui peut être fait aujourd’hui pour avancer dans le sens d’une IA plus frugale :
- Prévoir des architectures adaptées aux problèmes traités (plutôt plusieurs petits composants spécialisés qui s’enchaînent plutôt qu’un gros bloc bien souvent plus gourmand)
- Optimiser les modèles de deep-learning
- Ne pas tout miser sur le deep-learning, il existe souvent des alternatives plus simples et donc moins consommatrices
- Introduire une mesure de la performance énergétique des algorithmes
- Intégrer des compétences dans l’équipe technique pour intégrer les optimisations bas & haut niveau
- Continuer de développer de nouvelles approches d’IA plus frugales par essence
Nous ne pouvons nous empêcher d’y ajouter une sobriété d’usage : se poser la question de la nécessité de recourir à l’IA dès qu’on envisage de le faire, selon la logique phare de la démarche numérique responsable : Refuser, réduire, compenser.