GPT-3 : la nouvelle IA d’Open AI à la loupe

De toute évidence, le troisième modèle de langage naturel généraliste développé par Open AI bat tous les records de performance. Baptisée GPT-3, pour « Generative Pre-Training Transformer 3 », cette nouvelle IA est dotée d’un tel potentiel que Microsoft s’en est déjà réservé l’exclusivité pour ses produits et services. Pour en savoir plus sur GPT-3, David Oldham (President Octopeek Inc. – USA) a interrogé Ouassim AIT ELHARA, responsable innovation et R&D chez Octopeek.

Qu’est-ce que GPT-3 exactement ?

GPT-3 est l’édition la plus récente du modèle de traitement de langage naturel (NLP) développé par OpenAI. C’est aussi à ce jour le modèle linguistique le plus efficace jamais sorti. Ce que je veux dire par là, c’est qu’il ne fait pas qu’apporter une nouvelle réponse aux problématiques du langage naturel ; GPT-3 permet de le faire à une plus grande échelle. L’IA est entrainé avec 175 milliards de paramètres, soit cent fois plus que la précédente version sortie en 2019. 

La qualité des résultats obtenus avec ce modèle s’explique aussi par le fait que GPT-3 appartient à la catégorie du « feature learning ». Il est « pré-entrainé » sur une version d’un corpus textuel issu d’une grosse proportion du web. Cet apprentissage étant global, GPT-3 peut être utilisé tel quel sur un très grand nombre de tâches distinctes, sans entrainement supplémentaire. Par exemple, lorsqu’on lui a posé directement la question « Quel est ton animal favori ? », GPT-3 a répondu « mon animal préféré est un chien ».

Nous savons donc désormais que l’animal préféré de l’IA est le chien. Quelles sont les avancées technologiques apportées par GPT-3 ?

GPT-3 est une nouvelle étape dans notre capacité à modéliser le langage humain. Encore une fois, le modèle s’appuie sur une telle quantité de données qu’il apporte une représentation beaucoup plus précise, beaucoup plus complète, de la connaissance disponible à ce jour sur Internet. Pour le moment, il est trop tôt pour appréhender tous les changements que cela va générer dans nos vies, mais sa performance parle d’elle-même. C’est à ce jour un très bel exploit en matière d’ingénierie, et une étape importante dans le traitement générique du langage naturel.   

Sait-on déjà comment les entreprises utiliseront cette technologie ? 

Il y aura certainement deux types d’usage. Je pense en premier lieu aux acteurs de l’IA (techniciens, ingénieurs, data scientists…) qui pourront se servir de GPT-3 comme une brique de construction de modèles bien plus vastes, au même titre que n’importe quel autre algorithme ou modèle de langage. Pour le moment, GPT-3 est performant sur la résolution de tâches génériques, mais il n’est pas aussi précis qu’un modèle super-entrainé sur une tâche hyper-spécifique. 

L’autre usage, c’est celui d’un super assistant personnel. Je parle d’« assistant » car GPT-3 n’est pas capable de raisonner comme un humain peut le faire. Il faut plutôt le voir comme une gigantesque mémoire capable de trouver et de remonter l’information en temps réel. Cela semble d’ailleurs presque magique. Mais contrairement à l’humain, qui est capable de produire des idées nouvelles, l’IA construit ses réponses à partir d’une vision statistique de la proximité récurrente des mots les uns par rapport aux autres.