Une plateforme d’évaluation temps réel pour la recommandation d’articles d’actualité

Octopeek mène de nombreux sujets de R&D en intelligence artificielle dont celui de Julien Hay, doctorant et Data Scientist, spécialisé en intelligence artificielle et en traitement du langage naturel (NLP).

Julien nous présente son projet de recherche.

The Renewal Project

En décembre dernier tu étais à la conférence NeurIPS 2018 à Montréal afin de présenter un projet sur lequel tu travailles. Avant de nous parler de ton projet, peux-tu expliquer aux non initiés l’objectif de cette conférence ?

La conférence NeurIPS est LE grand rendez-vous annuel du Machine Learning et des Neural Networks. On y traite de l’intelligence artificielle et des neurosciences computationnelles. Concrètement c’est une des plus grandes conférences au monde sur l’intelligence artificielle. Cette année, nous y avons rencontré de nombreux chercheurs et de grandes entreprises de l’IT telles que Google, Netflix, Nvidia, Amazon et d’autres.

Dans le cadre de ta thèse CIFRE issue du partenariat entre CentraleSupélec et Octopeek, tu as effectué les recherches bibliographiques nécessaires à la spécification de ton projet. Quelles étaient tes observations ?

Nous avons pu dégager des manques dans l’état de l’art des plateformes de challenges notamment en termes de données à disposition (contenu des articles d’actualités et historique de lecture des utilisateurs), mais également en termes de biais d’évaluation introduit par les contraintes techniques de certaines plateformes tel que NewsREEL. Puis nous avons développé en 2018 un premier prototype de ce projet.

Tu as présenté ton projet “Renewal”. Tu peux nous en dire plus sur son origine et son principe ?

Le projet a été introduit dans le workshop CiML (Machine Learning competitions “in the wild”: Playing in the real world or in real time) ayant pour sujet les challenges et plateformes  permettant une interaction temps réel avec le monde, et, dans le cas du projet Renewal, une interaction temps réel avec des utilisateurs. L’intérêt premier de ce workshop est de rassembler des chercheurs autour de tâches spécifiques et donc de favoriser la recherche autour de problématiques communes.

Le projet a été introduit dans le workshop CiML (Machine Learning competitions “in the wild”: Playing in the real world or in real time) ayant pour sujet les challenges et plateformes permettant une interaction temps réel avec le monde, et, dans le cas du projet Renewal, une interaction temps réel avec des utilisateurs. L’intérêt premier de ce workshop est de rassembler des chercheurs autour de tâches spécifiques et donc de favoriser la recherche autour de problématiques communes. La plateforme Renewal est un projet de plateforme de challenge dédiée aux systèmes de recommandation. Elle permettra à différentes équipes de recherche de proposer des algorithmes de recommandation qui seront évalués et comparés en temps réel.

Le projet Renewal émerge de la volonté du pôle R&D d’Octopeek de contribuer à la recherche par l’organisation de challenges ainsi que du manque de cadres d’évaluation fiables dans la communauté des systèmes de recommandation. Les challenges sont à la fois un moyen d’obtenir des indicateurs solides des performances des algorithmes et modèles proposés dans une communauté, mais également de pouvoir les comparer et ainsi déterminer quel modèle est le plus performant pour quelle tâche. La spécification d’un cadre d’évaluation tel que proposé est un travail de recherche à part entière dans l’exploration de méthodes permettant de débiaiser les évaluations et de composer une architecture permettant la mise en concurrence d’algorithmes.

Peux-tu décrire les étapes de conception et de développement de l’application ?

La première étape fut de développer l’application mobile permettant d’envoyer des recommandations d’articles d’actualité aux utilisateurs, ceci afin de mettre en place notre cadre d’expérimentation.

Nous avons, en parallèle, développé une architecture adaptée à ce type de plateforme de confrontation. Cette plateforme gère à la fois l’indexation des articles d’actualité sur le web ainsi que l’assignement des utilisateurs aux différents algorithmes de recommandation des équipes de recherche. Un premier prototype a été développé courant 2018. Le schéma ci- dessous illustre l’architecture globale de Renewal. La plateforme back-end (partie gauche) prend en charge l’indexation des articles sur le web en exploitant différentes sources. Puis toutes les informations sont envoyées aux algorithmes des équipes de recherche (en bas à droite sur le schéma) qui envoient leurs recommandations aux utilisateurs sur leur mobile (en haut à droite). Enfin, nous observons, à travers l’application mobile, toutes les interactions utilisateur afin d’évaluer chaque système mis en jeu.

En quoi consiste l’application mobile et comment vas-tu évaluer la performance des algorithmes ?

L’application présente des articles d’actualité recommandés par différents systèmes (cf. figure à gauche). Dans le cas où l’utilisateur choisit de lire plus souvent les articles du système A que ceux du système B, alors nous établirons en temps réel que la confrontation A contre B est favorable à A (bien entendu en faisant la moyenne sur tous les utilisateurs assignés aux systèmes A et B). Nous employons donc la technique d’évaluation appelée A/B testing.

Merci Julien. C’est très clair. Quelles sont les prochaines étapes ?

Dans un premier temps nous allons finaliser le développement de la plateforme en mettant en place la partie évaluation temps réelle ainsi que la communication entre l’application mobile et notre architecture back-end. Puis nous prévoyons l’organisation de campagnes d’évaluations ainsi que de workshops autour de cette plateforme et de la tâche de recommandation d’articles d’actualités. Le développement du projet reprend en septembre 2019 avec un financement du LRI (Laboratoire de Recherche en Informatique).