Recommandation de contenus : comment améliorer les algorithmes grâce à l’humain ?

En décembre 2020, Octopeek participait à la 7e édition du workshop CiML (Challenges in Machine Learning) organisé dans le cadre de la convention NeurIPS 2020. L’enjeu : identifier les bonnes pratiques en matière de tests et d’évaluation des algorithmes, et valoriser les innovations à base d’Intelligence Artificielle (IA) dans le domaine. Nous avons eu l’honneur d’y présenter la plateforme Renewal, ainsi que les résultats des travaux de recherche menés conjointement avec CentraleSupélec sur les méthodes d’évaluation temps réel des systèmes de recommandation de contenus.

Pourquoi développer des algorithmes de recommandation de contenus ?

Les journées ne faisant que 24h, et le temps à consacrer à la lecture de contenus étant limité, les systèmes de recommandation visent à fournir aux utilisateurs une sélection des informations les plus pertinentes. Et pour les plateformes commerciales utilisant ces systèmes, l’objectif est d’augmenter le nombre de clics et de fidéliser les utilisateurs. 

Les recommandations d’actualités se distinguent des autres systèmes de recommandation pour plusieurs raisons : la nature propre des contenus recommandés (popularité dynamique, contenu textuel riche, volume en constante croissance, courte durée de vie), les habitudes de consommation des utilisateurs (le besoin de nouvelles fraîches, d’intérêts à long terme et à court terme), la pertinence des articles en fonction du temps et du lieu.

Et la plateforme Renewal, alors ?

La plateforme Renewal propose à la communauté de chercheurs de tester et d’améliorer leurs propres systèmes de recommandation en temps réel. Une application mobile permet aux utilisateurs finaux réels de tester la pertinence des algorithmes, en sélectionnant les contenus recommandés qu’ils jugent les plus pertinents. 

Notez que l’évaluation en temps réel de la pertinence est implicite : les utilisateurs n’ont pas besoin de spécifier une valeur pour chaque article d’actualité choisi. La plateforme Renewal apporte ainsi une alternative aux évaluations offline d’algorithme de recommandation, traditionnellement utilisées dans la communauté de recherche.

Elle diffère aussi des autres plateformes d’évaluation temps réel (online) des systèmes de recommandation de contenus, tel que NewsREEL, sur certains points : 

• Renewal présente aux utilisateurs finaux des articles provenant de différentes sources,
• l’évaluation de l’intérêt de l’utilisateur pour un article se base sur le temps de lecture et non sur le simple clic,
• l’évaluation tient compte d’un historique de lecture de l’utilisateur final plus long terme que celui des plateformes telles que NewsREEL, car l’utilisateur est enregistré sur l’application couplée à la plateforme Renewal.

Comment s’organisent les tests d’algorithmes sur Renewal ?

La plateforme Renewal sera d’abord testée dans le cadre d’un concours à petite échelle impliquant des étudiants de l’école CentraleSupélec. L’objectif de ce premier test sera de collecter des retours d’expérience sur l’application mobile, la mise en œuvre d’algorithmes de recommandation et la manière dont les utilisateurs finaux seront impliqués dans l’évaluation finale des algorithmes de recommandation temps réel en compétition.

Pour ce premier concours, les étudiants de CentraleSupélec seront à la fois les créateurs des algorithmes et les utilisateurs finaux. Tout sera fait pour faciliter le processus de création des algorithmes de recommandation. Les étudiants recevront aussi les résultats du challenge en temps réel. Ce système de feedback amusant, stimulant, compétitif et motivant aura pour objectif d’aider les étudiants à mesurer les résultats de leurs algorithmes tout en les incitant à se surpasser pour remporter le premier prix de la compétition. 

Les résultats obtenus lors de ce premier concours permettront d’optimiser la plateforme. Il sera alors temps de passer à l’évaluation d’autres systèmes de recommandation, au-delà des actualités, et dans des contextes de recherche bien plus vastes.

Comment amener les utilisateurs finaux à participer aux tests d’algorithmes ?  

Pour favoriser la participation des utilisateurs aux compétitions sur la plateforme Renewal, nous avons travaillé sur deux principaux points : la création d’algorithmes et la gamification.

Faciliter l’implémentation des systèmes de recommandation en compétition 

Pour ne pas perdre du temps dans les premières étapes de la création des systèmes de recommandation et se concentrer sur l’élaboration des algorithmes en tant que tels, la plateforme Renewal est fournie avec des modèles de base sur lesquels les compétiteurs peuvent s’appuyer pour former leurs propres algorithmes. L’objectif est de s’assurer que tous les participants puissent créer et tester le plus rapidement possible leur modèle de recommandation.

Favoriser l’ambiance et l’envie de gagner propres aux compétitions sportives

L’évaluation des algorithmes en compétition sur la plateforme Renewal est similaire au système de classement Elo, utilisé notamment aux Échecs. Si une équipe participante n’est pas en mesure de concourir, un algorithme de base prendra automatiquement le relai. L’équipe ne sera pas pénalisée pour ne pas s’être présentée, et son concurrent aura toujours une chance de grimper dans le classement en battant l’algorithme remplaçant.

Par ailleurs, le classement en temps réel des algorithmes, associé à un système de récompenses pour la meilleure équipe, crée une ambiance de match à laquelle il est difficile de résister. L’esprit d’équipe favorise la créativité, la motivation et l’envie de se dépasser. Toutes les conditions sont ainsi réunies pour voir apparaître les meilleurs systèmes de recommandation en temps réel, dans un délai relativement court.

La plateforme Renewal développée par Octopeek se veut simple et puissante, afin d’accélérer l’évaluation temps réel des algorithmes de recommandation de contenus. Testée lors d’un futur challenge en partenariat avec CentraleSupelec, la plateforme Renewal accueillera une compétition entre étudiants pour la création du meilleur algorithme de recommandation. Ce dispositif pourra ensuite être déployé à l’échelle de la communauté de la recherche, en complément des systèmes d’évaluation traditionnels.