Échecs et désillusions en IA : les erreurs à ne pas commettre

Comme tout autre, un projet en intelligence artificielle qui échoue a des conséquences sur l’entreprise qui l’a commandité – conséquences qui peuvent être très lourdes en fonction du niveau critique du projet. Perte de temps, engagement financier sans retour sur investissement, déception des métiers sur des opportunités manquées de changements de modèles… Les désillusions sont courantes et conduisent à remettre en cause la confiance dans l’IA. Trop souvent encore, cette dernière est considérée comme la solution ultime à un problème, alors qu’elle n’est qu’un moyen. L’intelligence artificielle pâtit en effet des attentes trop fortes et de l’idéalisation de ses capacités, comme c’est fréquemment le cas sur les projets informatiques.

Pour éviter ces échecs et désillusions, Octopeek revient, via des cas d’usages, sur les grandes erreurs à ne pas commettre pour réussir son projet IA.

Mal identifier les besoins de l’entreprise

Bien comprendre le besoin auquel doit répondre un projet IA est essentiel pour bien orienter le travail. Une des premières causes d’échec de ce type de projet est la non-utilisation des algorithmes conçus après leur mise en production. Cet investissement sans concrétisation est souvent dû à une mauvaise identification du problème au départ du projet. 

Prenons pour exemple le projet IA d’un groupe immobilier officiant en BtoB. L’objectif de l’entreprise était de fournir aux agents immobiliers une intelligence artificielle capable d’estimer les prix des biens immobiliers sur le marché. Après le passage en production, le modèle défini n’a malheureusement pas évolué et les prédictions de l’IA ne correspondaient plus à la réalité. Avec de telles divergences par rapport au marché, l’algorithme conçu n’avait plus de valeur pour les utilisateurs car il ne prenait pas en compte les évolutions dans le temps. Et quand l’humain finit par corriger les résultats d’une IA, celle-ci devient une perte de temps.

D’où l’importance d’un diagnostic précis au démarrage de tout projet IA. Comprendre les besoins, les enjeux et l’environnement d’une entreprise est à la base du succès. Cela permet de bien cadrer le projet pour éviter les erreurs et de faire les choses par étapes pour avancer dans la bonne direction.

Se tromper d’échelle

Dans la lignée d’une bonne compréhension des besoins et des enjeux de l’entreprise, dimensionner un projet IA influe grandement sur sa réussite. Un projet trop gros, qui intègre trop de fonctionnalités ou évolue trop vite peut tout simplement conduire à un over engineering qui fera échouer le projet. Bien souvent, les projets IA sont abandonnés en cours de route à la faveur de solutions low cost et toutes prêtes, qui rassurent les entreprises malgré le manque de personnalisation et d’adaptabilité. L’échec se mesure aussi dans des projets qui n’aboutissent pas, malgré leurs promesses et empêchés par des changements de priorité dans les directions, ou tout simplement des budgets coupés.

Pour ne pas se tromper d’échelle dans son projet, la clé est d’impliquer les métiers concernés dès le démarrage. En incluant les utilisateurs qui se serviront de l’IA au quotidien et qui en ont le réel besoin, on s’assure de coller à leurs réalités et d’adapter parfaitement la solution.

Concevoir des “boîtes noires”

Dans tout projet d’intelligence artificielle, le facteur humain conserve toute son importance. Adapter une solution à son utilisateur, c’est aussi s’assurer de sa praticité, de sa facilité de prise en main. En cas de changement d’équipe dans l’entreprise, la reprise du projet peut être mise en péril par sa complexité. Il est crucial de mettre en place un algorithme bien conçu, avec un paramétrage aisé, sans avoir à toucher le code. Sans aller vers trop de transparence pour des questions évidentes de confidentialité, il faut éviter ce qu’on appelle la “boîte noire” : l’incapacité à interpréter ou expliciter des résultats d’une IA car on ne connaît pas son modèle de fonctionnement et qu’on ne peut pas agir sur ses indicateurs.

Bonne documentation, pédagogie, communication… Ce sont des facteurs clés de la réussite d’un projet IA, fortement dépendant de l’équipe constituée pour le mener. Un bon staffing doit permettre de construire, mettre en place, corriger, suivre, mesurer les algorithmes conçus. S’appuyer sur des data scientists seuls est risqué : il faut miser sur des profils divers, dont des développeurs, pour mettre en place toute la solution.

Oublier le monitoring

À défaut d’une équipe importante, on doit avoir les bons outils qui permettront de déployer et d’entraîner facilement l’intelligence artificielle. Pour comprendre si un algorithme fonctionne bien, il faut pouvoir le mesurer, vérifier sa vitesse de calcul, la cohérence de ses résultats avec les réalités etc. Les grands échecs des projets IA se jouent aussi sur les outils utilisés : cloud vs on-premise, technologies mises en place, solutions de stockage de données, code ou no code…

Il existe beaucoup d’acteurs sur le marché qui permettent un suivi au quotidien des projets IA, comme DataRobot par exemple, partenaire d’Octopeek. Spécialement recommandé pour les entreprises qui n’intègrent pas de data scientist, il permet de trouver automatiquement le modèle le plus adapté et les outils qui correspondent le mieux aux besoins des équipes en entreprise.

Négliger la qualité des données

La majeure partie des échecs et désillusions en IA repose sur la data traitée par les algorithmes. La donnée est cruciale car c’est la matière brute qui va nourrir le projet et lui permettre d’en tirer des résultats. Et si la data est de mauvaise qualité, elle entraîne forcément des biais. Prenons l’exemple des cabinets de recrutement. Un intégrateur intermédiaire souhaitait commercialiser un outil de matching de CVs avec des emplois donnés, afin de faire gagner du temps aux ressources humaines dans le recrutement et dans la réponse aux offres. L’algorithme conçu pour opérer ce matching a été entraîné sur des données incorrectes et a introduit des biais qui le rende inutilisable pour les clients. Au-delà de l’explicabilité des résultats obtenus (sélection ou non d’un profil, motif de rejet…) et malgré le bon fonctionnement de l’outil, le modèle a été mal utilisé car il reposait sur une donnée de mauvaise qualité.

Réussir un projet IA, c’est aussi se reposer sur un volume de données de qualité, bien traitées en amont par les data scientists, et qui n’introduit pas de biais dans l’algorithme.

Se contenter d’un premier bon résultat

Il est crucial de tester dans la durée, et de bien tester, un algorithme mis en production. Se poser la question de la dose de hasard dans des résultats donnés, c’est avoir bien conscience de la nécessité pour une intelligence artificielle d’ingérer tous les éléments qu’on lui inculque et d’être pertinente sur le long terme.

Le test permet de détecter toute faille dans la conception de l’IA. Ça a été le cas pour une grande plateforme e-commerce française, qui a souhaité mettre en place un outil de prédiction du nombre de produits à ajouter au jour le jour sur sa marketplace. Si l’IA remplit son contrat de base, elle ne prend pas en compte les promotions et les événements de soldes qui rythment le calendrier commercial. Le modèle se trouve donc fortement biaisé et potentiellement dommageable pour l’entreprise. Le test a permis de détecter ce dysfonctionnement et de corriger le tir en intégrant le calendrier commercial à l’IA pour lui permettre de revenir sur ses premiers calculs.

Créer un indice de confiance sur les résultats, fixer des seuils, tester plusieurs fois le fonctionnement… C’est ce qui assure la cohérence de l’algorithme et donne le “go” final à son utilisation.

Il faut bien avoir en tête que l’intelligence artificielle n’est pas absolue, elle repose encore sur des savoirs empiriques. Par définition, le 100% est impossible et anormal dans les résultats d’un algorithme. Surtout dans les premiers, qui sont toujours très améliorables.

L’échec d’un projet IA, comme pour tout projet, n’est pas inévitable mais il permet de réagir et de faire évoluer le travail dans le bon sens. C’est d’ailleurs tout l’intérêt d’une méthodologie agile dans la mise en place d’un projet IA dans l’entreprise : elle permet de constituer des briques industrialisables, de faire rapidement des ajustements sans avoir à repartir de zéro et de tirer les bonnes conclusions pour avancer.

Avant d’entamer un projet data incluant de l’IA, Octopeek préconise systématiquement un diagnostic de maturité, composé d’un audit organisationnel et d’un audit technique. Celui-ci permet de déterminer la meilleure façon d’entreprendre avec succès votre projet data et IA.