En mars 2019, le très attendu rapport parlementaire sur l’intelligence artificielle dirigé par Cédric Villani était enfin révélé au public. Le mathématicien pointait notamment les enjeux éthiques de l’IA, soulignant la nécessité de soutenir la recherche sur l’explicabilité des modèles, avec une volonté « d’ouvrir la boîte noire de l’IA ».

Si le mathématicien souhaitait promouvoir la recherche dans cette voie, de nombreux scientifiques des données et entreprises se sont déjà heurtés à ce besoin d’expliquer les résultats de leurs algorithmes d’intelligence artificielle et des modèles établis avec eux. Les scientifiques des données devaient disposer d’outils explicites pour démontrer la pertinence de leurs modèles à leur direction et aux experts métiers.

Certains doivent se limiter à des algorithmes moins performants afin de pouvoir rester en conformité avec la réglementation, comme c’est le cas dans le secteur bancaire. Illustration de l’importance du sujet, en 2017, bien avant le rapport Villani, l’agence de recherche de l’armée américaine, la Darpa, lançait l’initiative XAI (eXplainable Artificial Intelligence), un programme de recherche visant à expliquer les décisions de modèles d’IA réputés comme étant des boîtes noires, les réseaux de neurones. Déjà, l’agence évoquait des implications de cette recherche dans les domaines militaire et sécuritaire, mais aussi dans la médecine, le transport, la finance, le droit.

Contourner le problème en privilégiant les algorithmes interprétables

Tous les algorithmes mis en œuvre par les scientifiques des données ne sont pas des boîtes noires. Certains sont directement interprétables, comme les régressions linéaires, régressions logistiques, les arbres de décision, les systèmes à base de règles de type RuleFit, des classifications basées sur les réseaux Bayesiens ou encore l'algorithme des k plus proches voisins (Knn). Ces modèles sont notamment privilégiés dans les secteurs fortement réglementés comme la finance, la banque, lorsqu’il s’agit de pouvoir démontrer au régulateur pourquoi telle ou telle décision a été prise. « L’avantage d’un modèle interprétable par nature est d’avoir des relations linéaires faciles à décrire » résumait Pietro Turati, consultant sénior, Eleven Strategy Consultants, lors de la conférence AI Paris 2019.
« Une variable influe positivement ou négativement sur le résultat, ou le résultat est la succession de règles logiques faciles à expliquer à des experts métiers. Attention, il faut néanmoins y apporter un point d’attention car si c’est facile sur le principe, quand on a des milliers de règles métiers, c’est difficile de les synthétiser pour les expliquer aux experts ».

La startup française Craft AI qui s’est positionnée avec une offre d’IA as a Service a fait le choix de limiter son offre à ces modèles explicables. Clodéric Mars, son directeur technique explique ce choix très structurant : « nous avons fait le choix de ne recourir qu’à des modèles complètement explicables. En nous appuyant sur des arbres de décision, nous avons la garantie de pouvoir expliquer les résultats produits par nos modèles. Nous avons fait ce choix car nous ne voulions pas avoir de dichotomie entre le modèle réellement exécuté et le modèle expliqué ». 

L’expert souligne que les algorithmes d’apprentissage par arbre de décision existent depuis longtemps et qu’il en existe de multiples implémentations. C’est notamment le cas dans Scikit-learn, une librairie Python open source, développée par Inria et très populaire auprès des scientifiques des données. Cependant, ces implémentations, et plus généralement la recherche autour de l’apprentissage par arbres de décision, n’ont pas évolué depuis longtemps.

« Ces domaines de l’IA sont moins actifs que l’apprentissage profond appliqué à la reconnaissance d’image, par exemple », déplore Clodéric Mars. « Depuis 4 ans qu’existe Craft AI, nous avons réalisé un gros effort de R&D, notamment afin d’améliorer les algorithmes de base d’arbres de décision et augmenter leurs performances dans le cas d’usage qui nous intéresse, celui des séries temporelles. C’est un effort qui se poursuit et s’intensifie aujourd'hui. Nous avons fait le choix de publier un certain nombre de nos résultats et le sens de notre offre d’IA explicable "As a Service" est d’industrialiser et de rendre ces algorithmes accessibles aux entreprises ».

L’éditeur travaille sur cette problématique de l’IA explicable dans le cadre du pôle Systematic, mais aussi en tant que membre fondateur d'Impact IA, une initiative lancée par Microsoft et quelques grands groupes comme Axa, et s’intéresse à l’éthique de l’IA. « Dans ce cadre, l’explicabilité est un facilitateur, car elle permet de valider qu’une IA respecte des règles éthiques, que celle-ci n’est pas affligée d’un biais quelconque ».