Yotam Oren, est le PDG et cofondateur de Mona Labs, une plate-forme qui permet aux entreprises de transformer des initiatives d’IA d’expériences en laboratoire en évolutives opérations commerciales en comprenant réellement le comportement des modèles ML dans les processus et applications métier réels.
Mona analyse automatiquement le comportement de vos modèles d’apprentissage automatique sur des segments de données protégés et dans le contexte des fonctions métier, afin de détecter biais potentiel de l’IA. Mona offre la possibilité de générer des rapports d’équité complets conformes aux normes et réglementations de l’industrie, et offre la certitude que l’application d’IA est conforme et exempte de tout parti pris.
Qu’est-ce qui vous a initialement attiré vers l’informatique ?
L’informatique est un cheminement de carrière populaire dans ma famille, donc c’était toujours à l’esprit comme une option viable. Bien sûr, la culture israélienne est très pro-tech. Nous célébrons les technologues innovants et j’ai toujours eu l’impression que CS m’offrirait une piste de croissance et de réussite.
Malgré cela, cela n’est devenu une passion personnelle que lorsque j’ai atteint l’âge universitaire. Je ne faisais pas partie de ces enfants qui ont commencé à coder au collège. Dans ma jeunesse, j’étais trop occupé à jouer au basket pour faire attention aux ordinateurs. Après le lycée, j’ai passé près de 5 ans dans l’armée, dans des rôles de leadership opérationnel/de combat. Donc, d’une certaine manière, je n’ai vraiment commencé à en apprendre davantage sur l’informatique que lorsque j’ai eu besoin de choisir une majeure académique à l’université. Ce qui a immédiatement attiré mon attention, c’est que l’informatique combinait résolution de problèmes et apprentissage d’une langue (ou de plusieurs langues). Deux choses m’ont particulièrement intéressé. À partir de là, j’ai été accro.
De 2006 à 2008, vous avez travaillé sur la cartographie et la navigation pour une petite startup, quelles ont été certaines de vos principales leçons à retenir de cette époque ?
Mon rôle chez Telmap consistait à créer un moteur de recherche basé sur des données cartographiques et de localisation.
C’était les tout premiers jours du”big data”dans le entreprise. Nous ne l’appelions même pas ainsi, mais nous acquérions d’énormes ensembles de données et essayions de tirer les informations les plus percutantes et les plus pertinentes à présenter à nos utilisateurs finaux.
L’une des réalisations frappantes que j’ai eues était que les entreprises (y compris nous) ont utilisé si peu de leurs données (sans parler des données externes accessibles au public). Il y avait tellement de potentiel pour de nouvelles idées, de meilleurs processus et expériences.
L’autre point à retenir était que la possibilité d’obtenir plus de données reposait, bien sûr, sur de meilleures architectures, une meilleure infrastructure, etc.
Pourriez-vous partager l’histoire de la genèse de Mona Labs ?
Nous trois, cofondateurs, avons travaillé autour des produits de données tout au long de notre carrière.
Nemo, le directeur de la technologie, est mon ami d’université et camarade de classe, et l’un des premiers employés de Google Tel Aviv. Il y a lancé un produit appelé Google Trends, qui comportait de nombreuses analyses avancées et un apprentissage automatique basé sur les données des moteurs de recherche. Itai, l’autre co-fondateur et chef de produit, faisait partie de l’équipe de Nemo chez Google (et lui et moi nous sommes rencontrés via Nemo). Les deux étaient toujours frustrés que les systèmes pilotés par l’IA ne soient pas surveillés après le développement et les tests initiaux. Malgré la difficulté de tester correctement ces systèmes avant la production, les équipes ne savaient toujours pas si leurs modèles prédictifs fonctionnaient au fil du temps. De plus, il semblait que la seule fois où ils entendaient des commentaires sur les systèmes d’IA, c’était lorsque les choses allaient mal et que l’équipe de développement était appelée pour un « exercice d’incendie » pour résoudre des problèmes catastrophiques.
À peu près au même moment , j’étais consultant chez McKinsey & Co, et l’un des plus grands obstacles que j’ai vus à la mise à l’échelle des programmes d’IA et de Big Data dans les grandes entreprises était le manque de confiance des parties prenantes de l’entreprise envers ces programmes.
Le point commun fil ici est devenu clair pour Nemo, Itai et moi-même dans les conversations. L’industrie avait besoin d’une infrastructure pour surveiller les systèmes d’IA/ML en production. Nous avons imaginé de fournir cette visibilité afin d’accroître la confiance des parties prenantes de l’entreprise et de permettre aux équipes d’intelligence artificielle de toujours avoir une idée de l’état de leurs systèmes et d’itérer plus efficacement.
Et c’est à ce moment-là que Mona a été fondée.
Quels sont certains des problèmes actuels liés au manque de transparence de l’IA ?
Dans de nombreux secteurs, les organisations ont déjà dépensé des dizaines d’années des millions de dollars dans leurs programmes d’IA, et ont connu un certain succès initial en laboratoire et dans des déploiements à petite échelle. Mais la mise à l’échelle, l’adoption à grande échelle et la confiance de l’entreprise dans l’IA ont été un énorme défi pour presque tout le monde.
Pourquoi cela se produit-il ? Eh bien, cela commence par le fait qu’une excellente recherche ne se traduit pas automatiquement par d’excellents produits (un client nous a dit un jour :”Les modèles ML sont comme des voitures, dès qu’ils quittent le laboratoire, ils perdent 20 % de leur valeur”). Les grands produits ont des systèmes de support. Il existe des outils et des processus pour s’assurer que la qualité est maintenue au fil du temps et que les problèmes sont détectés tôt et traités efficacement. Les bons produits ont également une boucle de rétroaction continue, ils ont un cycle d’amélioration et une feuille de route. Par conséquent, les bons produits nécessitent une transparence profonde et constante des performances.
Lorsqu’il y a un manque de transparence, vous vous retrouvez avec :
Des problèmes qui restent cachés pendant un certain temps, puis éclatent à la surface, provoquant des”exercices d’incendie ”Enquêtes et mesures d’atténuation longues et manuellesUn programme d’IA auquel les utilisateurs professionnels et les sponsors ne font pas confiance et qui finalement ne parvient pas à évoluer
Quels sont certains des défis à relever pour rendre les modèles prédictifs transparents et dignes de confiance ?
La transparence est un facteur important pour établir la confiance, bien sûr. La transparence peut prendre plusieurs formes. Il existe une transparence de prédiction unique qui peut inclure l’affichage du niveau de confiance à l’utilisateur ou la fourniture d’une explication/justification de la prédiction. La transparence de la prédiction unique vise principalement à aider l’utilisateur à se familiariser avec la prédiction. Et puis, il y a la transparence globale qui peut inclure des informations sur la précision prédictive, les résultats inattendus et les problèmes potentiels. L’équipe d’IA a besoin d’une transparence globale.
La partie la plus difficile de la transparence globale consiste à détecter les problèmes tôt, en alertant le membre de l’équipe concerné afin qu’il puisse prendre des mesures correctives avant que les catastrophes ne se produisent.
Pourquoi est-il difficile de détecter les problèmes à un stade précoce :
Les problèmes commencent souvent petit et mijotent, avant d’éclater à la surface.Les problèmes commencent souvent en raison de facteurs incontrôlables ou externes, tels que les sources de données.Il existe de nombreuses façons de”diviser le monde”et la recherche exhaustive de problèmes dans de petites poches peut entraîner beaucoup de bruit (fatigue d’alerte), du moins lorsque cela est fait dans une approche naïve.
Un autre aspect difficile de la transparence est la prolifération pure et simple de l’utilisation de l’IA cas. Cela rend une approche unique presque impossible. Chaque cas d’utilisation de l’IA peut inclure différentes structures de données, différents cycles économiques, différentes mesures de réussite et souvent différentes approches techniques et même des piles.
C’est donc une tâche monumentale, mais la transparence est si fondamentale pour le succès de Programmes d’IA, donc vous devez le faire.
Pourriez-vous partager quelques détails sur les solutions pour les modèles NLU/NLP et les chatbots ?
L’IA conversationnelle est l’un des principaux secteurs verticaux de Mona. Nous sommes fiers de soutenir des entreprises innovantes avec un large éventail de cas d’utilisation de l’IA conversationnelle, y compris des modèles de langage, des chatbots et plus encore.
Un facteur commun à ces cas d’utilisation est que les modèles fonctionnent de manière proche (et parfois visible) aux clients, les risques de performances incohérentes ou de mauvais comportements sont donc plus élevés. Il devient si important pour les équipes d’IA conversationnelle de comprendre le comportement du système à un niveau granulaire, ce qui est l’un des points forts de la solution de surveillance de Mona.
Ce que la solution de Mona fait de tout à fait unique, c’est de filtrer systématiquement les groupes de conversations et trouver des poches dans lesquelles les modèles (ou bots) se comportent mal. Cela permet aux équipes d’IA conversationnelle d’identifier les problèmes tôt et avant que les clients ne les remarquent. Cette capacité est un facteur de décision essentiel pour les équipes d’IA conversationnelle lors de la sélection de solutions de surveillance.
Pour résumer, Mona fournit une solution de bout en bout pour la surveillance de l’IA conversationnelle. Cela commence par s’assurer qu’il existe une source unique d’informations sur le comportement des systèmes au fil du temps, et se poursuit par un suivi continu des indicateurs de performance clés et des informations proactives sur les poches de comportement répréhensible, permettant aux équipes de prendre des mesures correctives préventives et efficaces.
Pourriez-vous donner quelques détails sur le moteur d’insights de Mona ?
Bien sûr. Commençons par la motivation. L’objectif du moteur d’insights est de signaler les anomalies aux utilisateurs, avec juste la bonne quantité d’informations contextuelles et sans créer de bruit ni entraîner de fatigue d’alerte.
Le moteur d’insights est unique en son genre. type de flux de travail analytique. Dans ce flux de travail, le moteur recherche les anomalies dans tous les segments des données, permettant une détection précoce des problèmes lorsqu’ils sont encore”petits”, et avant qu’ils n’affectent l’ensemble de données et les KPI métier en aval. Il utilise ensuite un algorithme propriétaire pour détecter les causes profondes des anomalies et s’assure que chaque anomalie n’est alertée qu’une seule fois afin d’éviter le bruit. Les types d’anomalies pris en charge incluent : les anomalies de séries chronologiques, les dérives, les valeurs aberrantes, la dégradation du modèle, etc.
Le moteur d’analyse est hautement personnalisable via la configuration intuitive sans code/à faible code de Mona. La configurabilité du moteur fait de Mona la solution la plus flexible du marché, couvrant un large éventail de cas d’utilisation (par exemple, batch et streaming, avec/sans retour d’information métier/vérité terrain, entre les versions de modèles ou entre train et inférence, et plus ).
Enfin, ce moteur d’analyse est soutenu par un tableau de bord de visualisation, dans lequel les informations peuvent être visualisées, et un ensemble d’outils d’investigation pour permettre l’analyse des causes profondes et une exploration plus approfondie des informations contextuelles. Le moteur d’informations est également entièrement intégré à un moteur de notification qui permet d’alimenter les environnements de travail des utilisateurs, y compris les e-mails, les plates-formes de collaboration, etc.
Le 31 janvier, Mona a dévoilé sa nouvelle solution d’équité en matière d’IA, pourriez-vous partager avec nous des détails sur ce qu’est cette fonctionnalité et pourquoi elle est importante ?
L’équité de l’IA consiste à garantir que les algorithmes et les systèmes basés sur l’IA en général prennent des décisions impartiales et équitables. Il est crucial de traiter et de prévenir les biais dans les systèmes d’IA, car ils peuvent avoir des conséquences importantes dans le monde réel. Avec l’importance croissante de l’IA, l’impact sur la vie quotidienne des gens serait visible dans de plus en plus d’endroits, notamment en automatisant notre conduite, en détectant les maladies avec plus de précision, en améliorant notre compréhension du monde et même en créant de l’art. Si nous ne pouvons pas être sûrs qu’elle est juste et impartiale, comment pourrions-nous lui permettre de continuer à se propager ?
L’une des principales causes de biais dans l’IA est simplement la capacité des données d’entraînement du modèle à représenter la réalité monde au complet. Cela peut provenir d’une discrimination historique, d’une sous-représentation de certains groupes ou même d’une manipulation intentionnelle des données. Par exemple, un système de reconnaissance faciale formé sur des personnes principalement à la peau claire est susceptible d’avoir un taux d’erreur plus élevé dans la reconnaissance des personnes à la peau plus foncée. De même, un modèle de langage entraîné sur des données textuelles provenant d’un ensemble restreint de sources peut développer des biais si les données sont biaisées en faveur de certaines visions du monde, sur des sujets tels que la religion, la culture, etc.
La solution d’équité de l’IA de Mona donne aux équipes d’IA et d’entreprise l’assurance que leur IA est exempte de biais. Dans les secteurs réglementés, la solution de Mona peut préparer les équipes à la préparation à la conformité.
La solution d’équité de Mona est spéciale car elle repose sur la plate-forme Mona-un pont entre les données et les modèles d’IA et leurs implications dans le monde réel. Mona examine toutes les parties du processus métier que le modèle d’IA sert en production, pour établir une corrélation entre les données de formation, le comportement du modèle et les résultats réels dans le monde réel afin de fournir l’évaluation la plus complète de l’équité.
Deuxièmement, il dispose d’un moteur analytique unique en son genre qui permet une segmentation flexible des données pour contrôler les paramètres pertinents. Cela permet des évaluations précises des corrélations dans le bon contexte, en évitant le paradoxe de Simpson et en fournissant un véritable « score de biais » profond pour toute mesure de performance et sur toute fonctionnalité protégée.
Donc, dans l’ensemble, je dirais que Mona est un élément fondamental élément pour les équipes qui ont besoin de créer et de faire évoluer une IA responsable.
Quelle est votre vision de l’avenir de l’IA ?
C’est une grande question.
Je pense qu’il est simple de prédire que l’IA continuera de croître en termes d’utilisation et d’impact dans une variété de secteurs industriels et de facettes de la vie des gens. Cependant, il est difficile de prendre au sérieux une vision qui est détaillée et tente en même temps de couvrir tous les cas d’utilisation et les implications de l’IA dans le futur. Parce que personne n’en sait vraiment assez pour peindre ce tableau de manière crédible.
Cela étant dit, ce que nous savons avec certitude, c’est que l’IA sera entre les mains de plus de personnes et servira à plus d’objectifs. Le besoin de gouvernance et de transparence augmentera donc considérablement.
La visibilité réelle sur l’IA et son fonctionnement jouera deux rôles principaux. Premièrement, cela aidera à instaurer la confiance dans les gens et à lever les barrières de résistance pour une adoption plus rapide. Deuxièmement, cela aidera quiconque exploite l’IA à s’assurer qu’elle ne devienne pas incontrôlable.
Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter Mona Labs.