L’audit de l’IA consiste à évaluer les systèmes d’IA pour s’assurer qu’ils fonctionnent comme prévu, sans parti pris ni discrimination et qu’ils sont conformes aux normes éthiques et juridiques. L’IA a connu une croissance exponentielle au cours de la dernière décennie. Par conséquent, les risques liés à l’IA sont devenus une préoccupation pour les organisations. Comme l’a dit Elon Musk :
“L’IA est un cas rare où je pense que nous devons être proactifs dans la réglementation plutôt que réactifs.”
Les organisations doivent développer la gouvernance, l’évaluation des risques et le contrôle stratégies pour les employés travaillant avec l’IA. La responsabilité de l’IA devient essentielle dans la prise de décision où les enjeux sont importants, comme le déploiement de la police dans un domaine et pas dans l’autre, l’embauche et le rejet de candidats.
Cet article présente un aperçu de l’audit de l’IA, des cadres et des réglementations pour les audits de l’IA, ainsi qu’une liste de contrôle pour l’audit des applications d’IA.
Facteurs à prendre en compte
Conformité : évaluation des risques liés à la conformité d’un système d’IA aux considérations juridiques, réglementaires, éthiques et sociales.Technologie : évaluation des risques liés aux capacités techniques, y compris l’apprentissage automatique, les normes de sécurité et les performances du modèle.
Défis pour l’audit des systèmes d’IA
Biais : les systèmes d’IA peuvent amplifier les biais dans les données sur lesquelles ils sont formés et prendre des décisions injustes. Reconnaissant ce problème, un institut de recherche sur les problèmes de recherche de l’Université de Stanford, Human Centered AI (HAI), a lancé un défi d’innovation de 71 000 USD pour Concevoir de meilleurs audits d’IA. L’objectif de ce défi était d’interdire la discrimination dans les systèmes d’IA.Complexité : les systèmes d’IA, en particulier ceux qui utilisent l’apprentissage en profondeur, sont complexes et manquent d’interprétabilité.
Réglementations et cadres existants pour l’audit de l’IA
Règlements et cadres agir comme l’étoile polaire pour l’audit de l’IA. Certains cadres et réglementations d’audit importants sont abordés ci-dessous.
Cadres d’audit
Cadre COBIT (Objectifs de contrôle des technologies de l’information et des technologies connexes) : il s’agit du cadre de gouvernance et de gestion informatique d’une entreprise. IIA ( Institute of Internal Auditors) Cadre d’audit de l’IA: Ce cadre d’IA vise à évaluer la conception, le développement et le fonctionnement des systèmes d’IA et leur alignement avec les objectifs de l’organisation. Les trois principales composantes du cadre d’audit de l’IA de l’IIA sont la stratégie, la gouvernance et le facteur humain. Il comporte sept éléments qui sont les suivants : Cyber Résilience Compétences en IA Qualité des données Architecture et infrastructure des données Mesure de la performance Éthique La boîte noire Cadre COSO ERM : ce cadre fournit un cadre de référence pour évaluer les risques pour les systèmes d’IA dans une organisation. Il comporte cinq composants pour l’audit interne : Environnement interne : s’assurer que la gouvernance et la gestion de l’organisation gèrent les risques liés à l’IA Définition des objectifs : collaborer avec les parties prenantes pour élaborer une stratégie de risque l’impact du risque ?Réponse au risque : comment l’organisation répondra-t-elle aux situations à risque, telles qu’une qualité des données sous-optimale ?
Règlements
Le règlement général sur la protection des données (RGPD) est une loi dans le Règlement de l’UE qui oblige les organisations à utiliser les données personnelles. Il comporte sept principes :
Légalité, équité et transparence : le traitement des données personnelles doit respecter la loi. Limitation de la finalité : utiliser les données uniquement à des fins spécifiques. Minimisation des données : les données personnelles doivent être adéquates et limitées. Précision : les données doivent être exactes et à jour. dateLimitation de stockage : ne stockez plus les données personnelles qui ne sont plus nécessairesIntégrité et confidentialité : les données personnelles étaient utilisées pour être traitées en toute sécuritéResponsabilité : le contrôleur doit traiter les données de manière responsable conformément aux conformités.gov/privacy/ccpa”>CCPA et PIPEDA.
Liste de contrôle pour l’audit d’IA
Sources de données
Identification et La vérification des sources de données est la principale considération dans l’audit des systèmes d’IA. Les auditeurs vérifient la qualité des données et si l’entreprise peut les utiliser.
Validation croisée
S’assurer que le modèle est correctement validé est l’une des listes de contrôle des auditeurs. Les données de validation ne doivent pas être utilisées pour la formation, et les techniques de validation doivent garantir la généralisabilité du modèle.
Hébergement sécurisé
Dans certains cas, les systèmes d’IA utilisent des données personnelles. Il est important d’évaluer si les services d’hébergement ou de cloud répondent aux exigences de sécurité de l’information telles que les directives OWASP (Open Web Application Security Project).
AI explicable
L’IA explicable fait référence à l’interprétation et à la compréhension les décisions prises par le système d’IA et les facteurs qui l’affectent. Les auditeurs vérifient si les modèles sont suffisamment explicables à l’aide de techniques telles que LIME et SHAP.
Sorties du modèle
L’équité est la première chose que les auditeurs garantissent dans les sorties du modèle. Les sorties du modèle doivent rester cohérentes lorsque des variables telles que le sexe, la race ou la religion sont modifiées. De plus, la qualité des prédictions à l’aide de la méthode de notation appropriée est également évaluée.
Social Feedback
AI Auditing est un processus continu. Une fois déployé, les auditeurs doivent voir l’impact social du système d’IA. Le système d’IA et la stratégie de risque doivent être modifiés et audités en conséquence en fonction des commentaires, de l’utilisation, des conséquences et de l’influence, positives ou négatives.
Entreprises qui auditent les pipelines et les applications d’IA
Les cinq principales sociétés qui auditent l’IA sont les suivantes :
Deloitte : Deloitte est le plus grand cabinet de services professionnels au monde et fournit des services liés à l’audit, à la fiscalité et au conseil financier. Deloitte utilise la RPA, l’IA et l’analyse pour aider les organisations à évaluer les risques de leurs systèmes d’IA. PwC: PwC est le deuxième plus grand réseau de services professionnels en termes de chiffre d’affaires. Ils ont développé des méthodologies d’audit pour aider les organisations à garantir la responsabilité, la fiabilité et la transparence. EY : En 2022, EY a annoncé un investissement de 1 milliard de dollars dans une IA-plate-forme technologique activée pour fournir des services d’audit de haute qualité. Les entreprises qui sont axées sur l’IA sont bien informées pour auditer les systèmes d’IA. KPMG: KPMG est le quatrième plus grand cabinet de services comptables. KPMG fournit des services personnalisés en matière de gouvernance de l’IA, d’évaluation des risques et de contrôle. prévient ou atténue les risques associés aux systèmes d’IA. Transparence : l’audit garantit que les applications d’IA sont exemptes de préjugés et de discrimination. Conformité : l’audit des applications d’IA signifie que le système respecte les conformités légales et réglementaires. h2>
Les organisations, les autorités de réglementation et les auditeurs doivent se tenir au courant des progrès de l’IA, prendre conscience de ses menaces potentielles et réviser fréquemment les réglementations, les cadres et les stratégies pour garantir une utilisation équitable, sans risque et éthique.
En 2021, 193 États membres de l’UNESCO ont adopté un accord mondial sur l’éthique des IA. L’IA est un écosystème en constante évolution.