A auditoria de IA refere-se à avaliação de sistemas de IA para garantir que funcionem conforme o esperado, sem viés ou discriminação e que estejam alinhados com os padrões éticos e legais. A IA experimentou um crescimento exponencial na última década. Consequentemente, os riscos relacionados à IA tornaram-se uma preocupação para as organizações. Como disse Elon Musk:
“A IA é um caso raro em que precisamos ser proativos na regulamentação, em vez de reativos.”
As organizações devem desenvolver governança, avaliação de riscos e controle estratégias para funcionários que trabalham com IA. A responsabilidade da IA torna-se crítica na tomada de decisões onde os riscos são altos, como implantar o policiamento em uma área e não na outra, contratar e rejeitar candidatos.
Este artigo apresentará uma visão geral da auditoria de IA, estruturas e regulamentos para auditorias de IA e uma lista de verificação para auditoria de aplicativos de IA.
Fatores a serem considerados
Conformidade: avaliação de risco relacionada à conformidade de um sistema de IA com considerações legais, regulatórias, éticas e sociais. Tecnologia: avaliação de risco relacionada a recursos técnicos, incluindo aprendizado de máquina, padrões de segurança e desempenho do modelo.
Desafios para auditar sistemas de IA
Viés: os sistemas de IA podem amplificar os vieses nos dados em que são treinados e tomar decisões injustas. Reconhecendo esse problema, um instituto de pesquisa de problemas de pesquisa na Universidade de Stanford, Human Centered AI (HAI), lançou um desafio de inovação de $ 71.000 para Projete melhores auditorias de IA. O objetivo deste desafio era proibir a discriminação em sistemas de IA. Complexidade: os sistemas de IA, especialmente aqueles que empregam aprendizagem profunda, são complexos e carecem de capacidade de interpretação.
Regulamentos e estruturas existentes para auditoria de IA
Regulamentos e estruturas atuar como a estrela do norte para auditar a IA. Algumas estruturas e regulamentações importantes de auditoria são discutidas abaixo.
Estruturas de auditoria
Estrutura COBIT (objetivos de controle para a tecnologia da informação e relacionada): É a estrutura para governança e gerenciamento de TI de uma empresa.IIA’s ( Institute of Internal Auditors) Estrutura de auditoria de IA: Esta estrutura de IA visa avaliar o design, o desenvolvimento e o funcionamento de sistemas de IA e seu alinhamento com os objetivos da organização. Os três componentes principais da Estrutura de Auditoria de IIA do IIA são Estratégia, Governança e Fator Humano. Ele tem sete elementos que são os seguintes:Cyber ResilienceAI CompetenciesData QualityData Architecture & InfrastructureMeasuring PerformanceEthicsThe Black BoxCOSO ERM Framework: Esta estrutura fornece um quadro de referência para avaliar os riscos para sistemas de IA em uma organização. Possui cinco componentes para auditoria interna:Ambiente Interno: Garantir que a governança e a gestão da Organização estão gerenciando riscos de IADefinição de Objetivo: Colaborar com as partes interessadas para fazer a estratégia de riscoIdentificação de Eventos: Identificar riscos nos sistemas de IA, como vieses não intencionais, violação de dados Avaliação de Risco: O que será o impacto do risco?Resposta ao risco: como a organização responderá a situações de risco, como qualidade de dados abaixo do ideal?
Regulamentos
O Regulamento Geral de Proteção de Dados (GDPR) é uma lei no Regulamento da UE que obriga as organizações a usar dados pessoais. Possui sete princípios:
Legalidade, justiça e transparência: o processamento de dados pessoais deve obedecer à leiLimitação de finalidade: usar dados apenas para uma finalidade específicaMinimização de dados: os dados pessoais devem ser adequados e limitadosPrecisão: os dados devem ser precisos e até dateStorage Limitation: Não armazene dados pessoais que não sejam mais necessários Integridade e confidencialidade: dados pessoais usados para serem processados com segurança Responsabilidade: o controlador deve processar dados de forma responsável seguindo as conformidades
Outras regulamentações incluem CCPA e PIPEDA.
Lista de verificação para auditoria de IA
Fontes de dados
Identificação e A verificação das fontes de dados é a principal consideração na auditoria de sistemas de IA. Os auditores verificam a qualidade dos dados e se a empresa pode usar os dados.
Validação cruzada
Garantir que o modelo seja devidamente validado de forma cruzada é uma das listas de verificação dos auditores. Os dados de validação não devem ser usados para treinamento e as técnicas de validação devem garantir a generalização do modelo.
Hospedagem segura
Em alguns casos, os sistemas de IA usam dados pessoais. É importante avaliar se os serviços de hospedagem ou nuvem atendem aos requisitos de segurança da informação, como as diretrizes OWASP (Open Web Application Security Project).
Explainable AI
Explainable AI refere-se à interpretação e compreensão as decisões tomadas pelo sistema de IA e os fatores que o afetam. Os auditores verificam se os modelos são suficientemente explicáveis usando técnicas como LIME e SHAP.
Saídas do modelo
A imparcialidade é a primeira coisa que os auditores garantem nas saídas do modelo. Os resultados do modelo devem permanecer consistentes quando variáveis como sexo, raça ou religião são alteradas. Além disso, a qualidade das previsões usando o método de pontuação apropriado também é avaliada.
Feedback social
A auditoria de IA é um processo contínuo. Uma vez implantados, os auditores devem ver o impacto social do sistema de IA. O sistema de IA e a estratégia de risco devem ser modificados e auditados de acordo com o feedback, uso, consequências e influência, positiva ou negativa.
Empresas que auditam pipelines e aplicativos de IA
As cinco principais empresas que auditam IA são as seguintes:
Deloitte: A Deloitte é a maior empresa de serviços profissionais do mundo e fornece serviços relacionados a auditoria, tributação e consultoria financeira. A Deloitte emprega RPA, IA e análise para ajudar as organizações na avaliação de risco de seus sistemas de IA. PwC: A PwC é a segunda maior rede de serviços profissionais em receita. Eles desenvolveram metodologias de auditoria para ajudar as organizações a garantir responsabilidade, confiabilidade e transparência.EY: Em 2022, a EY anunciou um investimento de $ 1 bilhão em um AI-plataforma de tecnologia habilitada para fornecer serviços de auditoria de alta qualidade. As empresas orientadas por IA estão bem informadas para auditar sistemas de IA. KPMG: A KPMG é a quarta maior empresa prestadora de serviços de contabilidade. A KPMG fornece serviços personalizados em governança de IA, avaliação de riscos e controles.Grant Thronton: Eles ajudam os clientes a gerenciar os riscos relacionados à implantação de IA e à conformidade com a ética e os regulamentos de IA.
Benefícios da auditoria de sistemas de IA
Gerenciamento de riscos: auditoria previne ou atenua os riscos associados aos sistemas de IA.Transparência: a auditoria garante que os aplicativos de IA sejam livres de viés e discriminação.Conformidades: a auditoria de aplicativos de IA significa que o sistema segue as conformidades legais e regulamentares.
Auditoria de IA: o que o futuro reserva
Organizações, autoridades reguladoras e auditores devem manter contato com os avanços da IA, perceber suas possíveis ameaças e revisar frequentemente os regulamentos, estruturas e estratégias para garantir um uso justo, sem riscos e ético.
Em 2021, 193 estados membros da UNESCO adotaram um acordo global sobre a ética da IA. A IA é um ecossistema em constante evolução.