Yotam Oren é CEO e cofundador da Mona Labs, uma plataforma que permite às empresas transformar iniciativas de IA de experimentos de laboratório em escaláveis operações de negócios, compreendendo verdadeiramente como os modelos de ML se comportam em processos e aplicativos de negócios reais.
Mona analisa automaticamente o comportamento de seus modelos de aprendizado de máquina em segmentos de dados protegidos e no contexto das funções de negócios, a fim de detectar possível viés de IA. Mona oferece a capacidade de gerar relatórios completos de imparcialidade que atendem aos padrões e regulamentos do setor e oferecem a confiança de que o aplicativo de IA é compatível e livre de qualquer viés.
O que inicialmente atraiu você para a ciência da computação?
A ciência da computação é uma carreira popular em minha família, então sempre pensei nisso como uma opção viável. Claro, a cultura israelense é muito pró-tecnologia. Celebramos os tecnólogos inovadores e sempre tive a percepção de que o CS me ofereceria uma pista de crescimento e realização.
Apesar disso, só se tornou uma paixão pessoal quando cheguei à idade universitária. Eu não era uma daquelas crianças que começaram a programar no ensino médio. Na minha juventude, eu estava muito ocupado jogando basquete para prestar atenção aos computadores. Após o colegial, passei quase 5 anos nas forças armadas, em funções de liderança operacional/combate. Então, de certa forma, só comecei a aprender mais sobre ciência da computação quando precisei escolher uma especialização acadêmica na universidade. O que chamou minha atenção imediatamente foi que a ciência da computação combinava resolver problemas e aprender um idioma (ou idiomas). Duas coisas que me interessavam particularmente. A partir de então, fiquei viciado.
De 2006 a 2008, você trabalhou em mapeamento e navegação para uma pequena startup. era?
Minha função na Telmap era construir um mecanismo de pesquisa com base em mapas e dados de localização.
Esses foram os primeiros dias de”big data”no empreendimento. Não estávamos nem chamando assim, mas estávamos adquirindo enormes conjuntos de dados e tentando extrair os insights mais relevantes e impactantes para mostrar aos nossos usuários finais.
Uma das percepções impressionantes que tive foi que as empresas (incluindo nós) fizeram uso de tão pouco de seus dados (para não mencionar os dados externos disponíveis publicamente). Havia muito potencial para novos insights, melhores processos e experiências.
A outra conclusão era que a capacidade de obter mais dados dependia, é claro, de ter melhores arquiteturas, melhor infraestrutura e assim por diante.
Você poderia compartilhar a história da gênese por trás do Mona Labs?
Nós três, cofundadores, trabalhamos com produtos de dados ao longo de nossas carreiras.
Nemo, o diretor de tecnologia, é meu amigo de faculdade e colega de classe, e um dos primeiros funcionários do Google Tel Aviv. Ele lançou um produto chamado Google Trends, que tinha muitas análises avançadas e aprendizado de máquina com base nos dados do mecanismo de pesquisa. Itai, o outro cofundador e diretor de produtos, fazia parte da equipe de Nemo no Google (e ele e eu nos conhecemos por meio do Nemo). Os dois sempre ficaram frustrados com o fato de os sistemas baseados em IA não serem monitorados após o desenvolvimento e teste iniciais. Apesar da dificuldade em testar adequadamente esses sistemas antes da produção, as equipes ainda não sabiam o desempenho de seus modelos preditivos ao longo do tempo. Além disso, parecia que a única vez que eles ouviam algum feedback sobre os sistemas de IA era quando as coisas iam mal e a equipe de desenvolvimento era chamada para um “exercício de incêndio” para corrigir problemas catastróficos.
Por volta da mesma época , fui consultor da McKinsey & Co, e uma das maiores barreiras que vi para o escalonamento de programas de IA e Big Data em grandes empresas foi a falta de confiança que as partes interessadas nos negócios tinham nesses programas.
O comum fio aqui ficou claro para Nemo, Itai e para mim nas conversas. A indústria precisava da infraestrutura para monitorar sistemas AI/ML em produção. Tivemos a visão de fornecer essa visibilidade para aumentar a confiança das partes interessadas nos negócios e permitir que as equipes de IA sempre tenham controle sobre o desempenho de seus sistemas e iterem com mais eficiência.
E foi quando a Mona foi fundada.
Quais são alguns dos problemas atuais com a falta de transparência da IA?
Em muitos setores, as organizações já gastaram dezenas de milhões de dólares em seus programas de IA e obtiveram algum sucesso inicial no laboratório e em implantações de pequena escala. Mas expandir, alcançar ampla adoção e fazer com que os negócios realmente dependam da IA tem sido um grande desafio para quase todos.
Por que isso está acontecendo? Bem, começa com o fato de que uma grande pesquisa não se traduz automaticamente em grandes produtos (um cliente nos disse uma vez: “Os modelos de ML são como carros, no momento em que saem do laboratório, perdem 20% de seu valor”). Grandes produtos têm sistemas de suporte. Existem ferramentas e processos para garantir que a qualidade seja sustentada ao longo do tempo e que os problemas sejam detectados com antecedência e resolvidos com eficiência. Grandes produtos também têm um ciclo de feedback contínuo, têm um ciclo de melhoria e um roteiro. Consequentemente, grandes produtos exigem transparência de desempenho profunda e constante.
Quando há falta de transparência, você acaba com:
Problemas que ficam ocultos por algum tempo e depois irrompem na superfície causando”exercícios de incêndio ”Investigações e atenuações demoradas e manuaisUm programa de IA que não é confiável para os usuários e patrocinadores de negócios e acaba falhando em escala
Quais são alguns dos desafios por trás de tornar os modelos preditivos transparentes e confiáveis?
É claro que a transparência é um fator importante para conquistar a confiança. A transparência pode vir de várias formas. Há uma única transparência de previsão que pode incluir a exibição do nível de confiança para o usuário ou o fornecimento de uma explicação/justificativa para a previsão. A transparência de previsão única visa principalmente ajudar o usuário a se sentir confortável com a previsão. E há a transparência geral, que pode incluir informações sobre precisão preditiva, resultados inesperados e possíveis problemas. Transparência geral é necessária para a equipe de IA.
A parte mais desafiadora da transparência geral é detectar problemas antecipadamente, alertando o membro relevante da equipe para que eles possam tomar medidas corretivas antes que ocorram catástrofes.
Por que é difícil detectar problemas com antecedência:
Os problemas geralmente começam pequenos e fervem, antes de finalmente explodirem na superfície.Os problemas geralmente começam devido a fatores incontroláveis ou externos, como fontes de dados.Existem muitas maneiras de”dividir o mundo” e procurar exaustivamente por problemas em pequenos bolsões pode resultar em muito ruído (fadiga de alerta), pelo menos quando isso é feito de maneira ingênua.
Outro aspecto desafiador de fornecer transparência é a proliferação absoluta do uso de IA casos. Isso está tornando quase impossível uma abordagem de tamanho único. Cada caso de uso de IA pode incluir diferentes estruturas de dados, diferentes ciclos de negócios, diferentes métricas de sucesso e, muitas vezes, diferentes abordagens técnicas e até mesmo pilhas.
Portanto, é uma tarefa monumental, mas a transparência é tão fundamental para o sucesso de Programas de AI, então você tem que fazer isso.
Você poderia compartilhar alguns detalhes sobre as soluções para NLU/NLP Models & Chatbots?
A Conversational AI é uma das principais verticais de Mona. Temos orgulho de apoiar empresas inovadoras com uma ampla variedade de casos de uso de IA conversacional, incluindo modelos de linguagem, chatbots e muito mais.
Um fator comum entre esses casos de uso é que os modelos operam próximos (e às vezes visivelmente) aos clientes, portanto, os riscos de desempenho inconsistente ou mau comportamento são maiores. Torna-se muito importante para as equipes de IA de conversação entender o comportamento do sistema em um nível granular, que é uma área de pontos fortes da solução de monitoramento da Mona.
O que a solução da Mona faz de único é filtrar sistematicamente grupos de conversas e encontrar bolsos nos quais os modelos (ou bots) se comportam mal. Isso permite que as equipes de IA de conversação identifiquem problemas antecipadamente e antes que os clientes os percebam. Esse recurso é um fator crítico de decisão para equipes de IA conversacional ao selecionar soluções de monitoramento.
Para resumir, Mona fornece uma solução completa para monitoramento de IA conversacional. Ele começa garantindo que haja uma única fonte de informações para o comportamento dos sistemas ao longo do tempo e continua com o rastreamento contínuo dos principais indicadores de desempenho e insights proativos sobre bolsões de mau comportamento, permitindo que as equipes tomem medidas corretivas preventivas e eficientes.
Você poderia fornecer alguns detalhes sobre o mecanismo de percepção de Mona?
Claro. Vamos começar com a motivação. O objetivo do mecanismo de percepção é revelar anomalias aos usuários, com a quantidade certa de informações contextuais e sem criar ruído ou levar à fadiga de alerta.
O mecanismo de percepção é único fluxo de trabalho analítico gentil. Nesse fluxo de trabalho, o mecanismo procura anomalias em todos os segmentos dos dados, permitindo a detecção precoce de problemas quando eles ainda são “pequenos” e antes que afetem todo o conjunto de dados e os KPIs de negócios downstream. Em seguida, ele usa um algoritmo proprietário para detectar as causas principais das anomalias e garante que cada anomalia seja alertada apenas uma vez, para evitar ruídos. Os tipos de anomalia suportados incluem: anomalias de série temporal, desvios, outliers, degradação de modelo e muito mais.
O mecanismo de insight é altamente personalizável por meio da configuração intuitiva sem código/baixo código do Mona. A configurabilidade do mecanismo torna o Mona a solução mais flexível do mercado, abrangendo uma ampla variedade de casos de uso (por exemplo, lote e streaming, com/sem feedback de negócios/verdade básica, entre versões de modelo ou entre treinamento e inferência e muito mais ).
Finalmente, esse mecanismo de insight é suportado por um painel de visualização, no qual os insights podem ser visualizados, e um conjunto de ferramentas de investigação para permitir a análise de causa raiz e exploração adicional das informações contextuais. O mecanismo de percepção também é totalmente integrado a um mecanismo de notificação que permite fornecer informações aos ambientes de trabalho dos próprios usuários, incluindo e-mail, plataformas de colaboração e assim por diante.
Em 31 de janeiro, Mona revelou sua nova solução de justiça de IA. Você poderia compartilhar conosco detalhes sobre o que é esse recurso e por que ele é importante?
Justiça de IA é garantir que os algoritmos e sistemas baseados em IA em geral tomem decisões imparciais e equitativas. Abordar e prevenir vieses em sistemas de IA é crucial, pois eles podem resultar em consequências significativas no mundo real. Com a crescente proeminência da IA, o impacto na vida diária das pessoas seria visível em mais e mais lugares, incluindo automatizar nossa direção, detectar doenças com mais precisão, melhorar nossa compreensão do mundo e até mesmo criar arte. Se não podemos confiar que é justo e imparcial, como permitiremos que continue a se espalhar?
Uma das principais causas de vieses na IA é simplesmente a capacidade dos dados de treinamento do modelo de representar o real mundo por completo. Isso pode resultar de discriminação histórica, sub-representação de certos grupos ou até mesmo manipulação intencional de dados. Por exemplo, um sistema de reconhecimento facial treinado em indivíduos predominantemente de pele clara provavelmente terá uma taxa de erro maior no reconhecimento de indivíduos com tons de pele mais escuros. Da mesma forma, um modelo de linguagem treinado em dados de texto de um conjunto restrito de fontes pode desenvolver vieses se os dados forem distorcidos em relação a certas visões de mundo, em tópicos como religião, cultura e assim por diante.
Solução de imparcialidade de IA da Mona dá à IA e às equipes de negócios a confiança de que sua IA está livre de preconceitos. Em setores regulamentados, a solução da Mona pode preparar as equipes para a prontidão de conformidade.
A solução de equidade da Mona é especial porque se baseia na plataforma Mona-uma ponte entre dados e modelos de IA e suas implicações no mundo real. Mona analisa todas as partes do processo de negócios que o modelo de IA atende na produção, para correlacionar dados de treinamento, comportamento do modelo e resultados reais do mundo real, a fim de fornecer a avaliação mais abrangente de imparcialidade.
Em segundo lugar, ele possui um mecanismo analítico único que permite uma segmentação flexível dos dados para controlar os parâmetros relevantes. Isso permite avaliações de correlações precisas no contexto certo, evitando o Paradoxo de Simpson e fornecendo uma”pontuação de viés”profunda e real para qualquer métrica de desempenho e em qualquer recurso protegido.
Então, no geral, eu diria que Mona é um fundamento elemento para equipes que precisam construir e dimensionar IA responsável.
Qual é sua visão para o futuro da IA?
Esta é uma grande questão.
Acho que é fácil prever que a IA continuará a crescer em uso e impacto em vários setores da indústria e facetas da vida das pessoas. No entanto, é difícil levar a sério uma visão que é detalhada e ao mesmo tempo tenta cobrir todos os casos de uso e implicações da IA no futuro. Porque ninguém realmente sabe o suficiente para pintar esse quadro com credibilidade.
Dito isso, o que sabemos com certeza é que a IA estará nas mãos de mais pessoas e servirá a mais propósitos. A necessidade de governança e transparência, portanto, aumentará significativamente.
A visibilidade real da IA e de como ela funciona desempenhará duas funções principais. Primeiro, ajudará a incutir confiança nas pessoas e levantar barreiras de resistência para uma adoção mais rápida. Em segundo lugar, ajudará quem opera IA a garantir que não está saindo do controle.
Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar Mona Labs.