A inteligência artificial (IA) tem se mostrado uma faca de dois gumes. Ainda que o mesmo possa ser dito também para a maior parte das novas tecnologias, os dois lados da lâmina de IA são mais afiados do que os demais, e nenhum dos dois foi bem compreendido até agora.
Vejamos primeiro o lado positivo. Essas tecnologias estão começando a melhorar nossa vida de diferentes formas – da simplificação da realização de compras à melhoria de nossas experiências na área da saúde. Seu valor para os negócios também se tornou inegável: quase 80% dos executivos das empresas que começaram recentemente a empregar inteligência artificial declararam já ter percebido valor moderado decorrente de seu uso. Embora a utilização indiscriminada de IA em empresas ainda esteja nos seus primórdios, e muitas questões permaneçam em aberto com relação ao ritmo do progresso e à possibilidade real de se obter o santo graal da “inteligência generalizada”, sabe-se que o potencial é imenso. Uma pesquisa do McKinsey Global Institute aponta que, até 2030, a inteligência artificial poderá contribuir para um resultado econômico global de US$ 13 trilhões adicionais ao ano.
Ainda assim, mesmo a inteligência artificial gerando valor para os negócios e criando vantagens para os consumidores, ela também traz um conjunto de consequências indesejadas e, às vezes, bastante sérias. E, mesmo que o foco deste artigo seja inteligência artificial, seus efeitos indiretos (e as formas de preveni-los ou mitigá-los) também se aplicam a todas as análises avançadas. Os mais visíveis – que incluem violação de privacidade, discriminação, acidentes e manipulação de sistemas políticos, já são suficientemente significativos para indicar que é preciso cuidado. Mas são as consequências ainda desconhecidas ou não vivenciadas que devem ser objeto de maior preocupação. Repercussões desastrosas – incluindo a perda de vidas, caso um algoritmo médico baseado em IA estiver errado, ou o comprometimento da segurança nacional, se algum adversário alimentar um sistema de IA militar com informações falsas – são possíveis. Portanto, as organizações enfrentam desafios substanciais, de danos à reputação e perdas de receita a retrocessos na regulamentação, investigações criminais e perda da confiança da população.
Como a inteligência artificial é uma força relativamente nova nos negócios, são poucos os líderes que tiveram a oportunidade de treinar sua intuição com respeito ao conjunto completo de riscos individuais, organizacionais e sociais envolvidos, ou de desenvolver um conhecimento prático das alavancas associadas, que incluem da alimentação de dados em sistemas de IA à operação de modelos algorítmicos e interações entre humanos e máquinas. Como resultado, os executivos muitas vezes ignoram perigos em potencial (“Não estamos usando IA em nada que possa ‘explodir’, como carros autodirigidos”) ou superestimam a capacidade de mitigação dos riscos da organização (“Usamos análises avançadas há muito tempo, então os controles adequados já foram instalados, e nossas práticas estão em linha com nossos pares do setor”). Também é comum que os líderes juntem os riscos inerentes à inteligência artificial a outros gerenciados pelos especialistas em TI e por grupos responsáveis pelos métodos analíticos (“Confio na minha equipe técnica; os profissionais estão fazendo todo o possível para proteger nossos clientes e nossa empresa”).
Os líderes que esperam evitar, ou ao menos mitigar, as consequências não intencionais devem não apenas desenvolver suas habilidades de reconhecimento de padrões com relação aos riscos de IA, mas também engajar a organização como um todo para que ela esteja pronta para assimilar o poder e a responsabilidade associados ao uso de inteligência artificial. Para a maioria das empresas, o nível de esforço necessário para identificar e controlar todos os principais riscos excede em muito as normas usuais. Avançar de verdade exige uma abordagem multidisciplinar que envolva todos os líderes e os executivos principais; os especialistas de diferentes áreas – de jurídico e risco a TI, segurança e análises; e os gerentes que possam garantir a vigilância na linha de frente.
Este artigo busca ajudar, primeiramente, trazendo exemplos de uma variedade de armadilhas fáceis de passarem despercebidas. Em seguida, ele apresenta frameworks que podem contribuir para que os líderes consigam identificar seus maiores riscos, para então implementar uma série de controles adequados, necessários para evitá-las. Finalmente, ele traz também uma visão dos esforços reais hoje empregados para enfrentar os riscos inerentes à inteligência artificial por meio da aplicação dessas abordagens.
Antes de prosseguir, gostaríamos de salientar que nosso foco aqui está nas consequências diretas advindas do desenvolvimento de soluções de inteligência artificial – do seu mau uso involuntário ou intencional – ou do tratamento inadequado dos dados que alimentam tais soluções. Há outras consequências importantes, dentre as quais a já bastante debatida possibilidade de perdas de postos de trabalho em alguns setores devido à automação gerada por IA. Há também efeitos indiretos, como a atrofia de habilidades (por exemplo, a perda da capacidade diagnóstica por parte de médicos e profissionais de saúde) com o crescimento da importância de sistemas de IA. Tais consequências continuarão a receber atenção à medida que forem se tornando mais importantes, mas não fazem parte do escopo de nosso trabalho neste momento.
Entendendo os riscos e suas alavancas
Quando algo dá errado com a inteligência artificial, e a causa raiz do problema é descoberta, geralmente há muita incredulidade. A posteriori, parece incrível que ninguém tenha percebido o que estava ocorrendo. Mas se você fizer uma pesquisa com executivos que conhecem o assunto e perguntar qual o próximo risco de IA que deverá surgir, é pouco provável que haja qualquer grau de consenso entre eles.
Líderes que tenham a expectativa de sair de uma postura ‘a posteriori’ para outra ‘a priori’ precisam compreender melhor os tipos de risco que estão assumindo, suas interdependências e suas causas subjacentes. Para ajudar a desenvolver a intuição inexistente, descrevemos abaixo quatro problemas que podem permitir o surgimento de riscos de inteligência artificial. Os três primeiros – dificuldades de dados, instabilidades tecnológicas e brechas de segurança – estão relacionados ao que podemos chamar de facilitadores da inteligência artificial. Os dois últimos estão ligados aos algoritmos e às interações entre humanos e máquinas, que são centrais à operação da própria IA. Claramente, ainda estamos nos estágios bem iniciais da compreensão do que há por trás desses riscos que estamos assumindo – e buscamos catalogar sua natureza e variedade no Quadro 1.
Dificuldades de dados. Incorporar, classificar, ligar e utilizar adequadamente dados têm se tornado cada vez mais difícil com o aumento da quantidade de dados desestruturados que são recebidos de fontes como internet, mídias sociais, aparelhos móveis, sensores e Internet das Coisas. O resultado disso é a facilidade de se cair em armadilhas, tais como o uso ou a revelação inadvertida de informações sensíveis escondidas no meio de dados anônimos. Por exemplo, ainda que o nome de um paciente possa ter sido apagado de uma parte dos registros médicos utilizados por um sistema de inteligência artificial, ele pode continuar presente nas anotações do médico inseridas em outra parte do documento. É importante que os líderes estejam cientes de tais considerações para que trabalhem de forma a estarem alinhados a regras de privacidade, tais como o Regulamento Geral de Proteção de Dados da União Europeia (European Union’s General Data Protection Regulation – GDPR) ou a Lei de Privacidade e Proteção de Dados da Califórnia (California Consumer Privacy Act – CCPA), e assim gerenciem adequadamente o risco de reputação.
Instabilidades tecnológicas. Questões relativas a processos e tecnologia em todo o cenário operacional podem impactar negativamente o desempenho de sistemas de inteligência artificial. Por exemplo, uma grande instituição financeira enfrentou problemas quando seu software de cumprimento de normas e regulamentação não foi capaz de detectar problemas de trading porque a alimentação de dados deixou de incluir todas as transações de clientes.
Brechas de segurança. Outra questão emergente é o potencial para que fraudadores explorem dados aparentemente não sensíveis sobre finanças, marketing e saúde coletados pelas empresas para alimentar seus sistemas de inteligência artificial. Se as precauções de segurança forem insuficientes, é possível costurar tais informações e criar identidades falsas. Embora as empresas-alvo (que podem geralmente ser bastante eficientes em proteger informações pessoais identificáveis) sejam cúmplices involuntários, elas podem mesmo assim enfrentar repercussões negativas e serem punidas pelos consumidores.
Comportamento inadequado de modelos. Os próprios modelos de inteligência artificial podem criar problemas quando entregam resultados tendenciosos (o que pode acontecer quando, por exemplo, uma população for inadequadamente representada nos dados utilizados para treinar o modelo), apresentam instabilidades ou cheguem a conclusões para as quais não há recursos que possam ser tomados por aqueles afetados por suas conclusões (como alguém a quem é negado um empréstimo, sem que tenha qualquer informação do que poderia fazer para reverter tal decisão). Considere, por exemplo, o potencial para que modelos de IA discriminem não intencionalmente pessoas de classes protegidas por lei, minorias e outros grupos sociais ao mesclar códigos de endereçamento postal e dados de renda de forma a criar ofertas customizadas. Casos em que modelos de IA estão à espreita em ofertas de software como serviço (SaaS) são ainda mais difíceis de serem detectados. Quando os fornecedores introduzem novas características inteligentes – geralmente sem muito alarde –, também estão trazendo modelos que podem interagir com dados do sistema do usuário e criar riscos inesperados, incluindo a possibilidade do surgimento de vulnerabilidades escondidas que podem ser exploradas por hackers. Isso significa que os líderes que se consideram a salvo porque suas empresas não compraram ou desenvolveram sistemas de inteligência artificial, ou que estejam apenas testando seu uso, podem estar bem enganados.
Questões relacionadas à interação. A interface entre pessoas e máquinas é outra área importante de risco. Dentre os mais visíveis estão desafios nos sistemas automatizados de transporte, fabricação e infraestrutura. Acidentes e danos são possibilidades concretas se os operadores de equipamentos, veículos ou outro tipo de maquinário pesado não souberem identificar situações em que os sistemas devem ser desligados ou forem lentos em retomar o controle por não estarem prestando atenção – uma possibilidade importante em aplicativos como carros autodirigidos. Por outro lado, a capacidade de julgamento humano também pode se mostrar falha ao retomar o controle com base em resultados de sistema. Nos bastidores, na estrutura de análise de dados, erros de programação, lapsos na gestão de dados e desajustes nos dados de treinamento do modelo podem facilmente comprometer a equidade, a privacidade, a segurança e o cumprimento da regulamentação. Os funcionários da linha de frente também podem contribuir inadvertidamente, como quando a força de trabalho com mais aptidão para vender a um determinado grupo demográfico acaba sem querer treinando uma ferramenta de vendas movida à inteligência artificial, fazendo com que exclua certos segmentos de clientes.
E essas são apenas as consequências não intencionais. Sem salvaguardas rigorosas, funcionários descontentes ou inimigos externos podem ser capazes de corromper os algoritmos ou utilizar um aplicativo de IA de forma maldosa.
Gestáo de risco de inteligência artificial: três princípios fundamentais
Além de dar uma ideia dos desafios futuros, os exemplos e a categorização acima são úteis para identificar e priorizar os riscos e suas causas raiz. Quando entendemos onde pode haver riscos escondidos, mal compreendidos ou simplesmente não identificados, temos chances maiores de solucioná-los antes que eles se tornem problemas efetivos.
Mas para isso será necessário um esforço concentrado de toda a organização para sair da fase de catalogação dos riscos e passar à sua efetiva resolução. As experiências de dois grandes bancos ajudam a ilustrar a clareza, a abrangência e a adaptação rigorosa necessárias para tal. No primeiro caso, uma instituição europeia estava trabalhando para utilizar inteligência artificial e análises avançadas visando otimizar suas operações de call center, processos de tomada de decisão na concessão de hipotecas, gestão de relacionamentos e iniciativas de gestão de tesouraria. O segundo caso é de um banco líder global que buscava empregar um modelo de aprendizado de máquina em suas decisões de crédito ao consumidor.
Would you like to learn more about our Analytics Practice?
Esses dois bancos, assim como muitas outras instituições do setor de serviços financeiros, vinham utilizando algum tipo de análise avançada há muitos anos, desde o início das iniciativas de detecção de fraudes em cartões de crédito e comercialização de ações. Eles também estão sujeitos a um nível mais elevado de monitoramento com relação ao cumprimento de normas e regulamentações e, portanto, há tempos empregam de maneira transparente um amplo conjunto de protocolos e controles para a mitigação de riscos associados – incluindo o risco de segurança cibernética, para o qual eles geralmente ocupam a linha de frente, dada a atratividade de seus ativos para eventuais atacantes.
Ainda assim, as histórias desses bancos somente exemplificam um subconjunto de controles específicos de risco que as organizações deveriam considerar. O Quadro 2 apresenta uma lista mais completa dos controles em potencial, abarcando todo o processo analítico – do planejamento e do desenvolvimento ao uso e ao monitoramento subsequentes. Nossa esperança é que, juntos, a ferramenta e os exemplos ajudem os líderes que precisam enfrentar uma grande variedade de questões: evitar vieses nos mecanismos de recomendação, eliminar os riscos de identidades pessoais, ajustar melhor as respostas dos robôs de atendimento ao consumidor às necessidades específicas dos clientes, dentre muitas outras mais.
Clareza: Utilização de uma abordagem de identificação estruturada para determinar os riscos mais críticos
O COO do banco europeu começou reunindo os líderes das áreas de negócios, TI, segurança e gestão de risco para avaliar e priorizar os maiores riscos. Os inputs para esse exercício incluíram uma avaliação precisa dos riscos existentes na organização e como eles poderiam ser exacerbados pelos esforços analíticos com o uso de inteligência artificial que vinham sendo considerados, bem como os novos riscos que os facilitadores de IA, ou a própria inteligência artificial, poderiam criar. Alguns eram óbvios, mas outros nem tanto. Um dos riscos que inesperadamente chegou ao topo da lista foi o desenvolvimento de recomendações de má qualidade ou tendenciosas de produtos para clientes. Recomendações falhas podem causar danos e problemas importantes, incluindo a perda de clientes, retrocessos regulatórios e multas.
Com esse processo estruturado de identificação de riscos, os líderes do banco conseguiram ter clareza com relação aos cenários mais preocupantes, o que possibilitou a priorização dos riscos inerentes a cada um deles, o reconhecimento dos controles faltantes e a alocação de tempo e recursos necessários para solucionar cada ponto. Naturalmente, os cenários e os riscos prioritários vão variar de acordo com a empresa e seu setor de atuação. Uma indústria de alimentos pode priorizar cenários de contaminação de produtos. Um desenvolvedor de software pode ficar especialmente preocupado com a divulgação de códigos de software. Já uma empresa de produtos de saúde pode focar em questões como erros de diagnóstico ou danos involuntários aos pacientes. A reunião de gestores de diferentes áreas permitiu a identificação e a classificação de cenários problemáticos de forma adequada para estimular a energia criativa e reduzir o risco de vulnerabilidades importantes passarem despercebidas – o que poderia ocorrer com um grupo menos diversificado de especialistas ou um pensamento mais restrito. As organizações não precisam começar do zero nesse tipo de esforço: nos últimos anos, a identificação de riscos se tornou uma arte bem desenvolvida, que pode ser empregada diretamente no contexto de inteligência artificial.
Abrangência: Institucionalização de controles robustos por toda a organização
Afiar o modo de pensar sobre como prevenir e solucionar riscos é apenas o primeiro passo. Também é fundamental implementar controles em toda a organização para direcionar o desenvolvimento e o uso de sistemas de inteligência artificial, garantir uma supervisão adequada e colocar em prática políticas, procedimentos, treinamento de funcionários e planos de contingência bastante robustos. Sem esforços de maior abrangência, aumentam as chances de fatores de risco como os descritos anteriormente passarem despercebidos.
A preocupação com o risco em potencial de oferecer aos consumidores recomendações de produtos de má qualidade ou tendenciosas levou o banco europeu a adotar um conjunto de princípios de negócios bem robusto, detalhando onde e como as máquinas poderiam ser utilizadas para tomar decisões que afetassem a saúde financeira de seus clientes. Os gerentes identificaram situações em que uma pessoa (por exemplo, um gerente de relacionamento ou especialista em empréstimos) precisava entrar no processo e ficar “a par” da situação antes de uma recomendação ser proposta a um cliente. Esses funcionários funcionariam como rede de proteção para identificar se o cliente tinha circunstâncias especiais a serem levadas em conta, tais como a morte de um familiar ou dificuldades financeiras específicas, que pudessem tornar a recomendação inapropriada ou inadequada para o seu momento de vida.
O comitê de monitoramento do banco também conduziu uma análise de lacunas, identificando as áreas da estrutura existente de gestão de risco que precisavam ser aprofundadas, redefinidas ou ampliadas. Hoje, a governança minuciosa e consistente do banco garante a definição adequada de políticas e procedimentos, controles específicos para os modelos de inteligência artificial, princípios fundamentais (apoiados por ferramentas) para direcionar o desenvolvimento de modelos, segregação de tarefas e supervisão correta. Por exemplo, ferramentas de desenvolvimento de modelos garantem que os cientistas de dados registrem consistentemente os códigos dos modelos, dados de treinamento e parâmetros escolhidos durante todo o ciclo de vida do desenvolvimento. Também foram adotadas bibliotecas padronizadas para explicar, reportar o desempenho do modelo e monitorar os dados e os modelos em produção. Essa governança tem se mostrado inestimável não somente para os esforços internos de desenvolvimento de inteligência artificial, mas também para avaliar e monitorar ferramentas de IA de terceiros, tais como um modelo de fraude de software como serviço (SaaS) adotado pelo banco.
Além disso, as políticas do banco atuais exigem que todas as partes envolvidas, incluindo os executivos de negócio patrocinadores da iniciativa, realizem o planejamento de cenários e criem planos de contingência para casos de desestabilização no desempenho do modelo de IA, de mudanças inesperadas nos inputs de dados ou de mudanças repentinas, tais como desastres naturais, que venham a ocorrer no ambiente externo. Tais planos são incluídos nos processos regulares de revisão de risco do banco, dando ao comitê de risco do conselho da instituição visibilidade quanto às ações sendo tomadas para mitigar riscos relacionados à inteligência artificial e a análises avançadas.
O treinamento e a conscientização de funcionários também são proeminentes nos esforços de mitigação de risco do banco. Todos os funcionários afetados recebem comunicações detalhadas sobre qual IA está sendo utilizada, quais os passos seguidos pelo banco para garantir a tomada de decisões justas e precisas e a proteção dos dados de clientes e como a estrutura de governança, a tecnologia automatizada e as ferramentas de desenvolvimento do banco funcionam em conjunto. Ainda, os patrocinadores do negócio, as equipes de risco e o pessoal de análise recebem treinamentos específicos sobre seu papel em identificar e minimizar riscos. Por exemplo, patrocinadores de negócio estão aprendendo a pedir explicações sobre o comportamento do modelo que estão usando para dar feedback sobre as premissas de negócio por trás do modelo. Ao mesmo tempo, a equipe de risco recebeu treinamento sobre como identificar e mitigar melhor questões legais e de cumprimento de normas e regulamentações, tais como a discriminação em potencial de grupos protegidos ou o cumprimento do regulamento geral de proteção de dados.
Derisking machine learning and artificial intelligence
A monitoração de análises alavancadas por IA é um esforço contínuo, e não uma atividade realizada apenas uma única vez. Assim, os grupos de monitoramento e supervisão do banco, incluindo os comitês de risco do conselho, revisam regularmente o programa para estarem a par dos novos riscos que podem ter surgido em função de mudanças regulatórias, novos rumos do setor, interpretações legais (como a jurisprudência emergente do regulamento de proteção de dados), evolução das expectativas de consumidores e mudanças aceleradas de tecnologia.
Adaptação rigorosa: Reforço de controles específicos dependendo da natureza do risco
Ainda que os controles por toda a organização sejam muito importantes, é raro serem suficientes para reagir contra todos os possíveis riscos. É geralmente preciso um nível adicional de rigor e adaptação, sendo que os controles demandados dependerão de fatores como a complexidade dos algoritmos, suas exigências de dados, a natureza da interação entre homem e máquina (ou entre máquina e máquina), o potencial de exploração por atores mal-intencionados e o grau de inserção da inteligência artificial nos processos de negócio. Controles conceituais, a começar por regulamentos de casos de uso, são às vezes necessários. Da mesma forma, também é preciso ter controles de análises e dados específicos, incluindo exigências de transparência, bem como controles para feedback e monitoramento, tais como análise de desempenho para detectar degradação ou viés.
Nosso segundo exemplo ilustra de forma valiosa a aplicação de controles adaptados. A instituição financeira em questão queria visibilidade em relação a como, exatamente, um modelo de aprendizado de máquina tomava suas decisões relacionadas a um processo específico de interface com o cliente. Depois de levar cuidadosamente em consideração as exigências de transparência, o banco decidiu mitigar o risco limitando os tipos de algoritmos de aprendizado de máquina que iria utilizar. Barrar determinadas formas de modelo que eram demasiadamente complexos ou opacos permitiu que a instituição chagasse a um equilíbrio que lhe deixasse confortável. Com isso, ela perdeu uma parcela de sua capacidade preditiva, mas a transparência dos modelos que foram efetivamente usados deu aos funcionários maior confiança com respeito às decisões tomadas. Os modelos mais simples também facilitaram tanto a verificação dos dados como os próprios modelos, determinando eventuais vieses que poderiam emergir a partir do comportamento do usuário ou mudanças nas variáveis de dados ou sua classificação.
Como esse exemplo sugere, as organizações precisarão de uma mescla de controles específicos de risco, e a melhor forma seria implementá-los por meio da criação de protocolos que garantam que eles sejam instaurados e seguidos durante todo o processo de desenvolvimento de inteligência artificial. As instituições que nos serviram de exemplo implementaram esses protocolos, bem como controles por toda a organização, ao menos parcialmente, via a infraestrutura de risco que já possuíam. Empresas que não tenham uma organização de risco centralizada ainda assim podem colocar em funcionamento essas técnicas de gestão de risco de inteligência artificial utilizando processos robustos de governança de risco.
Ainda há muito a ser aprendido sobre os riscos em potencial que as organizações, os indivíduos e a sociedade enfrentam no que diz respeito à inteligência artificial, ao equilíbrio adequado entre inovação e risco e à implementação de controles para gerenciar o inimaginável. Até o momento, as reações regulatórias e de opinião pública têm sido relativamente moderadas.
Mas é provável que isso deva mudar se um número maior de organizações acabe mostrando desequilíbrios. Com o aumento dos custos dos riscos associados à inteligência artificial, a capacidade tanto de avaliar esses riscos como de engajar funcionários de todos os níveis para que definam e implementem controles se tornará uma nova fonte de vantagem competitiva.
Para muitas organizações, o futuro passa por rever o conceito de “experiência do consumidor” de forma a incluir as promessas e as armadilhas de resultados alavancados por inteligência artificial. Outro imperativo será entrar em um debate sério sobre a ética de utilizar inteligência artificial e onde traçar os limites de seu uso. A ação coletiva, que poderia envolver um debate em nível setorial sobre auto-regulamentação e engajamento com órgãos reguladores, também deve ganhar maior importância. Organizações que estimulem tais habilidades estarão mais bem posicionadas para atender seus clientes e a sociedade de maneira eficiente, evitar complicações éticas, corporativas, de reputação e regulatórias e escapar de uma possível crise existencial que poderia prejudicar sua permanência.