Os CEOs costumam viver de números — lucro, lucro antes de juros e impostos, retorno aos acionistas. Esses dados muitas vezes servem como evidência concreta do sucesso ou fracasso do CEO, mas certamente não são as únicas medidas a serem usadas. Existem fatores de sucesso “soft” que são igualmente importantes. Um deles é tomar boas decisões que não apenas gerem valor, mas que também não causem danos.
Fique em dia com seus tópicos favoritos
Embora a inteligência artificial (IA) esteja se firmando entre os CEOs como mais uma ferramenta para impulsionar a receita e a lucratividade, é evidente também que sua implementação requer uma gestão cuidadosa. Com isso, evitam-se danos não intencionais, porém significativos, não somente à reputação da marca, mas, principalmente, para funcionários, indivíduos e a sociedade em geral.
Diversas empresas, governos e organizações sem fins lucrativos estão começando a lucrar com o valor que a IA pode oferecer. Entre 2017 e 2018, uma pesquisa da McKinsey revelou que a porcentagem de empresas que incorporam pelo menos um recurso de inteligência artificial em seus processos de negócios mais do que dobrou e que quase todas as empresas que usam IA relatam obter algum nível de valor com isso.
Sendo assim, não surpreende que, em um momento em que a IA está chegando com força às empresas e à sociedade, exista uma cobrança para que os CEOs garantam seu uso responsável em suas empresas, o que vai além do cumprimento das leis aplicáveis. Não são recentes as discussões sobre o aspecto ético da inteligência artificial, sobre o que é “certo” e “errado” quando se trata de aplicações de IA de alto perfil, como armas autônomas e sistemas de vigilância. Há também muita preocupação e ceticismo em relação a como podemos imprimir considerações éticas humanas aos sistemas de IA, considerando-se que os valores morais muitas vezes variam de uma cultura para outra e podem ser difíceis de codificar em software.
Embora esse tipo de questão moral afete um número limitado de organizações, quase todas as empresas devem lidar com outro nível de consideração ética, porque até mesmo usos aparentemente inócuos da IA podem ter implicações graves. Já houve uma torrente de notícias sobre vieses, discriminação e violações de privacidade ligadas à inteligência artificial. Com isso, os líderes, com razão, preocupam-se em garantir que a implementação de sistemas de IA em suas empresas não tenha consequências danosas.
A melhor solução, quase certamente, não é evitar completamente o uso da IA —o valor em jogo pode ser alto demais, e entrar cedo na questão da IA pode trazer vantagens. O que as organizações podem fazer é garantir a construção e aplicação responsáveis da IA, tendo o cuidado de confirmar que a implementação traga resultados igualitários, que novos níveis de personalização não se traduzam em discriminação, que a aquisição e o uso de dados não comprometam a privacidade do consumidor e que suas organizações encontrem o equilíbrio entre o desempenho do sistema de IA e a transparência sobre a forma como esses sistemas fazem previsões.
Pode parecer lógico delegar essas preocupações a líderes e equipes de cientistas de dados, já que são eles os especialistas capazes de entender como a IA funciona. No entanto, nosso trabalho vem mostrando que o papel do CEO é vital para a entrega consistente de sistemas de IA responsáveis – e que o CEO deve ter, no mínimo, um forte conhecimento prático do desenvolvimento de IA para fazer as perguntas certas e evitar, assim, possíveis problemas de ética. E é esse conhecimento que exporemos neste artigo, além de uma abordagem pragmática para os CEOs garantirem que suas equipes estejam construindo um tipo de IA que possa trazer orgulho à organização.
Fomentar e destrinchar os valores da empresa
No atual ambiente de negócios, em que as organizações costumam ter estruturas menos rígidas, tomada de decisão descentralizada e funcionários com autoridade para inovar, os valores da empresa servem como um guia importante para quem trabalha na empresa. Isso vale tanto para um gerente de marketing que deva escolher uma campanha publicitária como para um cientista de dados que precise determinar onde a IA deve ser usada e como ela deve ser construída. Porém, traduzir esses valores em práticas no uso e desenvolvimento da IA não é tão simples quanto se pode pensar. Declarações de valor gerais e breves nem sempre dão orientações claras em um mundo onde “certo” e “errado” podem ser conceitos ambíguos e onde a diferença entre inovador e ofensivo é sutil. Nesse caso, a orientação dos CEOs é crítica em três áreas (Quadro 1).
1. Esclarecer como os valores se traduzem em aplicações específicas de IA.
Os líderes devem fomentar e destrinchar declarações de valor genéricas, usando exemplos que mostrem como cada um dos valores se traduz em escolhas reais que as equipes de analytics fazem ao determinar quais processos (e decisões) podem vir a ser automatizados.
Já vimos ótimos exemplos de empresas que usam “mapas mentais” para transformar valores corporativos em orientações concretas e com isso definir em quais casos e de que forma a inteligência artificial deve ser utilizada. Uma organização europeia de serviços financeiros fez um mapeamento sistemático que conectava seus valores corporativos aos riscos à reputação ligados ao uso da IA. Com esse exercício, ficou decidido que, embora a IA pudesse ser usada para recomendar novos serviços a clientes, ela sempre deveria incluir um “ser humano inteirado do assunto” para aconselhamento a clientes financeiramente vulneráveis ou em luto recente.
Além de guiar os exercícios de mapeamento, os CEOs devem solicitar aos líderes de negócios e de analytics que expliquem como interpretam os valores no seu trabalho e como usam esses valores para tomar melhores decisões. Isso pode levar a conversas que identifiquem aspectos pouco claros e os esclareçam.
Would you like to learn more about McKinsey Analytics?
2. Orientar sobre definições e métricas usadas para avaliar a IA em relação a vieses e equidade.
As declarações de valor também podem ser insuficientes quando se trata de definir e medir conceitos como viés [N.T. bias, no original em inglês] e equidade no contexto da avaliação de soluções de IA. Cientistas de dados que estejam investigando um possível viés de gênero de um sistema automatizado de seleção de currículos, por exemplo, podem usar uma métrica que garanta a seleção de percentuais semelhantes de candidatos (chamada de paridade) ou outra que preveja com igual precisão o sucesso futuro dos candidatos (chamada de igualdade de oportunidade). Caso a empresa esteja buscando um corpo de funcionários mais representativo, eles podem também garantir que o sistema recomende um conjunto diversificado de candidatos.
Como resultado, os líderes precisam orientar suas organizações de forma a definir e estabelecer as métricas que melhor alinhem a IA aos valores e objetivos da empresa. Os CEOs devem deixar claro quais são exatamente os objetivos e valores da empresa em diversos contextos, solicitar às equipes que articulem valores no contexto da IA e incentivar um processo colaborativo de escolha de métricas. Por conta de preocupações dos funcionários em relação aos projetos de IA para o setor de defesa, o Google desenvolveu um amplo conjunto de princípios para definir inteligência artificial responsável e viés, e então deu aos funcionários ferramentas e treinamento para consolidar o processo. Um módulo de treinamento técnico sobre equidade mostrou a mais de 21 mil funcionários de que forma dados de treinamento podem manifestar vieses e ensinou técnicas para identificá-los e mitigá-los.
3. Dar aconselhamento sobre a hierarquia dos valores da empresa.
O desenvolvimento da IA sempre envolve trade-offs. Quando se trata do desenvolvimento de modelos, por exemplo, muitas vezes há um trade-off percebido entre a precisão de um algoritmo e a transparência da sua tomada de decisão ou a facilidade de explicar tais previsões aos stakeholders. O enfoque exagerado na precisão pode levar à criação de algoritmos tipo “caixa preta”. Quando isso acontece, ninguém sabe dizer com certeza por que um sistema de IA fez determinada recomendação. Da mesma forma, quanto mais dados os modelos conseguirem analisar, mais precisas serão as previsões. Por outro lado, muitas vezes a preocupação com a privacidade também aumentará.
O que uma equipe de desenvolvimento de modelos deve fazer nesses casos se, por exemplo, os valores de uma empresa determinarem tanto a criação dos melhores produtos quanto a garantia da satisfação do cliente? O processo exige as considerações de um líder que entenda dos negócios, o que permitirá às equipes tomar as melhores decisões ao fazerem os trade-offs.
Além disso, os líderes devem enfatizar os valores de diversidade da organização e certificar-se de que se traduzam em equipes de analytics diversificadas. A diversidade de pessoas traz uma variedade nas experiências, o que leva não apenas a abordagens inovadoras, necessárias para solucionar problemas difíceis, mas também àquelas exigidas para prevenir vieses. Uma equipe exclusivamente masculina responsável por criar um modelo de seleção de currículos, por exemplo, pode gerar a hipótese de que a atividade profissional ininterrupta seja um indicador de bom desempenho na carreira, ignorando a necessidade de modificar a hipótese para levar em conta os efeitos da maternidade no histórico profissional. A diversidade de gênero, porém, não basta. Os líderes devem também enfatizar outros tipos de diversidade, como diversidade de idades, etnias, disciplinas e formações, para garantir que as equipes representem uma ampla gama de experiências e perspectivas.
Além dos valores: cinco áreas que exigem liderança do topo
Embora garantir que os valores da empresa possam ser mais facilmente aplicados às decisões de desenvolvimento da IA seja um passo fundamental na construção responsável desse recurso, ele não é suficiente. Há muitos casos de equipes de cientistas de dados bem-intencionadas e talentosas que entraram inadvertidamente em áreas nebulosas e expuseram suas organizações a duras críticas. Os avanços nas técnicas de inteligência artificial e seu uso crescente tornam a situação ainda mais complicada, forçando os cientistas de dados a ajustar continuamente sua conduta. Como resultado, os CEOs precisam ir mais fundo e desafiar as equipes da analytics a avaliar suas ações no calor da opinião pública em cinco áreas principais.
1. Aquisição adequada de dados
Os dados são o combustível da IA. Em geral, quanto mais dados forem usados para treinar um sistema, mais precisas e embasadas serão suas previsões. Entretanto, a pressão para que as equipes de analytics inovem pode levar ao uso de dados de terceiros ou ao reaproveitamento de dados de clientes de uma forma que, embora ainda não seja prevista pelas regulamentações, seja considerada inadequada. Uma empresa de serviços de saúde pode, por exemplo, comprar de corretores de dados informações sobre seus pacientes — tais como os restaurantes que frequentam ou quanto tempo passam assistindo à televisão — para ajudar os médicos a avaliar seu nível de risco à saúde. Embora na lógica do sistema de saúde a aquisição e o uso desses dados beneficiem os pacientes (afinal de contas, as consultas são breves e essas informações podem orientar os médicos em relação aos riscos daquele paciente específico), muitos pacientes veem nisso uma invasão de privacidade. Além disso, eles têm a preocupação de que os dados possam transmitir uma imagem incompleta da sua vida e levar a recomendações médicas desnecessárias ou imprecisas.
Como resultado, os líderes não podem deixar de indagar as equipes de cientistas de dados sobre a origem dos dados e sobre como eles serão usados; devem, também, instruí-los a considerar as possíveis reações de clientes e da sociedade. Uma instituição financeira que desejava fornecer assistência extra a clientes financeiramente vulneráveis, por exemplo, desenvolveu capacidades para identificar comportamentos digitais que indicavam prováveis problemas de saúde mental. No entanto, a organização acabou decidindo não incluir essa dimensão no sistema de IA devido à possível reação dos clientes a essa classificação, apesar da boa intenção por trás dela.
2. Conjunto de dados adequado
A garantia de que os conjuntos de dados reflitam com precisão todas as populações analisadas é, compreensivelmente, um tema bastante polêmico, pois a sub-representação de grupos pode afetar o impacto da análise sobre grupos específicos. Um sistema de reconhecimento facial treinado com base em um conjunto de dados que inclua muito mais imagens de homens brancos, por exemplo, pode acabar não identificando mulheres e pessoas não brancas. Embora vieses de etnia, gênero ou outros vieses humanos sejam as principais preocupações, os líderes devem considerar também o impacto de vieses de dados mais corriqueiros, tal como o viés de seleção de período. Nesse caso, por exemplo, um algoritmo de manutenção preditiva não consegue detectar uma falha por ter sido treinado com base em um conjunto de dados referente apenas a nove meses, e não a vários anos.
Como a história já mostrou, até mesmo cientistas de dados dedicados podem, sob a pressão dos prazos e do enorme volume de dados, acreditar que cobriram todas as brechas possíveis — e estar errados. Vimos, por exemplo, muitas equipes de analytics excluir variáveis protegidas das entradas de um modelo sem verificar se havia conflação com outras variáveis de entrada, tais como códigos postais e dados de renda.
Assim, os líderes devem fazer perguntas bastante detalhadas às equipes de cientistas de dados para entender como obtiveram os dados usados para treinar seus modelos. Os conjuntos de dados refletem populações do mundo real? Foram incluídos dados relevantes para minorias? Os testes de desempenho realizados durante o desenvolvimento e uso do modelo revelam problemas com o conjunto de dados? O que pode estar faltando?
Confronting the risks of artificial intelligence
3. Equidade dos resultados da IA
Mesmo quando os conjuntos de dados refletem populações do mundo real, vieses históricos podem levar a resultados parciais. Os algoritmos de machine learning, responsáveis pelos mais recentes avanços em IA, detectam padrões e fazem previsões e recomendações a partir de dados e experiências. Eles não têm consciência do contexto em que suas decisões serão aplicadas ou das implicações dessas decisões. Assim, é fácil que vieses e julgamentos históricos humanos atrapalhem as previsões sobre, por exemplo, quais prisioneiros devam obter liberdade condicional, quais clientes possam tomar empréstimos ou receber ofertas especiais e quais candidatos devam ser chamados para uma entrevista de emprego. Até mesmo organizações sofisticadas podem não perceber que estão replicando e perpetuando um viés histórico. Foi esse o caso de uma importante empresa de tecnologia que percebeu que seu algoritmo de seleção de currículos era discriminatório e favorecia candidatos do sexo masculino (porque, historicamente, o cargo em aberto era ocupado predominantemente por homens).
Os líderes, portanto, precisam estruturar um processo cuidadoso de “equidade por design” e garantir sua adoção. Para tanto, devem, em primeiro lugar, estabelecer definições e métricas para avaliar a equidade, conforme descrito acima, e então orientar as equipes de cientistas de dados a considerar continuamente a questão da equidade durante todas as atividades envolvidas nas seguintes ações:
- Seleção de dados. Maximizar a equidade não é tão simples quanto remover um atributo protegido ou considerar o viés histórico por meios artificiais. Excluir o fator gênero da aplicação de seleção de currículos, por exemplo, pode levar a uma falsa impressão de equidade, como descobriu aquela empresa de tecnologia. Da mesma forma, aumentar a proporção de candidatas do sexo feminino incluídas nos conjuntos de dados pode tornar a situação mais justa para as mulheres, mas levar a resultados injustos para outras categorias de candidatos. É importante que os líderes discutam com suas equipes quais vieses humanos históricos podem afetar seus sistemas de IA e como a empresa pode lidar com eles. Nesse exemplo, para garantir maior representatividade de candidatas mulheres, uma empresa pode ter que coletar dados de gênero para medir o impacto da inclusão de gênero, sem no entanto usar esses dados no treinamento do modelo de IA. Embora a coleta de atributos protegidos ou sensíveis possa ser essencial para demonstrar que um sistema de IA esteja agindo de forma igualitária, é necessária uma forte governança de dados para garantir que esses dados não sejam usados para nenhum outro fim.
- Escolher “atributos” dos dados brutos. Na construção de algoritmos, os cientistas de dados devem escolher quais elementos (chamados de atributos) dos dados brutos um algoritmo deve levar em consideração. No caso do sistema de seleção de currículos, esses atributos podem incluir o tempo que os candidatos passaram no emprego anterior, seu nível de instrução ou as línguas em que são proficientes. A seleção desses atributos é um processo iterativo e também, de certa forma, uma arte. Os cientistas de dados costumam trabalhar com especialistas da empresa para gerar hipóteses sobre os atributos a serem considerados, identificar os dados necessários, realizar testes e repetir o processo. O desafio é que, se mensurarem o modelo de desempenho em relação a uma única métrica (tal como a precisão da previsão), correm o risco de não perceberem fatores do mundo real que podem comprometer a equidade. A hipótese de considerar a duração de empregos anteriores, por exemplo, pode não levar em conta as diversas mudanças de emprego entre cônjuges de militares, comuns devido a mudanças frequentes de domicílio. Os líderes que incentivam suas equipes a usar uma ampla gama de métricas para avaliar o desempenho do modelo e a fazer a curadoria dos atributos tendo em mente as metas maiores da empresa ajudam a garantir a equidade.
- Desenvolver, testar e monitorar modelos. É fácil imaginar que, se as equipes escolherem os dados e atributos adequados, o algoritmo resultante irá gerar resultados igualitários. Existem, porém, mais de uma dezena de técnicas de modelagem comumente usadas, e diferentes abordagens (ou combinações delas) podem levar a resultados diferentes a partir dos mesmos conjuntos de dados e dos mesmos atributos. Na fase de desenvolvimento, as equipes costumam testar o desempenho do modelo (verificam se está tendo o desempenho esperado, por exemplo) e, cada vez mais, trazem para o processo equipes internas especialmente treinadas ou provedores de serviços externos para realizar mais testes. O mesmo rigor deve ser aplicado aos testes dos modelos em relação à definição de equidade da organização e suas métricas. E, da mesma forma que o desempenho de um modelo deve ser monitorado durante toda a vida de um sistema de IA, a equidade dos modelos também deve ser monitorada por equipes especializadas em risco. Com isso, previne-se o aparecimento de vieses com o passar do tempo, conforme o sistema passe a integrar novos dados ao seu processo de tomada de decisão. Uma importante empresa farmacêutica, por exemplo, usou modelos de machine learning para identificar centros de ensaios clínicos que tinham o maior risco de apresentar problemas de segurança do paciente ou outras questões de compliance. As primeiras versões dos modelos foram testadas repetidas vezes com base em fatores do mundo real, e as centenas de usuários dos resultados do modelo foram treinadas para detectar quaisquer anomalias.
4. Compliance e engajamento regulatório
Anteriormente, organizações que não pertenciam a setores regulados, como o setor bancário e de saúde, muitas vezes tinham menos rigor em relação à garantia da privacidade dos dados. Com as regulamentações existentes e o surgimento de outras, tais como a Regulação geral da proteção de dados (GDPR, General Data Protection Regulation) ou a Lei de privacidade do consumidor da Califórnia (CCPA, California Consumer Privacy Act), todos os líderes tiveram que reexaminar a forma como suas organizações usam dados do consumidor e interpretar novas questões regulatórias. Tais questões incluem o direito de ser avaliado por um humano, o direito de ser esquecido e o perfil automático. Para isso, operadoras de telecomunicações dos Estados Unidos, por exemplo, se comprometeram a parar de vender dados para serviços de agregação de localização em meio a relatos sobre o uso de dados de usuários privados sem consentimento prévio. Cabe aos líderes não apenas perguntar a suas equipes quais regulamentos podem ser aplicáveis ao seu trabalho e questionar como garantem compliance: eles devem, também, garantir que suas equipes de cientistas de dados, regulatória e jurídica trabalhem juntas na definição de métricas claras de compliance para as iniciativas de IA.
Além disso, os líderes devem incentivar sua organização a passar de uma mentalidade de compliance para uma mentalidade de co-criação, em que aplicam a expertise comercial e técnica da empresa ao desenvolvimento de novas regulamentações. A colaboração recente, no Reino Unido, entre o Financial Conduct Authority (FCA), entidade que regulamenta a atividade bancária no país, e o setor bancário oferece um modelo para esse novo tipo de parceria. O FCA e setor bancário se uniram para criar uma “caixa de areia regulatória” onde os bancos podem fazer experimentações com abordagens de IA que desafiam as atuais normas regulatórias ou não são contempladas por elas. Isso inclui o uso de novos dados para aumentar a detecção de fraudes ou aprimorar previsões sobre a propensão de um cliente a adquirir produtos.
5. Explicabilidade
É tentador acreditar que, desde que um modelo complexo se comporte da forma esperada, os benefícios que proporciona compensarão sua falta de explicabilidade. De fato, em algumas aplicações, pode ser aceitável não compreender como um algoritmo fez uma previsão. Se uma aplicação do setor de saúde, por exemplo, usar a classificação de imagens para prever, de forma prática, consistente e precisa quais manchas de pele indicam alto risco de câncer, é improvável que um paciente se preocupe com o fato de o modelo usar a cor da mancha, sua forma, sua proximidade com outra mancha ou qualquer dos milhões de atributos que levam à recomendação final. No fim das contas, o paciente está preocupado em saber se a recomendação está ou não correta — e, se o risco for alto, em saber o que pode ser feito em relação ao prognóstico.
Em outros casos, porém, pode ser inaceitável ter um modelo opaco — é razoável, por exemplo, que candidatos a emprego ou solicitantes de empréstimos queiram saber por que receberam um não —, o que pode até mesmo representar um obstáculo ao uso e à adoção da IA (podemos pensar em gerentes de loja que provavelmente desejarão entender por que o sistema está recomendando um mix específico de produtos para seu estabelecimento antes de seguir seu aconselhamento). A capacidade de explicar os resultados dos modelos aos stakeholders é uma importante alavanca para garantir compliance com as crescentes expectativas regulatórias e públicas e para estabelecer a confiança necessária para acelerar a adoção. Além disso, ela oferece aos especialistas, aos funcionários da linha de frente e aos cientistas de dados uma linguagem comum para discutir os resultados do modelo e assim erradicar possíveis vieses muito antes que os modelos venham à luz.
O campo da “IA explicável” (às vezes chamada de XAI), recém-surgido e em rápido amadurecimento, começa a oferecer ferramentas — como SHAP, LIME e atlas de ativação — que podem remover a aura de mistério que envolve as previsões da inteligência artificial.
Para garantir que os resultados dos modelos possam ser facilmente explicados para os stakeholders, os líderes devem questionar suas equipes de cientistas de dados sobre os tipos de modelo que usam. Isso pode ser feito, por exemplo, solicitando às equipes que mostrem ter escolhido o modelo com desempenho mais simples (e não a mais recente rede neural profunda) e exigindo o uso de recursos de explicabilidade em técnicas naturalmente opacas (Quadro 2). Uma equipe de analytics de uma empresa de mídia usa, rotineiramente, essas técnicas de IA explicável em seus relatórios de marketing. Isso permite à equipe executiva entender não apenas quais clientes são mais propensos ao churn em um determinado período, mas também por quê o são. A XAI possibilita o uso de modelos preditivos de maior desempenho e, ao mesmo tempo, permite que a equipe de marketing tome ações preventivas, baseadas em dados, para reduzir o churn.
Não há respostas fáceis para essas questões. Porém, os líderes que fomentam e destrincham seus valores corporativos constroem equipes com diversidade de perspectivas, criam uma linguagem e pontos de referência que orientam o uso da IA e frequentemente se envolvem com as equipes que a desenvolvem, desafiando-as a criar e usar esse recurso de maneira responsável.
Um importante aspecto da inteligência artificial responsável é que ela desperta a confiança de funcionários e clientes. Os funcionários confiarão nos insights fornecidos pela IA e estarão mais dispostos a usá-los em seu trabalho diário e a pensar em novas maneiras de usar esse recurso para gerar valor. A confiança do consumidor dá a você o direito de usar seus dados de forma adequada; esses dados, por sua vez, potencializam a IA e promovem sua melhoria contínua. Os clientes estarão dispostos a usar seus produtos que incorporem a IA graças à confiança que têm em sua organização e ficarão satisfeitos em fazê-lo, sabendo que estão em constante aprimoramento. Trata-se de um ciclo virtuoso que impulsiona não apenas a reputação da marca e a capacidade de inovar da organização, mas que, principalmente, permite que a sociedade se beneficie do poder da inteligência artificial, ao invés se prejudicar com suas consequências indesejadas. E isso, sem dúvida, é motivo de muito orgulho.