Ética e proteção de dados na inteligência artificial: a continuação do debate. Uma contribuição da América Latina e Caribe

As organizações signatárias deste documento pertencem a um grupo organizado da sociedade civil da América Latina que busca fortalecer os Direitos Humanosna área digital. A consulta pública sobre “Ethics and Data Protection in Artificial Intelligence: continuing the debate”[1] promovida pelo ICDPPC[2] é uma nova oportunidade para colocar em discussão as perspectivas próprias do Sul Global e, em particular, da América Latina e Caribe, sobre o debate de ética e proteção de dados no contexto da Inteligência Artificial (IA). Desse modo, acreditamos que as considerações deste documento podem complementar em profundidade e complexidade alguns aspectos da declaração do ICDPPC.

Nesse sentido, valorizamos que a declaração apresentada pelo ICDPPC reconheça que o desenvolvimento da IA questione cada vez mais o respeito a direitos como privacidade e proteção dos dados e que seu desenvolvimento deve ser complementado com considerações éticas e de direitos humanos. Respondendo a esse objetivo maior, nos parece crucial que a ICDPPC tenha detectado a necessidade que as autoridades de proteção de dados e privacidade trabalhem em conjunto outras autoridades de direitos humanos, para poder desenvolver perspectivas que correspondam a complexidade que hoje demandam sistemas como a Inteligência Artificial.
É justamente nesse contexto de reconhecer a complexidade de cenários trazidos pela IA[3] e de distribuição desigual de poderes entre as partes interessadas que as organizações signatárias pedem que sejam considerados os seguintes aspectos relevantes em alguns dos princípios propostos pelo ICDPPC.

Optar pelo uso do marco internacional dos Direitos Humanos para avaliar os efeitos da IA

Parabenizamos a intenção de incorporar a ideia de ética de maneira coordenada com o conceito de “privacidade no desenho” (privacy by design), que ganhou popularidade graças à entrada em vigor do Regulamento Geral de Proteção de Dados (GDPR) da União Europeia. Não obstante, somos cautelosos em relação àgeneralidade do conceito “ética no desenho” e portanto seu perigo potencial de ser um campo de batalha condicionado por valores culturais dominantes do Norte Global, que não necessariamente respondam à diversidade cultural. Nesse sentido, nos unimos ao chamado de alguns especialistas como Eileen Donahoe (Diretor Executivo, Global Digital Policy Incubator, Standford University)quando afirma que “nosso marco de Direitos Humanos existente é uma lenteinestimável para avaliar os efeitos da IA nos seres humanos”[4].

Recorrer ao marco existente já acordado de Direitos Humanos traz diversas vantagens, como a de que, em muitos países – do Norte e sul global – , já existem legislações avançadas nesta matéria, além de standards que foram desenvolvidos pelos sistemas regionais de proteção aos direitos fundamentais, que permitem justamente enfrentar da melhor maneira o impacto no exercício de diversos direitos, tanto civil e políticos, como econômicos, sociais e culturais que a IA tem sobre indivíduos e comunidades.

Reconhecimento explícito de grupos em condição especial de vulnerabilidade em decorrência dos sistemas de IA

De acordo com as evidências disponíveis, hoje se pode afirmar que – assim como a declaração da ICDPPC reconhece – o uso de Inteligência Artificial tem impacto não somente sobre os indivíduos, mas também impacta significativamente grupos da sociedade em geral. No entanto, nos parece fundamental que na declaração exista um reconhecimento explícito de que existem “grupos em situação especial de vulnerabilidade”, no que diz respeito aos efeitos prejudiciaisaos Direitos Humanos em decorrência de sistemas algorítmicos e da IA.

Na América Latina e Caribe vemos com preocupação diversos casos a respeito dessa questão: por exemplo, o uso do Software PredPol pelo Ministério do Interior do Uruguai, com a finalidade de identificar áreas da cidade em que haja maior probabilidade que se cometam delitos, tem levantado questionamento por organizações locais e internacionais que argumentam que essas ferramentas“tendem a replicar os vieses das bases de dados utilizadas para seu treinamento e são utilizadas para justificar a presença policial em bairros marginalizados”.[5] Sofreram críticas similares os sistemas que pretendem prever automaticamente a gravidez em adolescentes na província de Salta, na Argentina[6], assim como o recém lançado sistema para prever o risco de estupro de crianças e adolescentes no Chile.[7]

O reconhecimento explícito da situação de vulnerabilidade de certos grupos sociais, por um lado, torna mais evidente a necessidade de que tanto empresas como formuladores de políticas públicas olhem para os efeitos da IA contextualmente em seu país, por outro lado, permite às autoridades de proteção de dados comparar e compreender os efeitos nas comunidades mais vulneráveis de nossas sociedades.

Explicitar responsabilidades dos Estados, como usuários de sistemas de IA, para as decisões públicas

Da mesma maneira, acreditamos que deve ser explicitado o cuidado especial com os Direitos Humanos que se deve ter quando sistemas de IA são comprados, desenhados e/ou implementados pelo Estado para definir suas políticas públicas, em qualquer âmbito, considerando que os Estados são os principais responsáveis pela garantia desses direitos. Isso é especialmente relevante porque, como vimos no item anterior, os Direitos Humanos são prejudicados quando muito desses sistemas acabam automatizando políticas discriminatórias contra populações em condição de vulnerabilidade.

Na América Latina, isso é especialmente preocupante, em virtude da escassa ou inexistente transparência acerca do contexto em se coletaram os dados que alimentam a toda de decisões e acerca da autorização explícita dos titulares dos dados (ou seus representantes legais) para utilizações secundárias como as que existem em muitos sistemas de IA. Da mesma forma, em um contexto regional de relativa debilidade normativa a respeito dos standards de proteção de dados pessoais e/ou das autoridades responsáveis pela efetivação dessa proteção, a purificação da base de dados ou a possibilidade do cidadão afetado reclamar sobre os resultados que lhe afetam resulta escassa ou nula.

Reconhecer as tensões que a IA introduz no sistema tradicional de proteção de dados e, desde esse ponto, avançar em soluções acordadas.

Tal como se disse na declaração, consideramos importante que a informação seja entregue de forma oportuna e inteligível aos indivíduos quando interajam diretamente com um sistema de IA ou quando disponibilizem dados pessoais para que sejam processados por tais sistemas. Não obstante, acreditamos que estas soluções estão baseadas em uma visão sobre a liberdade do indivíduo que não leva em conta sua desigualdade de poder, conhecimento e recursos. Se incorporamos estes elementos à análise, percebemos que a capacidade de decisão das pessoas se vê fortemente limitada. É por isso que consideramos fundamental explicitar pelo menos dois aspectos que devem complementar a abordagem tradicional sobre o tema no contexto da IA:

• A incerteza do princípio da finalidade: para autores como Zeynep Tufekci[8], as empresas não têm capacidade de informar-nos sobre os riscos que aceitamos, não necessariamente por ma-fé, mas porque os métodos computacionais –que são cada vez mais poderosos, como o machine learning- funcionam como uma caixa preta; ou seja, nem sequer os que têm acesso ao código e aos dados podem saber as consequências que têm um sistema em nossa privacidade. Neste sentido, questões fundamentais como o princípio da finalidade da coleta de dados pode tornar-se obsoleto.
• A dificuldade do consentimento informado: Ademais, ao ser altamente complexo o funcionamento deste tipo de sistema, inclusive para seus próprios desenhadores, pareceria injusto que sejam os indivíduos os que arquem com a responsabilidade de informa-se e entender matérias tão áridas como os efeitos que sistemas tem sobre seus Direitos Humanos. Neste contexto, é importante reconhecer que formas tradicionais de proteção de dados, como o consentimento informado por parte dos indivíduos, já não têm a mesma suposta eficácia em sistemas complexos como os de IA. Além disso, o consentimento informado pode ser utilizado como desculpa para legitimar o impacto à privacidade e à proteção de dados. Por tanto, as obrigações de respeito aos direitos devem ser cumpridas independentemente da obtenção de consentimento. Da mesma forma que acontece em outros âmbitos onde se reconhece a desigualdade de posição entre as partes (direito do trabalho, direito do consumidor, entre outros), o consentimento deve ser considerado como um requisito que se une a outros deveres, não como algo que os substitui.

Perante este cenário, é importante reconhecer os pontos débeis do sistema tradicional da proteção de dados e, por isso, comprometer-nos em avançar mecanismos combinados que permitam reforçar a supervisão de sistemas de IA, estabelecer limitações com respeito aos nossos Direitos Humanos e implementar mecanismos de transparência pública.

Explicitar o trabalho das autoridades que tenham como função supervisionar sistemas de IA

Na mesma esteira, reconhecemos a importância vital que hoje têm, mais do que nunca, as autoridades cuja função seja supervisionar IA, por serem o motor da promoção da responsabilização das partes relevantes interessadas nestes sistemas. Assim, acreditamos ser muito importante explicitar três aspectos sobre o trabalho das autoridades supervisoras estatais:

• é importante que as autoridades hoje existentes (sejam autoridades de proteção de dados ou similares) contem com atribuições autorizadas por lei e, consequentemente, com recursos compatíveis e pessoal capacitado, de forma a poder abordar os complexos cenários de estudo que a IA demanda na proteção de direitos humanos.
• Ainda assim, se deve garantir expressamente a independência das autoridades que fiscalizem os sistemas de IA estudados.
• Respondendo à complexidade dos cenários de IA e à desigualdade de recursos para sua prestação de contas –sobretudo na comparação Norte versus Sul global- devem habilitar-se mecanismos de cooperação transparentes entre autoridades, academia, setor privado e sociedade civil para a discussão de evidências e impactos.

Os Estados que usem sistemas de IA para definir suas políticas públicas, em qualquer de seus âmbitos, deveriam, ainda assim, ter mecanismos de transparência, auditoria e prestação de contas – por comitês independentes- desde o desenvolvimento do conceito de sistema, passando pela licitação, pelas bases de dados que os alimentam, seu desenvolvimento e implementação no tempo.

Lidar com as forças oligopólicas do mercado e seu efeito na IA

Apesar da declaração levar em conta “os riscos potenciais induzidos pela tendência atual de concentração de mercado no campo da IA”, nos parecefundamental reconhecer e assegurar expressamente o equilíbrio de poder de todas as partes envolvidas nos sistemas de inteligência artificial e, particularmente, tornar explícitos os riscos que derivam da posição dominante de um punhado de empresas na oferta de serviços digitais, que se alimentam primordialmente de dados dos usuários, como Facebook, Google, Amazon, entre outros.

Devido a constatação técnica de que para melhorar sua eficácia a IA necessita de grandes quantidades de dados, resulta preocupante o panorama atual do nível de domínio de mercado que têm essas empresas no concernente a exploração de dados pessoais. Em que pese escapar das lógicas tradicionais de avaliação pelas legislações de concorrencial – já que as ofertas de serviços são diversas -, a situação é agravada pela participação de tais empresas em múltiplos mercados verticalmente integrados, assim como pelo reconhecimento público de que algumas destas companhias compartilham dados pessoais de seus usuários com outras empresas[9].

Além disso, levando em conta que para países do Norte Global já é difícil conseguir certo nível de responsabilização destas empresas, a tarefa se faz ainda mais custosa para países do Sul Global, que muitas vezes carecem de institucionalidade forte em matéria de concorrência e proteção dos consumidores. Instamos a ICDPPC ao reconhecimento explícito desta realidade do mercado das empresas que desenvolvem ou implementam IA, de forma a criar mecanismos de controle e responsabilização que permitam abarcar especialmente este tipo de oligopólios no desenvolvimento de sistemas de inteligência artificial.
Segurança dos sistemas de IA e de seus resultados
Consideramos de suma importância que, para os sistemas de IA, se adotem mecanismos de segurança digital em conformidade aos standards de direitos humanos. Entendemos que adotar uma perspectiva de direitos para definir a segurança digital implica que no centro da análise não devam estar conceitoscomo “interesse nacional”, “segurança nacional”, “interesse econômico” ousimilares. Ao contrário, a segurança digital deve centrar-se na capacidade das pessoas de se relacionar com a tecnologia de maneira benéfica para suas necessidades e preferências, sem extar expostas desproporcionalmente a riscos de controle de sua autonomia e identidade.
Uma primeira faceta da segurança dos sistemas de IA é a incorporação de práticas que garantam a integridade, confidencialidade e disponibilidade do sistema, de forma tal que os responsáveis pela IA possam garantir a não interferência maliciosa na alimentação de dados, nas escolhas feitas pelo sistema, ou nos propósitos de uso desvirtuados. Não somente, devem assegurar também que as pessoas potencialmente impactadas pelas decisões da IA estejam munidas das ferramentas necessárias para que possam compreender e analisar criticamente esta tecnologia a fim de determinar se seu uso pode contribuir ou prejudicar sua situação de vida. Nesse sentido, não se pode negar que milhões de pessoas na América Latina – e em todo o resto do mundo- vivem em condições de pobreza e baixo nível educacional e que, portanto, seu risco de marginalização pode ser aumentado com a aplicação de IA, sem que tais pessoas estejam em condições de acessar as informações ou entender as consequências de tais sistemas. Esta desigualdade social também deve ser abordada pela ICDPPC como parte de um esforço real para garantir um uso seguro da IA.
:::
[1] Declaration on Ethics and Data Protection in Artificial Intelligence. ICDPPC. October 23, 2018 https://icdppc.org/wp-content/uploads/2018/10/20180922_ICDPPC-40th_AI-Declaration_ADOPTED.pdf
[2] Public consultation – Ethics and Data Protection in Artificial Intelligence: Consultation extended until 15 February 2019. ICDPPC. October 31, 2018 https://icdppc.org/public-consultation-ethics-and-data- protection-in-artificial-intelligence-continuing-the-debate/
[3] Para os fins deste informe, com o nome Inteligência Artificial ou IA nos referimos a todo o todo o espectro de diferentes inteligências e processos baseados em dados: desde a tomada de decisões automatizadas e algorítmicas, passando pelo aprendizado automático (ou machine learning), incluindo também o aprendizado profundo que imita as redes neurais biológicas, entre outras.
[4] Human-Centered AI: Building Trust, Democracy and Human Rights by Design. Donahoe, Eileen. 9 de julio del 2018. Traducción propia. https://medium.com/stanfords-gdpi/human-centered-ai-building-trust-democracy-and-human-rights-by-design-2fc14a0b48af
[5] Algoritmos e Inteligencia Artificial en Latinoamérica. World Wide Web Foundation. Septiembre 2018. http://webfoundation.org/docs/2018/09/WF_AI-in-LA_Report_Spanish_Screen_AW.pdf
[6] Sobre la predicción automática de embarazos adolescentes. Laboratorio de Inteligencia Artificial Aplicada. https://liaa.dc.uba.ar/es/sobre-la-prediccion-automatica-de-embarazos-adolescentes/
[7] Expertos advierten riesgos en uso de big data para prevenir vulneraciones a niños. La Segunda. 14 de enero 2018. http://impresa.lasegunda.com/2019/01/14/A/SN3HIO68/all
[8] The Latest data Privacy Debacle. Zeynep Tufekci. 30 de janeiro de 2018. https://www.nytimes.com/2018/01/30/opinion/strava-privacy.html
[9] Facebook Used People’s Data to Favor Certain Partners and Punish Rivals, Document Show. The New York Times. 5 de dezembro de 2018. https://www.nytimes.com/2018/12/05/technology/facebook- documents-uk-parliament.html?smid=tw-nytimes&smtyp=cur

Este documento foi assinado em 25 de janeiro de 2019 pelas seguintes organizações:

• Derechos Digitales. América Latina. (derechosdigitales.org)
• Asociación por los Derechos Civiles (ADC). Argentina. (adcdigital.org.ar)
• Hiperderecho. Peru. (hiperderecho.org)
• IPANDETEC. Panama. (ipandetec.org)
• Red en Defensa de los Derechos Digitales (R3D). México. (r3d.mx)
• TEDIC. Paraguay. (tedic.org)
• Fundación Karisma. Colombia. (karisma.org.co)
• Coding Rights. Brazil. (codingrights.org)
• Instituto Brasileiro de Defesa do Consumidor (Idec). Brasil.