Decisões automatizadas são cada vez mais comuns em vários setores da vida social. Ao navegar na internet, somos expostos a anúncios personalizados com base em perfis comportamentais (TOBBIN; CARDIN, 2020). Carros autônomos, atualmente em desenvolvimento por diversas empresas do setor automobilístico, precisarão tomar decisões a todo tempo no trânsito (ROBERTO, 2020). Sistemas de proteção ao crédito constroem scores e perfis mais completos de pessoas, que são então utilizados para decisões que afetarão a vida financeira destas (CITRON; PASQUALE, 2014; MARANHÃO; CAMPOS, 2019). Em todos estes casos, sistemas computacionais tomam decisões que afetam as escolhas disponíveis a seres humanos, muitas vezes sem envolvimento de qualquer ser humano no processo decisório.

Apesar de a automação, in extremis, eliminar o envolvimento direto de pessoas naturais em processos decisórios, a tomada de decisões automatizadas continua a ser prática com um forte componente humano. Isso porque artefatos tecnológicos não são objetos axiologicamente neutros, mas o produto de uma série de decisões, que partem de premissas culturais e políticas específicas e, assim, contribuem para consolidar certas estruturas e comportamentos sociais (WINNER, 1980). Por exemplo, sistemas de decisão automatizada são parte essencial dos modelos de trabalho da chamada economia de plataformas, direcionando os trabalhadores, precificando e supervisionando suas atividades.3 Estes sistemas produzem, assim, efeitos que muitas vezes vão além do contexto da decisão individualizada e impactam estruturas sociais mais profundas.

A automação de processos de tomada de decisão traz consigo potenciais vantagens, como a possibilidade de reduzir o trabalho mecânico dos trabalhadores humanos e de garantir uma prestação mais eficiente de produtos e serviços. Tais vantagens, contudo, são acompanhados por uma série de riscos para indivíduos e para a sociedade. Em particular, há o risco de que decisões automatizadas baseadas em perfis, construídos a partir de dados pessoais e analisados por complexos algoritmos, produzam resultados discriminatórios ou não suficientemente transparentes para aqueles afetados pela decisão. Objetivando especificamente proteger titulares de dados em relação ao processamento de seus dados para decisões automatizadas que os afetem, a Lei Geral de Proteção de Dados (LGPD)4 traz o Artigo 20, que provê às pessoas naturais alguns direitos oponíveis ao uso de seus dados pessoais para a tomada de decisões automatizadas: o direito de revisão, explicação e a possibilidade de auditoria pela autoridade para verificação de potencial discriminatório. 

Contudo, as tecnologias hoje utilizadas para automação, em especial aquelas baseadas em técnicas de aprendizado de máquina, incorporam diferentes tipos e níveis de opacidade (BURRELL, 2016), que geram obstáculos ao exercício destes direitos: como revisar uma decisão baseada em uma função probabilística complexa pela qual não fica claro quais fatores determinaram seu resultado? E ainda quando for possível encontrar correlações estatisticamente significantes entre variáveis de entrada e a predição de saída, como traduzi-las em relações causais ou finalísticas compreensíveis por humanos? Como pleitear a revisão quando sequer se sabe da existência de uma decisão automatizada? Para evitar que a complexidade técnica se torne um escudo para evitar a aplicação da lei,5 a LGPD inclui em seu artigo 46 a chamada proteção de dados by design, segundo o qual os agentes de tratamento de dados pessoais têm o dever de adotar medidas técnicas, administrativas e de segurança para assegurar que dados pessoais não sejam tratados de forma inadequada ou ilícita. Porém, dada a vasta gama de aplicações possíveis para a tomada automatizada de decisão, cada uma com seus riscos associados, tais dispositivos adotam uma redação aberta, que traz poucos detalhes a respeito do conteúdo específico dos deveres de design e de revisão.

Como tal abertura normativa pode trazer dificuldades para a aplicação dos dispositivos em questão, o presente artigo propõe uma interpretação sistemática destes como instrumentos para a regulação de risco.6 Uma vez que a LGPD estabelece a prevenção de danos como um de seus princípios-guia (LGPD, art. 6^o, VIII), os agentes de tratamento de dados devem avaliar os potenciais danos que posam decorrer de cada aplicação de decisão automatizada e adotar medidas que minimizem os riscos de concretização destes danos, bem como tornem viável a revisão de eventuais decisões que produzam efeitos prejudiciais aos interesses do titular de dados. O diagnóstico dos riscos é, por definição, dependente do contexto em que a decisão automatizada ocorre. Contudo, é possível extrair do texto da LGPD algumas balizas para esta avaliação contextual, o que é feito no restante deste artigo.

 Na próxima seção, o artigo analisa os contornos normativos do direito à revisão de decisões automatizadas como posto no Artigo 20 da LGPD, contrastando-o com seu análogo no ordenamento da União Europeia (Artigo 22 do RGPD7). Aqui, o ordenamento brasileiro inova ao estabelecer um direito de revisão e não uma restrição às possibilidades de uso de decisões automatizadas, mas segue a tendência internacional ao estender tal direito apenas às decisões tomadas sem envolvimento humano. A seção seguinte examina as medidas de proteção de dados by design incorporadas ao ordenamento jurídico brasileiro pelos Artigos 46 e 49 da LGPD, sustentando que elas podem não só contribuir para a efetividade do direito à revisão como oferecer salvaguardas nos casos de decisões apenas parcialmente automatizadas. Diante da indeterminação associada ao controle de riscos decorrentes de tecnologias que podem ser usadas para diversos propósitos, a seção seguinte examina como a Autoridade Nacional de Proteção de Dados (ANPD) pode contribuir para a efetiva aplicação do direito à revisão e da proteção de dados by design. Com isso, pretende-se mostrar tanto a existência de abordagens técnicas para a governança das tecnologias de automação de decisão quanto a possibilidade de que as ferramentas jurídicas para tal governança sejam construídas a partir da cooperação entre a atuação regulatória estatal e a inovação dos atores públicos e privados na construção de sistemas que se valham dos avanços tecnológicos ao mesmo tempo que asseguram a proteção dos dados pessoais.

A ideia de que deve existir alguma possibilidade de controle humano sobre decisões que, em regra, são tomadas de forma automatizada encontra eco em várias das legislações de proteção de dados, como o RGPD e a LGPD.  No caso específico do Brasil, a formulação vigente do caput do Artigo 20 da LGPD estipula que o titular de dados tem direito a

[...] solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade.

O direito à revisão permite, portanto, a alteração do desfecho de um processo decisório que seja inteiramente conduzido por máquina. Quando esta decisão é inteiramente informacional, ou seja, tem como resultado uma decisão que não produz impactos diretos em um ambiente físico—por exemplo, uma decisão que determina se uma pessoa tem ou não direito a receber um benefício social—este direito se assemelha ao direito à correção dos dados pessoais estabelecido pela LGPD no Artigo 18, III, pois em ambos os casos, o titular tem o direito solicitar ao agente de tratamento de seus dados pessoais a alteração de uma informação que diz respeito a ele e que, a seu ver, é errônea. Diante da existência de tal direito, a revisão dos fatos associados a uma decisão automatizada, ou produzidos por uma, independe de um direito à revisão.

Não se pode concluir, todavia, que o direito à revisão careça de conteúdo próprio. Em muitos casos, a automação não visa apenas a produção de um perfil comportamental ou outra forma de extração de informação ao respeito do titular de dados, mas sim a produção de um desfecho no mundo real, sem a participação direta de um humano. Por exemplo, um sistema de triagem de currículos processa dados pessoais, e para isso realiza uma avaliação do titular desses dados. A decisão propriamente dita, nesse caso, não é a predição de comportamento do indivíduo, mas uma ação—permitir ou não que o candidato siga no processo seletivo—a ser valorada à luz do ordenamento jurídico. Uma ação, ao contrário de uma informação, não é algo que possa ser classificado como verdadeiro ou falso (BEIGANG, 2022), mas como correta ou incorreta, boa ou ruim, lícita ou ilícita, adequada ou inadequada para determinado fim. Portanto, o direito à correção teria pouco a oferecer ao titular de dados quanto aos efeitos da decisão, ao passo que a revisão traz consigo a possibilidade de reversão do curso de ação original.

Ou seja, embora a correção da informação possa afetar o processo decisório, o direito à retificação tem por objeto assegurar a acurácia do dado armazenado, ou seja, do produto de operações computacionais. Já no direito à revisão, o dever correlato tem por objeto o processo decisório pelo qual a decisão automatizada é tomada. Enfatizamos o processo, pois o direito à revisão não só pauta o desfecho ou resultado—afinal, um revisor humano pode chegar à mesma conclusão—mas pretende assegurar a adequação de todas as etapas que levaram a uma determinada decisão e que deve ser entendida com base em seus propósitos e elementos constitutivos elencados no texto legal.8

A terminologia adotada no caput do artigo 20 da LGPD ressalta, de pronto, alguns dos contornos postos pelo legislador à revisão das decisões automatizadas. O estabelecimento de um direito do titular apenas à revisão de decisões já é, em si, uma escolha significativa, pois reflete uma autorização implícita de qualquer tratamento automatizado de dados pessoais que satisfaça as exigências da lei, dentre elas a necessidade de ocorrência de uma das hipóteses de tratamento do artigo 7º da LGPD, ou, no caso de dados sensíveis, ao art. 11 da LGPD. Se o titular tem direito a solicitar revisão de decisões que lhe afetem e sejam baseadas unicamente no tratamento automatizado de dados pessoais, então já se pressupõe uma permissão implícita ao controlador para processamento de decisões automatizadas baseadas em dados pessoais. Desse modo, a permissão, mesmo que implícita, é mais forte do que uma simples ausência de proibição, refletindo um direito do controlador.

Ainda que parte da doutrina europeia interprete o Artigo 22 do RGPD em linhas similares à brasileira, a prática judicial e administrativa na União Europeia tende a adotar interpretação mais restritiva, em linha com a literalidade do § 1° deste artigo, que se refere a um direito a não ser submetido a decisões automatizadas (VALE; ZANFIR-FORTUNA, 2022). Esta interpretação restritiva, vista em termos das posições jurídicas hohfeldianas (HOHFELD, 1913), é diametralmente oposta à abordagem brasileira, pois constrói o Artigo 22 como estabelecendo uma proibição da adoção de decisões automatizadas. O modelo brasileiro de proteção de dados pessoais se mostra, assim, mais permissivo em relação ao uso da automação do que seus análogos estrangeiros, uma vez que adota apenas controles post hoc sobre decisões automatizadas, por meio dos direitos do titular de revisão, explicação e auditoria sobre discriminação.

Outra diferença importante entre a legislação de proteção de dados brasileira e aquela adotada na União Europeia está no tipo de decisões cobertas pelo direito à revisão. Na LGPD (artigo 20, caput), o direito de revisão pode ser exercido contra tratamento automatizado de dados pessoais que afete os interesses do titular de dados. Tal formulação cobre uma ampla gama de interesses juridicamente protegidos (LÓPEZ, 2020; MARANHÃO; ALMADA, 2021). Na União Europeia, o direito a não ser submetido a decisões automatizadas tem uma hipótese mais estreita: tal direito se aplica apenas às decisões que produzam efeitos jurídicos ou cujos efeitos sejam significativos de forma similar a uma decisão jurídica, por exemplo ao resultar na perda de um emprego (ARTICLE 29 WP, 2018; RECHTBANK AMSTERDAM, 2021). Ainda que exista uma tendência nos tribunais e autoridades administrativas a interpretar o critério de significância do RGPD de forma ampla (VALE; ZANFIR-FORTUNA, 2022, p. 35–38), a adoção de um critério de relevância significa que nem todas as decisões automatizadas são cobertas pelo Artigo 22 do RGPD. Já na LGPD, qualquer interesse juridicamente reconhecido pode dar margem a um pedido de revisão, ao menos neste primeiro momento em que não há restrições vindas da jurisprudência ou de instrumentos regulatórios. A legislação brasileira impõe, portanto, um escopo mais amplo para a aplicação do direito à revisão das decisões automatizadas.

A ampliação do escopo do direito à revisão foi acompanhada por uma flexibilização do processo revisional: enquanto o RGPD determina que o titular de dados pode pleitear a intervenção de uma pessoa natural no processo decisório, a LGPD não especifica que a revisão deva ser feita por humano. Tal especificação estava presente na redação da lei originalmente aprovada pelo Congresso, mas foi suprimida em meio às alterações realizadas pela Medida Provisória 869/2018. Ao votar a conversão desta MP em Lei, o Congresso Nacional incluiu no texto do artigo 20 o § 3°, segundo o qual a revisão deveria ser efetuada por pessoa natural, em termos a serem disciplinados pela ANPD. Esta adição, contudo, foi objeto de veto presidencial, fundamentado no potencial de que a obrigação de revisão humana torne inviável diversos modelos de negócio de empresas que usam sistemas de decisão automatizada, como instituições financeiras (PRESIDÊNCIA DA REPÚBLICA, 2019). Ainda que, na apreciação dos vetos à lei de conversão, ambas as casas do Congresso tenham votado em favor da restauração do requisito, tal voto não atingiu o requisito de maioria absoluta para a derrubada do veto (SILVA, P.; MEDEIROS, 2019). Conclui-se, portanto, que o legislador acabou por rejeitar a definição do direito à revisão como um direito à revisão humana.

Por fim, outra dúvida interpretativa trazida pela redação do Artigo 20 da LGPD está no status do perfilamento (profiling). Tanto a LGPD quanto o RGPD fazem referência ao perfilamento como uma prática associada às decisões automatizadas, mas a legislação brasileira não define o conceito de “perfil”, ainda que a expressão “perfil comportamental” apareça no Artigo 12 da LGPD. A falta de uma definição explícita pode trazer dificuldades jurídicas no futuro, ainda que a experiência de outros campos do direito—como a regulação do crédito—forneça diversos exemplos de práticas abarcadas pelo perfilamento. É importante salientar, todavia, que o Artigo 20 da LGPD estende o direito de revisão também às “decisões tomadas unicamente com base em tratamento automatizado de dados pessoais, incluídas as decisões destinadas a definir o seu perfil pessoal [itálico nosso]”. Ou seja, o direito à revisão seria imponível não só às decisões que usam perfis como aporte decisório, mas também àquelas envolvidas na formação do perfil propriamente dito. Por exemplo, uma decisão humana sobre concessão de crédito baseada em scoring individual poderia ter seu score revisado, a partir de explicações trazidas pelo controlador ao titular sobre o modelo de classificação.

Soluções adotadas por diferentes ordenamentos jurídicos refletem as diferenças entre os contextos políticos, legais e sociais em que cada legislador opera. Assim, a mera adoção acrítica de uma abordagem referendada em outro ordenamento pode ser insuficiente para contemplar as necessidades postas pela legislação brasileira. Por exemplo, um protocolo de controle humano de decisões automatizadas baseado no modelo europeu adotará controles ex ante—como a proibição de decisões automatizadas por padrão—que não são exigidos pela lei brasileira. Ao mesmo tempo, tal protocolo enfrentará dificuldades para lidar com o escopo mais amplo e potencialmente mais volumoso de revisão permitido pelo Artigo 20 da LGPD, em relação ao do RGPD. Neste contexto, o mapeamento das diferenças entre o direito à revisão e as abordagens estrangeiras é uma tarefa importante, para a qual este artigo presta uma contribuição inicial.

Não é possível concluir, contudo, que a abordagem brasileira para decisões automatizadas seja inteiramente distinta do exemplar estrangeiro. Uma primeira semelhança relevante para os fins deste artigo está ligada ao propósito do dispositivo: tecnologias de automação são usadas para uma variedade de aplicações, às quais o direito à revisão e seus análogos buscam dar uma resposta jurídica. Examinaremos a seguir as justificativas levantadas na literatura internacional para a revisão de decisões automatizadas, encontrando suas bases jurídicas na LGPD.

A primeira justificativa para o direito à revisão e seus análogos está ligada à possibilidade de erros no processo de tomada de decisão automatizada. O uso do termo revisão pode abranger diferentes motivações para a inconformidade com o resultado da decisão: o sujeito do dado pode pedir a revisão em função de erro ou por mesmo por discordar de suas implicações.

No caso de erro, há duas hipóteses a serem consideradas. A primeira delas refere-se a situações em que dados errôneos ou de baixa qualidade são utilizados para a construção do sistema de tomada de decisão ou para a tomada de uma decisão em particular. Neste caso, o titular dos dados encontra proteção imediata no Artigo 6°, V, da LGPD. Contudo, nem todos os erros de um sistema são produzidos por dados errôneos: mesmo a mais fidedigna base de dados pode não impedir falhas na modelagem técnica do problema ou na execução do software responsável pelas decisões.9 Uma vez que o tratamento de dados pessoais é, também, pautado pelo princípio da prevenção (LGPD, Artigo 6º, VIII), cabe aos agentes de tratamento assegurar que fatores deste segundo tipo não resultem em danos aos titulares de dados.10

O caso de discordância do conteúdo da decisão, independentemente de erro material específico, por sua vez, precisa ser avaliado, considerando-se que o objeto da decisão pode envolver aspectos valorativos. Ainda que, à primeira vista, um sistema computacional possa parecer uma representação neutra, o processo de desenvolvimento desse sistema invariavelmente envolve decisões a respeito de como interpretar determinados valores e princípios (ALMADA, 2023). Os efeitos valorativos de decisões técnicas são objeto de ampla discussão na literatura a respeito da inteligência artificial, mas quaisquer conclusões são contextuais e passíveis de mudança com o passar do tempo (GORDON; RIEDER; SILENO, 2023). Tal caráter contingente dos valores materializados em sistemas de IA, bem como a própria natureza política de tais direitos faz com que a possibilidade de contestação dos resultados algorítmicos seja defendida mesmo em casos em que uma decisão automatizada possa apresentar desempenho superior à de um decisor humano (HILDEBRANDT, 2019).

O direito a contestar decisões automatizadas é, em parte, assegurada pela possibilidade de tutela em juízo dos interesses e direitos dos titulares de dados pessoais, mas Claudio Sarra (2020, p. 8) propõe que a contestação deve ser entendida como um processo dialógico mais amplo, que ofereça ao titular de dados a oportunidade de questionar formalmente eventuais violações a seus direitos e interesses. O mecanismo de revisão oferecido pelo Artigo 20 da LGPD desempenha este papel, ao habilitar o titular de dados a questionar seja o desfecho da decisão, seja o processo decisório em si.11 Desta forma, o exercício do direito à revisão se mostra como uma via extrajudicial12 para a contestação de decisões automatizadas, mesmo que o termo “contestação” não seja diretamente invocado pelo legislador brasileiro neste contexto. Como indicado acima, a efetividade a abrangência da contestabilidade de decisões automatizadas liga-se diretamente à abrangência, profundidade e qualidade da explicação sobre a decisão, critérios e processo decisório a que tenha acesso.

O direito à revisão surge, portanto, como uma forma de articular e promover estes três interesses—a qualidade dos dados e dos outputs automatizados, a proteção de valores afetados por processos de automação, e a possibilidade de contestação dos resultados de uma decisão automatizada sem que seja necessário recorrer a vias judiciais—, que devem ser avaliados no caso concreto da decisão cuja revisão se pleiteia. A revisão das decisões automatizadas surge como um instrumento para a promoção da qualidade dos processos decisórios, para a efetivação do direito à contestação destes e para a proteção da dignidade das pessoas afetadas pelas decisões. Sua disciplina e implementação, portanto, deve ter estes desiderata como balizas.

O alcance deste direito, assim como de seus correspondentes em outros ordenamentos, é limitado por sua forma jurídica. A LGPD regula decisões automatizadas ao estabelecer que o titular dos dados pessoais tem um direito a solicitar revisão, que é fraseado em termos da proteção dos dados pessoais do indivíduo diante de decisões automatizadas. Tal enquadramento traz dois limites fundamentais a este instrumento. O primeiro é que ele não se aplica a decisões que sejam apenas parcialmente automatizadas, isto é, nas quais um humano tome a decisão última com base em aportes providos por meios automatizados ou sistemas que não tenham como output uma decisão13. Nestes casos, a proteção dos titulares de dados face às decisões automatizadas é garantida pela aplicação de outros dispositivos da LGPD, bem como por uma interpretação extensiva dos critérios para que uma decisão seja considerada automatizada.14 O segundo diz respeito à aparente dimensão individual do direito à revisão ao restringir o agente ao “titular”, o que torna a proteção insuficiente para capturar as dimensões transindividuais dos danos decorrentes de decisões automatizadas, como, por exemplo, aquelas que transbordam a individualidade em discriminações algorítmicas (ver, por exemplo, ABREU, 2018; VAN BEKKUM; BORGESIUS, 2023). Desta forma, o direito à revisão não cobre todas as implicações jurídicas das decisões automatizadas, mas apenas aquelas que se traduzam em dano a interesses individuais.

A crescente automação de processos de tomada de decisão traz consigo questões sobre como assegurar a legalidade e a segurança das decisões automatizadas. Ao longo das últimas décadas, cientistas da computação e outros profissionais trabalharam no desenvolvimento das chamadas tecnologias de melhoria da privacidade, isto é, tecnologias voltadas a proteger e até mesmo fortalecer a privacidade de seus usuários.15 A ideia central por trás destas tecnologias—aproveitar as capacidades tecnológicas para proteger direitos—logo encontrou respaldo em meio à pesquisa jurídica e às práticas legislativas, que passaram a recomendar e até mesmo exigir a adoção de medidas voltadas a assegurar a proteção dos dados pessoais (BYGRAVE, 2017; TRIBUNAL EUROPEU DE DIREITOS HUMANOS, 2008). No Brasil não foi diferente, uma vez que o texto da LGPD acolheu a chamada proteção de dados by design, obrigando assim os agentes de tratamento de dados pessoais a usar a tecnologia para cumprir seus deveres em relação aos titulares de dados (RIVELLI; SILVEIRA, 2021).

O núcleo da proteção de dados by design no ordenamento brasileiro está no Artigo 46 da LGPD. Em seu caput, este artigo impõe que os agentes de tratamento de dados pessoais devem adotar medidas de segurança, técnicas e administrativas para a proteção de dados pessoais. Ao contrário do que ocorre no dispositivo europeu análogo (RGPD, Artigo 25(1)), a LGPD não definiu tais medidas em função dos riscos ligados ao tratamento de dados pessoais, exigindo em vez disso que as medidas adotadas sejam aptas a proteger dados pessoais contra os fatores elencados no dispositivo.16 Todavia, a necessidade de adotar medidas que previnam riscos decorrentes da proteção de dados segue do fato de que a prevenção é um princípio geral do regime brasileiro de proteção de dados (LGPD, Artigo 6, VIII). A aptidão referida no caput do Artigo 46 da LGPD deve, portanto, ser avaliada em termos da eficácia de um conjunto de medidas em prevenir—ou ao menos mitigar—os riscos decorrentes do tratamento de dados pessoais (MARRAFON; COUTINHO, 2020).

Decisões automatizadas, quando baseadas no tratamento de dados pessoais, introduzem riscos específicos a serem enfrentados nos termos do caput do Artigo 46 da LGPD. Estes riscos, que se somam àqueles envolvidos à proteção de dados de uma forma geral, estão ligados aos mesmos interesses que guiam o direito à revisão, descritos acima. Uma decisão enviesada ou que seja de outra forma de má qualidade pode impactar os direitos do titular de dados, pois será baseada em dados que não representam adequadamente a realidade ou as populações afetadas. Uma decisão que não proteja a dignidade do titular de dados pode afetar não só seu direito à proteção de dados pessoais, mas outros direitos fundamentais que sejam impactados pelos efeitos da decisão.17 Muitos destes impactos vão além da esfera da autodeterminação informativa que sustenta o direito à proteção de dados (MENDES, 2020), produzindo impactos em outros interesses do indivíduo ou mesmo em outros de seus direitos fundamentais. Não à toa, o caput do artigo 46 da LGPD exige que as medidas técnicas, administrativas e de segurança sejam aptas a prevenir qualquer forma de tratamento inadequado ou ilícito, não só aquelas que violem o disposto naquela lei.18

Tais medidas de proteção do titular de dados podem tomar diversas formas. Embora o conteúdo destas medidas não seja explicitamente definido no texto da LGPD, é possível delimitá-lo a partir do significado dos termos e dos aportes das experiências internacionais. Medidas técnicas consistem na adoção de tecnologias que reduzam ou eliminem riscos ligados ao tratamento, como a anonimização dos dados a serem tratados.19 Já as medidas administrativas, também conhecidas como organizacionais,20 referem-se ao contexto institucional em que um sistema é utilizado.21 Por fim, as medidas de segurança englobam tanto medidas técnicas quanto administrativas, sendo destacadas pelo legislador em função de seu objeto: a prevenção de acessos não autorizados e da destruição, perda, alteração, comunicação ou difusão dos dados (LGPD, Artigo 6º, VII).

Na prática, uma abordagem efetiva para a proteção de dados pessoais combinará abordagens técnicas e administrativas, já que alguns problemas são mais bem resolvidos por um meio do que por outro. Por exemplo, as autoridades de proteção de dados da União Europeia recentemente recomendaram que a transferência de dados pessoais para os Estados Unidos seja acompanhada pelo uso de medidas técnicas fortes, em particular a anonimização dos dados enviados.22 No sentido oposto, existem situações em que uma medida administrativa pode ser mais eficaz que soluções técnicas na resolução de um dado problema. Por exemplo, uma empresa de pequeno porte, a depender de suas circunstâncias, pode prescindir de controles técnicos sofisticados caso adote políticas de acesso adequadas e assegure que os profissionais que lidarão com os dados sejam adequadamente treinados. Dados os limitados riscos aos direitos dos titulares de dados e escala da operação, adotar o tipo de controle necessário em uma grande empresa seria muito oneroso e não traria proteção adicional. A definição das medidas a serem adotadas depende, portanto, do cenário em que ocorre o tratamento de dados, que determinará os riscos decorrentes da aplicação das tecnologias disponíveis para tal tratamento.

Uma vez que o contexto de operação de sistemas de decisão automatizada—de fato, de qualquer sistema de tratamento de dados pessoais—muda com o tempo, a adequada proteção dos titulares de dados pode requerer ajustes às práticas estabelecidas. Ciente deste fato, a LGPD estabelece que a proteção de dados by design é um dever contínuo: os agentes de tratamento de dados pessoais devem adotar medidas técnicas, administrativas e de segurança desde a fase da concepção do produto ou serviço até a sua execução (LGPD, art. 46, § 2°). Ou seja, os agentes de tratamento de dados pessoais são obrigados a levar em conta as características das técnicas que utilizarão para tratar dados, implementar quaisquer medidas que enfrentem os riscos decorrentes destas técnicas, e atualizar tais medidas conforme elas percam eficácia ou se tornem obsoletas.

No caso de um sistema de decisão automatizada, isso significa que o direito à revisão—que, nos termos do caput do Artigo 20, é essencial à licitude de uma decisão automatizada—não pode ser visto como um enxerto posterior ao processo decisório. Em vez disso, a revisão e outros direitos do titular de dados devem ser levados em conta já a partir da escolha dos meios que serão usados para automatizar uma dada solução.23 Ademais, estes agentes de tratamento devem adotar medidas que permitam detectar problemas com os processos decisórios, como a ocorrência de padrões discriminatórios nas decisões (WACHTER; MITTELSTADT; RUSSELL, 2021) e, uma vez detectados tais problemas, adotar medidas técnicas e administrativas para reduzir ou evitar seu impacto. Surge, portanto, a questão de como identificar e implementar tais medidas em sistemas existentes.

Os requisitos de design postos na LGPD não se restringem, contudo, à implantação do direito à revisão de decisões automatizadas. Uma vez que estes dispositivos exigem não só o cumprimento da legislação de proteção de dados, mas a prevenção de danos decorrentes de tratamento ilícito ou inadequado dos dados pessoais, os agentes de tratamento de dados pessoais são obrigados a adotar medidas também nos casos das decisões parcialmente automatizadas descritas acima. Mesmo que tais decisões não preencham os critérios para a aplicabilidade do direito à revisão, elas ainda usam dados pessoais em formas que podem causar danos aos usuários.24 Como consequência, os agentes de tratamento de dados pessoais devem identificar os riscos associados à automação parcial e adotar medidas aptas a preveni-los, ainda que estas medidas não exijam a revisão da decisão, posto que esta pode ser feita pelo humano envolvido no processo decisório.

Uma categoria particularmente relevante de risco em sistemas de IA é aquela dos riscos decorrentes da opacidade de um sistema. Dada a complexidade envolvida nas técnicas de inteligência artificial, que muitas vezes fazem uso de sofisticados procedimentos matemáticos aplicados a grandes volumes de dados (LAGIOIA; SARTOR, 2020), muitas vezes é inviável que um indivíduo—por mais tecnicamente capacitado que seja—entenda o que se passa de um algoritmo. Por exemplo, pode ser difícil identificar qual fator levou à rejeição de um pedido de crédito se essa decisão levou em conta centenas de variáveis,25 selecionadas por milhões de observações de correlações em um processamento computacional.26 Na ausência de tais informações, indivíduos afetados por decisões automatizadas podem ser privados da possibilidade de contestar uma decisão automatizada ou mesmo de saber da existência de uma decisão.27

Neste contexto, o uso de técnicas de inteligência artificial explicável aparece como uma solução para, ao menos, mitigar os riscos decorrentes da opacidade (MULHOLLAND; FRAJHOF, 2019). A pesquisa neste campo é fenômeno relativamente recente, mas produziu diversas abordagens que prometem reduzir a complexidade das tecnologias de inteligência artificial a um nível que possa ser entendido por indivíduos,28 inclusive com a divulgação de padrões técnicos auditáveis para introdução de métodos de explicação (WINFIELD et al., 2021). Mesmo que alguns estudos recentes apontem limites às capacidades de gerar explicações que possam substituir a análise direta de um sistema algorítmico (BORDT et al., 2022), os resultados atingidos pelos métodos existentes sugerem o potencial de abordagens técnicas em criar condições que tornem um sistema de IA mais legível a seus usuários e às pessoas afetadas por sua operação (MALGIERI; COMANDÉ, 2017). A adoção de técnicas de explicação e similares pode, portanto, facilitar o exercício de direitos como o direito à revisão, ao reduzir as barreiras informacionais diante dos titulares de dados.

A proteção de dados by design também trata dos danos sistêmicos decorrentes de decisões total ou parcialmente automatizadas. Como estes efeitos não decorrem de um tratamento em específico, mas sim do agregado de múltiplas operações cobertas (SCHAFER, 2021), eles não são cobertos pelo caput do artigo 46, cuja exigência é voltada às operações individuais de tratamento. Todavia, o artigo 49 da LGPD estabelece que os sistemas usados para o tratamento de dados “devem ser estruturados de forma a atender aos requisitos de segurança, aos padrões de boas práticas e de governança e aos princípios gerais previstos nesta Lei e às demais normas regulamentares.” Dada a construção ampla do princípio da prevenção na LGPD, o cumprimento deste dever exige que a estrutura dos sistemas de tratamento de dados leve em conta os danos causados pela operação do sistema como um todo, não só nas operações de tratamento tomadas individualmente.

A escolha de medidas técnicas e administrativas para sistemas de decisões automatizadas pode extrair lições da experiência com a chamada privacy by design (PbD), termo usado para designar um conjunto de técnicas no qual a privacidade dos titulares de dados é tratada como um objetivo central do processo de construção de software (LIMA; ALMADA; MARANHÃO, 2022, seç. 2.2). Ao tratar a privacidade como um requisito para que um projeto de sistema seja considerado bem-sucedido, a abordagem PbD força os desenvolvedores e usuários de um sistema computacional a considerar como as demandas decorrentes da proteção da privacidade devem ser tratadas em cada estágio do ciclo de vida do sistema: desde a sua concepção até o fim de sua operação, o que inclui a programação do sistema, seus testes e modos de uso.

Apesar do êxito obtido pelos adeptos de PbD, a aderência a tais técnicas não exaure o conteúdo do artigo 46 da LGPD, uma vez que esta abordagem é fundamentada em uma concepção de privacidade que é parte, mas não a totalidade, do conteúdo do direito à proteção de dados pessoais.29 Em particular, a efetividade da revisão de uma decisão automatizada está menos ligada ao controle dos fluxos de dados a respeito de uma pessoa—que é o objeto primário de PbD—e mais a questões de transparência dos processos decisórios e da existência de informação suficiente a respeito de um sistema de tomada de decisão, que permitam ao titular de dados avaliar se deve ou não buscar a revisão da decisão a que foi submetido. E é possível que estes dois objetivos colidam em casos práticos (VEALE; BINNS; AUSLOOS, 2018). Consideremos o problema de identificar se um processo decisório é enviesado ou não. A busca por padrões de distorção ou discriminação em processos de tomada de decisão automatizada pode exigir um aumento na coleta de dados pessoais, para permitir que sejam identificados padrões sistêmicos que escapariam à análise de uma decisão considerada individualmente (VAN BEKKUM; BORGESIUS, 2023). Porém, um dos princípios que pautam PbD é a minimização dos dados pessoais em tratamento (LIMA; ALMADA; MARANHÃO, 2022, seç. 3.5), introduzindo assim tensões entre os requisitos de projeto que conduzem a um maior grau de privacidade e aqueles que conduzem a uma maior efetividade do direito à revisão (BAYAMLIOĞLU, 2022).

O conflito entre PbD e outros imperativos cobertos pela proteção de dados pessoais é um exemplo dos juízos de valor envolvidos no projeto de sistemas técnicos. Diante de conflitos entre valores juridicamente protegidos, a estratégia regulatória de proteção de dados by design acaba por delegar para os agentes de tratamento importantes decisões a respeito de como sopesar direitos fundamentais (ALMADA, 2023). Uma vez que este sopesamento já apresenta desafios substanciais para os tribunais,30 os agentes de tratamento—em especial aqueles de pequeno e médio porte—necessitarão de diretrizes interpretativas para encontrar boas soluções para estes conflitos de direitos. Caso contrário, decisões de atores privados acabarão por causar mais dano do que elas buscam prevenir.

A proteção de dados by design é um instrumento que torna os agentes de tratamento garantidores da efetividade do sistema da LGPD. No contexto das decisões automatizadas, esta construção garante que os riscos decorrentes do uso de inteligência artificial e outras tecnologias de automação sejam mapeados pelos atores em melhor condição de resolvê-los. Porém, a diversidade de contextos de aplicação destas tecnologias e de valores em jogo nestes contextos faz com que a regulação baseada em risco produza enunciados normativos consideravelmente amplos, como examinado nesta seção. Assim, sua implementação exigirá a difusão de diretrizes e conhecimento que permitam o adequado mapeamento dos riscos existentes e soluções aplicáveis aos casos concretos.

A regulação de decisões automatizadas no ordenamento brasileiro, como discutido supra, não é exaustiva em relação às preocupações geradas e sua abordagem traz espaço para importantes dúvidas interpretativas. Os dispositivos a respeito da proteção de dados by design fornecem diretrizes gerais para a avaliação dos riscos associados ao tratamento de dados pessoais, mas não indicam medidas específicas a serem adotadas ou mesmo riscos específicos ao contexto das decisões automatizadas. Já o artigo 20 da LGPD traz alguns exemplos de decisões automatizadas que o legislador julga criar riscos particularmente relevantes31 e indica salvaguardas específicas para o cenário de automação: o direito à revisão (LGPD, Artigo 20, caput), o direito à explicação (LGPD, Artigo 20, § 1°)32 e, nos casos em que este não se aplica por razões de segredo comercial ou industrial, a realização de auditorias para a verificação de potenciais aspectos discriminatórios (LGPD, Artigo 20, § 2°). Resta, contudo, uma série de problemas informacionais: como diagnosticar que outras medidas são necessárias para sistemas em concreto? Como identificar as medidas aplicáveis em contextos de decisões parcialmente automatizadas? O que se deve fazer a respeito dos efeitos sistêmicos da automação? Todas estas questões permanecem em aberto a partir da leitura do texto da lei, de forma que os agentes de tratamento de dados pessoais e os tribunais precisarão extrair respostas de outras fontes.

Uma fonte imediata para suprir esses aspectos na aplicação da LGPD às decisões automatizadas é a Autoridade Nacional de Proteção de Dados (ANPD). O Artigo 55-J da LGPD confere a esta autoridade diversas competências relevantes para a presente discussão, dentre elas encontram-se o poder de fiscalização e imposição de sanções em casos de tratamento em descumprimento à legislação (inciso IV), a difusão de conhecimento a respeito da proteção de dados pessoais (incisos V e VI), estimular a adoção de normas técnicas que facilitem o controle dos titulares sobre seus dados (inciso VII), e criar normas infralegais a respeito de vários aspectos da proteção de dados pessoais (incisos X, XIII e XVIII). Em particular, a autoridade é competente para estabelecer padrões técnicos mínimos que tornem aplicáveis as medidas de proteção de dados by design, considerando a natureza das informações tratadas, o estado atual da tecnologia e as características específicas do tratamento (LGPD, Artigo 46, § 1°). Ao fazê-lo, a ANPD pode criar normas que atendam às demandas específicas de determinadas operações de tratamento, bem como reconhecer e divulgar boas práticas adotadas por agentes de tratamento de dados (LGPD, Artigo 50, § 3º).

Dentro deste quadro, competiria à ANPD decretar que a revisão de decisões automatizadas seja, em certos casos, necessariamente feita por um humano. Como examinado anteriormente neste artigo, uma eventual regra nesse sentido não poderia ter caráter geral, uma vez que o processo legislativo da LGPD acabou por rejeitar uma regra geral de revisão por humanos. Tal rejeição, contudo, não veda a exigência de revisão humana em casos específicos. O artigo 46, § 1º, da LGPD autoriza a ANPD a dispor sobre padrões técnicos mínimos para proteger dados pessoais de tratamento ilícito ou inadequado. De acordo com esta autorização, as disposições da autoridade devem considerar “[...] a natureza das informações tratadas, as características específicas do tratamento e o estado atual da tecnologia, [...] assim como os princípios previstos no caput do art. 6º desta Lei”. Uma vez que a tomada de decisão automatizada, como definida pela LGPD no artigo 20, é uma forma de tratamento de dados pessoais,33 tal dispositivo permite que a autoridade de proteção de dados estabeleça requisitos técnicos mínimos que devem ser seguidos pelos particulares ao construir sistemas automatizados para tomada de decisão.

Em uma primeira análise, a remoção da previsão explícita de revisão por pessoa natural fornece um sinal de que tal regulamentação deve estimular o desenvolvimento de tecnologias que permitam uma revisão de decisões automatizadas por meios eles próprios automatizados, ou no mínimo ser aberta a esta possibilidade. De fato, a pesquisa acadêmica em engenharia de software e em inteligência artificial vem desenvolvendo técnicas que se prestam a tais propósitos, como a representação computacional de normas de proteção de dados (ROBALDO et al., 2020), o uso de métricas de discriminação para detectar vieses em decisões algorítmicas (WACHTER; MITTELSTADT; RUSSELL, 2021) ou mesmo o uso de abordagens formais para a validação de software (KROLL et al., 2017). Contudo, as abordagens que hoje existem são insuficientes para capturar elementos importantes para diagnosticar se houve ou não uma lesão a interesses juridicamente protegidos: por exemplo, sistemas computacionais encontram dificuldades para lidar com a ambiguidade inerente aos textos jurídicos34 e com formas de comunicação como o humor, que são altamente dependentes de informação a respeito do contexto de comunicação (RAYZ; RASKIN, 2019). Ademais, as diversas formas de opacidade associadas aos sistemas computacionais (BURRELL, 2016) podem ser um obstáculo à legitimidade de sistemas automatizados de revisão: como ter certeza de que o sistema revisor está efetuando uma avaliação justa e não somente validando os outputs anteriores?

Estes e outros obstáculos fazem com que, ao menos no atual estado da arte, a revisão sem envolvimento humano seja viável apenas em tarefas particularmente simples, e não na maioria das situações em que se usa ou planeja usar uma ferramenta de decisão automatizada. Uma primeira contribuição que a ANPD poderia desempenhar seria clarificar as condições em que a revisão pode ser delegada. Tal clareza pode ser produzida através de mecanismos de ação direta da ANPD, como a edição de normas e diretrizes que estipulem casos em que a revisão automatizada é possível—ou ao menos forneçam critérios para que o controlador avalie a viabilidade desta. Além disso, a ANPD pode contribuir para a clareza do cenário regulatório através de mecanismos indutivos, como a difusão de conhecimento a respeito do estado da arte das decisões automatizadas ou o reconhecimento de práticas de autorregulação criadas no escopo do Artigo 50 da LGPD e que proponham boas diretrizes para avaliar a viabilidade de automação. Por estes mecanismos diretos e indiretos, a ANPD poderia trazer maior certeza em relação aos cenários em que a revisão puramente automatizada é possível sem prejuízo aos titulares de dados.

Quando a automação do processo revisional for impossível, o cumprimento da obrigação imposta ao controlador do tratamento de dados pessoais pelo caput do Artigo 20 da LGPD exigirá a adoção de medidas de revisão envolvendo pessoa natural. Nestes casos de impossibilidade, a ANPD estaria autorizada a estabelecer padrões técnicos que estipulem que a revisão seja feita por um humano, uma vez que a participação de um humano se torna uma condição necessária para o efetivo direito à revisão. Dada essa base, eventual padronização nesse sentido seria necessariamente transitória, perdendo sua base legal no caso de surgimento de tecnologias capazes de viabilizar a revisão automatizada, mas contribuiria para a segurança jurídica ao tornar explícito o que o melhor conhecimento técnico a respeito do tema reputa possível ou impossível. Tendo em vista que o uso de sistemas de decisão automatizada não é (somente) uma elaboração da ficção científica, mas já faz parte do cotidiano de muitos brasileiros, a adequada definição de requisitos técnicos para a revisão de decisões automatizadas—incluindo talvez a exigência de um revisor humano—contribuirá para a melhor proteção dos direitos do titular de dados pessoais.

A ANPD pode, também, contribuir para a governança da IA ao exercer seus poderes de fiscalização. Um primeiro instrumento para este fim é o poder de realizar auditorias para verificar aspectos discriminatórios em decisões automatizadas (LGPD, art. 20, § 2º), que a ANPD pode exercer quando os agentes de tratamento de dados invocam segredos comerciais ou industriais para não revelar informações ao titular de dados. Para além desta hipótese potencialmente restrita de aplicação, a ANPD também tem o poder de requisitar relatórios de impacto à proteção de dados pessoais (LGPD, Artigos 10, § 3º, e 38, caput), cuja realização exige que os agentes de tratamento mapeiem os riscos envolvidos em uma operação de tratamento de dados. Tais relatórios e auditorias não só fornecem subsídios para futuras ações sancionadoras da autoridade—caso se mostrem necessárias nos termos da lei—mas também podem eles mesmos induzir ajustes no comportamento dos agentes sujeitos a estas atividades de prestação de contas (BUSUIOC, 2021).

O poder da ANPD em especificar os contornos dos dispositivos da LGPD não é ilimitado. Tendo em vista que o poder normativo de decretos e regulamentos é limitado à “fiel execução” do disposto na lei (CRFB, Artigo 84, IV), as normas emitidas pela autoridade não podem criar hipóteses de aplicação de dispositivos ou eliminar hipóteses previstas nestes. É questionável, por exemplo, se a ANPD tem competência para definir situações em que a revisão não seria obrigatória. Tal estipulação seria um mecanismo para filtrar a amplitude do conceito de “interesse” usado no caput do Artigo 20 da LGPD, desobrigando a revisão em casos julgados de menor impacto. Estabelecer um filtro nestas linhas, contudo, tornaria o direito à revisão inaplicável a situações em que o texto da LGPD prevê sua incidência, ao contrário da obrigação de revisão por humano, que meramente estipula o modo como o direito criado na lei deve ser assegurado. Para evitar que a obrigação da revisão gere um fardo excessivo para os agentes de tratamento, a ANPD pode lançar mão de outros mecanismos, como o estabelecimento de padrões simplificados para a revisão de decisões de caráter trivial ou de limitado impacto nos interesses do titular de dados. Desta forma, a autoridade poderia tornar mais factível o direito à revisão sem, no entanto, exceder os limites de sua competência legal.

Ao enfrentar obstáculos como os elencados acima, a ANPD pode contribuir para que agentes de tratamento de dados pessoais possam diagnosticar e responder aos riscos associados a contextos de decisão automatizada. Por meio de sua produção normativa e técnica, esta autoridade pode atuar como difusora do conhecimento técnico existente a respeito das aplicações de inteligência artificial. Ao fazê-lo, a autoridade traria aportes para resolver disputas axiológicas como as descritas na seção anterior, bem como facilitaria o acesso de pequenas empresas e organizações do terceiro setor ao conhecimento necessário para o tratamento de dados pessoais. Neste papel, a atuação da ANPD coexiste com a atuação do setor privado, do terceiro setor, e de sistemas protetivos já existentes—como a ampla atuação do Ministério Público no campo da defesa do consumidor— no desenvolvimento de padrões técnicos para a proteção de dados (LGPD, Artigo 51), bem como no estabelecimento de regras de boas práticas e governança (LGPD, Artigo 40) e na criação de mecanismos de certificação.35 Por último, mas não menos importante, a atuação sancionadora da ANPD, bem como as vindouras decisões dos tribunais a respeito da LGPD, servirão para verificar quais medidas técnicas, administrativas e de segurança se prestam à proteção de dados no caso concreto. Desta forma, o modelo brasileiro de proteção de dados pessoais oferece diversos mecanismos para sanar a imprecisão decorrente de sua ênfase na prevenção de riscos, ainda que seu funcionamento dependa da cooperação entre os diversos atores envolvidos.

Decisões automatizadas são uma questão saliente nas sociedades modernas, para a qual a LGPD propõe uma resposta dupla. De um lado, o direito à revisão das decisões automatizadas introduz um instrumento para que estes titulares de dados busquem seus interesses sem precisar recorrer à jurisdição administrativa ou judicial. De outro, a adoção de medidas técnicas e administrativas voltadas aos sistemas de tomada de decisão faz com que os agentes de tratamento de dados tenham de adotar uma postura proativa no diagnóstico e prevenção de potenciais danos oriundos das decisões automatizadas. Contudo, a diversidade de contextos de aplicação de sistemas de tomada de decisão automatizada, bem como a possibilidade de automação parcial de decisões, faz com que tais normas devam cobrir uma vasta gama de casos e danos a prevenir.

Para assegurar a efetiva prevenção destes danos, a LGPD impõe diversos deveres aos agentes de tratamento de dados, de forma a obrigar tais agentes a avaliar e enfrentar os potenciais danos decorrentes do uso de decisões automatizadas. A alternativa seria a adoção de dispositivos detalhados para responder às minúcias de cada potencial caso de aplicação, uma solução que aumentaria a complexidade já elevada da lei e traria riscos de que ela se tornasse desatualizada diante das mudanças tecnológicas. Tal decisão, todavia, traz dificuldades para os agentes de tratamento de dados pessoais, que passam a precisar realizar uma avaliação contextual dos riscos decorrentes da automação de decisões, bem como adotar medidas que podem ter elevada complexidade técnica ou administrativa.

Sustentamos ao longo do artigo que este problema é fruto da novidade da lei e da complexidade dos cenários de uso das tecnologias de decisão automatizada. Portanto, a implementação do direito à revisão e das medidas de proteção de dados by design se beneficiará do conhecimento desenvolvido pelos vários atores sociais conforme a LGPD adquire maturidade. Para que isso ocorra, no entanto, faz-se necessária a ativa cooperação entre a ANPD e os atores públicos e privados que implementam sistemas de decisão automatizada. Caso contrário, os dispositivos que regulam decisões automatizadas correm o risco de se tornar uma ficção.

Mesmo com esta cooperação ativa, a legislação de proteção de dados é insuficiente para oferecer plena proteção diante dos riscos identificados nas seções anteriores. Na primeira seção, apresentamos alguns dos limites dos instrumentos centrados na noção de decisão automatizada. A seguir, apontamos que a regulação by design pode ser usada para estender o alcance da legislação de proteção de dados para cobrir outros riscos advindo do uso da IA, mas, ao fazê-lo, delega decisões a respeito de direitos fundamentais para os agentes de tratamento de dados. Por fim, vimos que a ANPD pode suprir balizas para estas decisões, mas está sujeita a certos limites ao fazê-lo, em especial no que tange ao seu poder normativo. As propostas formuladas nas seções anteriores não devem, portanto, ser vistas como uma alternativa à introdução de normas específicas para a IA, como aquelas atualmente sob debate no contexto do PL 21/2020 e a proposta de Substitutivo recentemente submetida pela Comissão de Juristas do Senado Federal. Em trabalhos futuros, pretendemos explorar em que medida o conteúdo do Substitutivo supre as limitações aqui apontadas e dialoga adequadamente com a interpretação da LGPD aqui proposta.

Ainda assim, os instrumentos examinados ao longo do artigo trazem ferramentas versáteis que podem ser utilizadas para enfrentar diversos dos riscos que o uso da IA pode trazer aos titulares de dados, e muitos dos sistemas de maior impacto social dependem de dados pessoais para seu funcionamento. Desta forma, a proteção de dados pessoais é necessária—ainda que não suficiente—para a adequada regulação dos sistemas de IA e seu uso na tomada de decisão.