A partir do processo de filtragem e refinamento das publicações de acordo com os critérios estabelecidos, são iniciadas as análises por meio da apreciação dos tópicos acadêmicos em debate, a partir da técnica de nuvem de palavras (Figura 1), onde são destacados os termos mais frequentes no debate sobre discriminação algorítmica na literatura examinada. Essa frequência é refletida pelo tamanho das palavras na imagem, sendo as palavras maiores as mais frequentes e as menores as menos frequentes.

A análise de tópicos revelou que a discriminação algorítmica, no âmbito da pesquisa jurídica, está sendo consolidada em pelo menos três eixos temáticos do Direito brasileiro, os quais se relacionam entre si. O primeiro eixo diz respeito aos impactos da IA no sistema judicial, com destaque para decisões automatizadas. O segundo eixo está relacionado às questões de proteção de direitos humanos e direitos fundamentais. Por fim, o terceiro eixo trata dos aspectos de transparência, ética e regulamentação da IA no Brasil.

Os impactos da IA no sistema de justiça brasileiro atravessam quase a totalidade das publicações analisadas. Mesmo que o objeto de análise do artigo investigado esteja afastado da problemática relacionada ao processo de decisão automatizada e dos reflexos dessas transformações no sistema judicial brasileiro, os efeitos da IA permeiam os eixos identificados na pesquisa. Contudo, os termos como “decisões”, “automatizadas” e “processo”, que possuem destaque na análise, exemplificam e representam esse eixo que tem foco em compreender os impactos e reflexos de julgamentos e decisões por meio de algoritmos de IA.

Entre os estudos analisados, aqueles voltados para compreender possíveis atentados contra direitos humanos ou violações de direitos fundamentais fornecem a maior aproximação com o fenômeno da discriminação algorítmica, problemática central desta revisão. Termos como “humanos”, “sociais” e “fundamentais” auxiliam no panorama desse eixo. Porém, vale destacar as palavras “racial” e “gênero” na nuvem, que serve como demarcadores de tipos de discriminação algorítmica com maior presença nos metadados dos textos investigados.

Por último, o eixo que envolve transparência de dados, opacidade algorítmica, regulamentação e ética na implementação da IA também se destaca de forma onipresente nas publicações que abordam a discriminação algorítmica. Além das discussões relacionadas à regulamentação das IAs no Brasil, como leis e resoluções que abordam o uso dessas tecnologias, os aspectos propositivos para a busca de soluções futuras ganham centralidade na atual conjuntura das discussões acadêmicas. Termos como “dados”, “explicabilidade”, “transparência”, “regulamentação” e “revisão” configuram-se na nuvem de palavras como temas centrais nessa abordagem na literatura.

Para aprofundar a descrição dos estudos sobre discriminação algorítmica, o Gráfico 1 apresenta os tipos de discriminações mencionados nas pesquisas analisadas, tendo como objetivo quantificar a frequência com que os tipos de discriminação por algoritmos são mencionados e fornecer uma medida do acompanhamento realizado pela literatura publicada no Brasil.

A utilização de exemplos de discriminação está presente em 75% das publicações examinadas. O maior destaque é a predominância dos casos de racismo citados nas pesquisas sobre discriminação algorítmica, onde cerca de 69% dos estudos analisados mencionam pelo menos um caso de racismo algorítmico para exemplificar ou problematizar o fenômeno. Um dos casos mais emblemáticos e amplamente citados entre as pesquisas analisadas é o caso do COMPAS (Correctional Offender Management profiling for Alternative Sanctions) nos Estados Unidos. Esse algoritmo, utilizado no sistema de processo penal estadunidense, discriminava réus negros ao classificá-los com maior probabilidade de cometer crimes futuros em comparação com pessoas brancas (ANGWIN et al., 2016). Casos relacionados ao reconhecimento facial também são frequentemente mencionados como exemplos de racismo, como o incidente em que o Google rotulou erroneamente a imagem de dois jovens negros como gorilas (BBC, 2015).

A discriminação de gênero foi a segunda mais frequente entre as publicações. Um caso bastante conhecido de discriminação de gênero promovida por algoritmos ocorreu no âmbito online com a chatbot Tay, desenvolvida pela Microsoft. Por meio da interação com usuários do Twitter, a robô adquiriu comportamentos fortemente misóginos e transfóbicos, além de xenófobos (VINCENT, 2016). Além disso, casos relacionados a vagas de emprego também são citados, como o algoritmo de recrutamento de candidatos da Amazon, que, devido à predominância de currículos masculinos, passou a reduzir a pontuação de mulheres, diminuindo suas chances de contratação (DASTIN, 2018). Também houve relatos de discriminação sexual contra grupos LGBTQIA+ no controle de conteúdo de plataformas de redes sociais, em que termos utilizados na comunicação desses grupos foram classificados como tóxicos por algoritmos de análise automatizada de conteúdo (OLIVEIRA, 2020).

No geral, os casos de discriminação apresentam intersecções significativas. No entanto, as discriminações econômicas e geográficas estão mais associadas nos exemplos citados. Isso ocorre porque parte dos casos mencionados nos estudos envolviam características em que a localização dos indivíduos indicava condições econômicas menos favoráveis. Essa prática, conhecida como geopricing, ganhou notoriedade no Brasil com o caso da empresa Decolar, que aplicava diferentes preços de acordo com a localização do consumidor, além de impossibilitar reservas com base na geolocalização do usuário (VEJA, 2018). Os casos de discriminação socioeconômica vão além de exemplos materiais e também são mencionados em relação às condições econômicas e sociais do país, como é o caso do Brasil. Por exemplo, níveis de desigualdades educacionais podem aprofundar diferenças nos processos de seleção para vagas de emprego ou até mesmo acesso à universidade, assim como na concessão de créditos e financiamentos (credit score), que estão associados à localização do consumidor, limitando as oportunidades daqueles que residem em áreas de baixa renda (FRANÇA NETTO; EHRHARDT JÚNIOR, 2022; HENRIQUES; SAMPAIO, 2021).

Outros tipos de discriminação, como o capacitismo, foram relatados em menor quantidade nas publicações, mas destacam os riscos da discriminação algorítmica em relação a pessoas que sofrem de alguma limitação física ou mental. Por exemplo, há o caso de um jovem dos EUA que, após ser diagnosticado com transtorno bipolar, enfrentou dificuldades para encontrar emprego devido a um teste de personalidade desenvolvido pela empresa Kronos, que incluía perguntas sobre saúde mental (O’NEIL, 2018).  Adicionalmente, é importante mencionar a discriminação cultural e etnocêntrica, que se refere aos padrões ocidentais das diretrizes de programação adotados por grandes conglomerados empresariais do setor. Esses padrões estão sujeitos a falhas ao serem aplicados em contextos regionais específicos, com diversidades sociais, culturais e jurídicas (ADAM; FURNIVAL, 1995).

A observação seguinte refere-se ao desenvolvimento temporal das publicações sobre a temática. A análise no Gráfico 2, demonstra a recente popularização da discussão e como o processo de democratização de acesso às ferramentas de IA têm sido absorvidos pela produção acadêmica no Direito.

Entre os anos em que foram publicados os textos analisados pela revisão proposta, destaca-se o ano de 1995, em total contraste com o padrão da análise que se concentra nos últimos cinco anos. Especificamente, foi identificado um artigo publicado no periódico Information & communication technology law. Neste artigo, as autoras Alison Adam e Chloë Furnival (ADAM; FURNIVAL, 1995), esta última professora do Departamento de Ciência da Informação da Universidade Federal de São Carlos, analisam o sistema de inteligência artificial Cyc sob a perspectiva da teoria jurídica feminista. As autoras questionam a reprodução de estruturas de discriminação e desigualdades existentes por parte desse sistema de IA.

A partir de 2019, é possível observar um crescimento significativo no número de publicações que abordam o tema da discriminação algorítmica. Nos anos de 2021 e 2022, em particular, foram analisadas 14 publicações em cada um desses anos. Essa tendência ascendente indica um aumento de interesse e engajamento dos pesquisadores com essa temática. Um olhar para as bases de dados utilizadas revelou que incentivos institucionais, como dossiês em periódicos, promovem um papel importante na promoção e estímulo aos pesquisadores a explorarem essas temáticas. Por exemplo, a Revista de Direito Público publicou o dossiê “Inteligência artificial, ética e epistemologia” em 2021 (WIMMER; DONEDA, 2021). Além disso, o Congresso Internacional de Direito e Inteligência Artificial realizou três edições consecutivas nos anos de 2020, 2021 e 2022.

O mapeamento a seguir descreve as áreas do Direito brasileiro que abordam a temática da discriminação algorítmica. A partir da amostragem de publicações que exploram essa problemática, foi possível identificar quais áreas de pesquisa das ciências jurídicas estão se dedicando à compreensão desse fenômeno. No Gráfico 3, são apresentadas as áreas identificadas de cada uma das publicações analisadas.

Os resultados da categorização das publicações por área de pesquisa no Direito corroboram com a exploração apresentada na Figura 1, que exibe a nuvem de palavras a partir dos metadados dos autores. Observa-se um predomínio das áreas do Direito Administrativo e dos Direitos Humanos nas pesquisas que tratam a temática da discriminação algorítmica, seguidas pelos estudos da Teoria do Direito e Direito Civil, que estão principalmente relacionados ao primeiro eixo mencionado na análise anterior. Esse eixo enfoca os impactos e efeitos da utilização de algoritmos no sistema de justiça, abrangendo desde julgamentos e decisões automatizadas até o processo de responsabilização civil de danos causados por essas ferramentas.

Inserido nas publicações que permeiam o campo da Filosofia do Direito, identifica-se o estudo já citado de epistemologia feminista para análise do fenômeno tecnológico no campo jurídico. No entanto, vale ressaltar atenção dada ao papel da bioética e às mutações do ser humano, assim como possíveis práticas eugênicas de discriminação (TOBBIN; CARDIN, 2022). Já os demais ramos do Direito apresentam números significativamente inferiores de publicações que tocam o tema da discriminação algorítmica. Abordagens mais especializadas, como o Direito do Trabalho ou o Direito do Consumidor, possuem publicações em menor número nessa amostragem, onde destaca-se o caso do papel dos sindicatos frente à violação de direitos fundamentais dos trabalhadores (MARQUES; NETO MARTINEZ, 2022) ou da discriminação algorítmica de consumidores com base em suas geolocalizações (ALVES; ROCHA, 2021).

Devido à contemporaneidade e relevância do tema na sociedade, é razoável concluir que o campo do Direito deve aprofundar cada vez mais os estudos sobre os impactos dos algoritmos, tanto no sistema de justiça quanto na sociedade em geral. Contudo, os campos de pesquisa que assumem baixa concentração de publicações são indicativos de lacunas e espaços a serem preenchidos por pesquisadores nos próximos anos.

Para prosseguir na exploração dos resultados, no Gráfico 4 são exibidos os objetos de análise, ou seja, o principal assunto abordado pelos autores em suas pesquisas.

Contata-se que 36% dos textos analisados têm como foco a discriminação algorítmica, o que significa dizer que 64% dos artigos examinados nesta revisão contemplam a discriminação algorítmica como um objeto correlato em suas discussões. As pesquisas com foco nas decisões judiciais e na regulamentação de algoritmos de IA receberam maior atenção nos estudos acadêmicos dentro no recorte analisado.

É possível observar que, de forma geral, os objetos de pesquisa se entrecruzam, mas podem ser investigados em maior ou menor escala por campos distintos das Ciências Jurídicas, como é principalmente o caso da discriminação algorítmica e dos Direitos Humanos. Em contrapartida, identifica-se que objetos de pesquisa como a regulamentação de algoritmos de IA se concentram no ramo do Direito Administrativo, assim como os estudos sobre decisões judiciais estão sendo abordados principalmente pela Teoria do Direito.

As análises dos objetos centrais dessas investigações auxiliaram a revelar as principais problematizações e preocupações abordadas por esses estudos quando mobilizam o conceito de discriminação algorítmica. Os fatores discriminatórios e o aprofundamento das desigualdades sociais, juntamente com o enfoque no problema da transparência e regulamentação dos algoritmos constituem os principais pontos de atenção dos pesquisadores da área em relação à discriminação algorítmica.

Particularmente, a questão da transposição das desigualdades do mundo real para o digital no Brasil vem sendo estudada pela doutrina jurídica recente (GABARDO; VIANA; FREITAS, 2022). O fato de a discriminação por meio de algoritmos reproduzir discriminações sociais pré-existentes se mostra quase um consenso entre os investigadores do tema. Um exemplo de análise que centraliza as desigualdades sociais no contexto dos algoritmos é o artigo de França Netto e Ehrhardt Júnior (2022), que discute os impactos da discriminação algorítmica no cenário brasileiro, uma vez que essas discriminações recaem sobre grupos historicamente excluídos. Outro exemplo de referência que apresentou um panorama das desigualdades sociais junto ao avanço dessas ferramentas de IA foi o estudo de Henriques e Sampaio (2021) sobre a exclusão tecnológica de crianças, que são mais vulneráveis e estão em processo de formação, o que significa que sentirão os efeitos das novas tecnologias por mais tempo (HENRIQUES; SAMPAIO, 2021, p. 252).

A violação de direitos humanos é caracterizada nessa literatura como a violação de importantes princípios por meio dos recentes avanços tecnológicos e com regulamentações insuficientes. Trata-se de lesões aos direitos de personalidade, privacidade e honra, bem como abusos do Estado com ameaças autoritárias e de controle social sobre a vida (WERMUTH; CARDIN; WOLOWSKI, 2021). A falta de aderência aos direitos humanos internacionais por parte de sites de redes sociais também é alvo das pesquisas, uma vez que a moderação de conteúdo em plataforma de redes sociais sem a fiscalização humana acaba suprimindo os direitos dos usuários e a liberdade de expressão, o que já foi constatado em relação a grupos minoritários e historicamente excluídos, como a comunidade LGBTQIA+ e movimentos antirracistas (OLIVEIRA, 2020). Grupos estes que apesar de estarem obtendo vitórias no âmbito jurisprudencial brasileiro, estão vivenciando uma ampliação dos ataques neoconservadores da extrema-direita, notadamente no âmbito das redes sociais (RIOS, 2022).

Os pesquisadores que direcionaram seus esforços para compreender o problema da transparência e regulamentação dos algoritmos conectam a problematização dos vieses discriminatórios com a opacidade dos algoritmos de IA. Segundo a literatura, o desconhecimento em relação aos softwares de IA, desde o tratamento de informações pessoais (dados sensíveis) até a etapa de programação da IA, é responsável por potencializar a geração de outputs discriminatórios (ALVES; ANDRADE, 2022; ARAÚJO; ZULLO; TORRES, 2020; MENDES; MATTIUZZO, 2019; TONIAZZO; BARBOSA; RUARO, 2021). Além disso, esses estudos abordam a regulamentação no Brasil ou em perspectiva comparada, citando dispositivos legais (leis e resoluções) em vigor ou em tramitação no Legislativo brasileiro (CAVALCANTE, 2022; GOMES; VAZ; DIAS, 2021).

Os demais tópicos identificados pela análise revelam preocupações subjacentes, apontando tendências e lacunas específicas. A baixa visibilidade de problemas como responsabilidade civil, XAI e reprodução de desigualdades sociais pode ser explicada pela complexidade técnica e volatilidade do assunto. O rápido avanço dessas tecnologias dificulta a aproximação de pesquisadores de áreas correlatas, tornando essas questões emergentes no campo de investigação. Essas constatações indicam que, cada vez mais, é necessária uma compreensão interdisciplinar para aperfeiçoar o desenvolvimento dessas tecnologias em relação aos problemas jurídicos e sociais futuros.

A compreensão sobre a responsabilidade civil em casos de discriminação causada por IA demonstra uma dessas lacunas presentes na literatura. Ainda que em pequeno número, os estudos identificados com essa preocupação argumentam que, no atual ordenamento jurídico brasileiro, a falta de personalidade jurídica da IA impede sua responsabilização civil em casos de discriminação. Isso tem sido utilizado por empresas desenvolvedoras de algoritmos como uma forma de evitar reparações por danos causados pela IA (COSTA, 2023). O exemplo citado por Medeiros e Moção (2021) ilustra o dilema da responsabilização civil em processos automatizados ao questionar: “de quem é a responsabilidade pela decisão assistida de não contratar determinado candidato, a empresa ou o agente desenvolvedor do sistema de IA?”. Sob essa perspectiva, esses autores ressaltam a importância de práticas de accountability no desenvolvimento dos algoritmos, incluindo responsabilidade ética, transparência e prestação de contas, além da implementação de medidas preventivas contra a discriminação algorítmica (COSTA, 2023; MEDEIROS; MOÇÃO, 2021).

Entre as publicações examinadas, uma análise abordou a preocupação com o impacto da IA no processo penal. Nessa publicação, a discriminação algorítmica foi discutida de forma paralela ao tema principal, destacando os resultados preditivos no processo penal provenientes de tecnologias alimentadas por seres humanos, ou seja, tecnologias não neutras (GUIMARÃES, 2019). O debate sobre políticas públicas relacionadas a esses fenômenos foi identificado apenas uma vez, como uma possibilidade para mitigar a discriminação algorítmica. Essa estratégia propõe a adoção de ações afirmativas que envolvam a inclusão de pessoas pertencentes a grupos minoritários nas equipes de desenvolvimento dessas tecnologias, visando trazer diversidade social para o campo profissional da programação (REQUIÃO; COSTA, 2022). Além disso, nas análises, o aspecto da desumanização do trabalho se manifestou por meio dos riscos da vigilância algorítmica sobre os trabalhadores. Por exemplo, medidas de desempenho adotadas durante a jornada de trabalho podem resultar em graves violações de intimidade e privacidade, além de promover discriminação social por meio de comparações físicas e tornar os trabalhadores suscetíveis a doenças psicológicas (MARQUES; NETO MARTINEZ, 2022).

Nesta seção do artigo empreende-se um esforço para proporcionar uma interpretação do conhecimento consolidado na temática em análise. Trata-se de uma abordagem referencial do debate estabelecido por pesquisadores da área do Direito no Brasil que investigam a discriminação algorítmica à luz dos direitos humanos e fundamentais. O primeiro passo para isso é compreender que a violação de direitos por algoritmos de IA pode ocorrer de várias formas, algumas das quais são mais objetivas, como casos de discriminação direta ou indireta contra minorias sociais (FRANÇA NETTO; EHRHARDT JÚNIOR, 2022). Além disso, também pode haver violação de princípios processuais (FORTES, 2020) e direitos como liberdade de expressão, privacidade ou personalidade (MARQUES; NETO MARTINEZ, 2022; OLIVEIRA, 2020; TOBBIN; CARDIN, 2022).

Conforme explicado por Duarte e Negócio (2021), a reflexão sobre discriminação algorítmica tem como base o princípio da igualdade. Além do princípio fundamental da igualdade, devem ser considerados os direitos à diversidade e à diferença, o que remete ao direito fundamental à não-discriminação, princípio previsto em convenções globais de Direitos Humanos (ONU, 1948, 1966). Portanto, a igualdade é interpretada por meio de uma dimensão substancial, que abrange conceitos como justiça social e distributiva, e “se reflete na busca pela inclusão social daqueles indivíduos excluídos e subordinados devido a características como cor, gênero, orientação sexual, entre outras.” (DUARTE; NEGÓCIO, 2021, p. 6). Ademais, como direito fundamental, possui tanto uma dimensão objetiva quanto uma dimensão subjetiva – o que implica o reconhecimento de pretensões jurídicas jusfundamentais específicas (HACHEM, 2019).

Nesse sentido, reforça-se o entendimento de que as discriminações manifestadas por algoritmos têm o caráter de reproduzir as desigualdades e discriminações sociais pré-existentes na estrutura social, resultando na manutenção de grupos minoritários em posições socialmente subordinadas (PINCUS, 2018). A intencionalidade discriminatória pode estar presente na programação dessas ferramentas, como na categorização de dados, na atribuição de pesos estatísticos e no enviesamento de bancos de dados (FRANÇA NETTO; EHRHARDT JÚNIOR, 2022). No entanto, também podem ocorrer em um cenário aparentemente neutro, desprovido de vieses, negligenciando as diferenças sociais desde a marginalização e exclusão de grupos sociais nos Big Data, até preconceitos ocultos por meio de correlações e codificações redundantes (BAROCAS; SELBST, 2016; DUARTE; NEGÓCIO, 2021). As decisões humanas sempre foram influenciadas por enviesamentos. A utilização de algoritmos pode amplificar esses preconceitos sociais, aumentando o alcance das decisões enviesadas pelas máquinas. (PUSCHEL; RODRIGUES; VALLE, 2022; RIBEIRO, 2022). Um exemplo evidente disso é encontrado no estudo de Fortes (2020, p. 5) no qual é discutido o enviesamento estatístico do caso COMPAS, que resultou em atribuições de pontuações de risco desproporcionais entre réus negros e brancos.

A intensificação das possíveis violações de direitos humanos e fundamentais por parte dos algoritmos de IA também afeta o direito à liberdade de expressão. Embora a mobilização das tecnologias possuam potenciais de melhorar a qualidade do conteúdo online, combatendo, por exemplo, discursos de ódio e manifestações preconceituosas (o que é uma exigência contemporânea), há relatos de bloqueio de conteúdo que privam certos grupos minoritários de se expressarem livremente devido a aspectos linguísticos e culturais, contrariando princípios estabelecidos em tratados internacionais (ONU, 1966; OLIVEIRA, 2020). Um exemplo disso são as redes sociais que utilizam ferramentas algorítmicas para moderar o conteúdo, às vezes sem controle humano ou com uma revisão tardia, não atendendo aos requisitos estabelecidos pelo International Covenant on Civil and Political Rights (OLIVEIRA, 2020).

O avanço das novas tecnologias transforma os direitos fundamentais de terceira dimensão por meio do controle da liberdade e intimidade dos indivíduos, devido ao compartilhamento diário de múltiplos dados em rede (SARLET, 2018, 2021). Diante de violações constantes, os direitos da personalidade também são objeto de debates e preocupações nesses estudos. A violação dos direitos à imagem, honra e intimidade dos indivíduos por meio da exposição de dados pessoais tem se tornado cada vez mais comum (WERMUTH; CARDIN; WOLOWSKI, 2021). Os riscos decorrentes do avanço do controle social com base em informações pessoais, que podem criar condições para políticas totalitárias respaldadas juridicamente, capazes de controlar a vida e a morte dos indivíduos, são motivo de preocupação para os pesquisadores (WERMUTH; CARDIN; WOLOWSKI, 2021).

Da mesma forma, Henriques e Sampaio (2021, p. 261) argumentam que “o uso indiscriminado de dados pessoais é capaz de objetificar as pessoas, promover manipulações, afetar o livre desenvolvimento da personalidade e gerar discriminações”. Essa afirmação está relacionada, por exemplo, a violações dos direitos fundamentais trabalhistas que afetam os direitos à privacidade, intimidade e dignidade humana, como nos casos de softwares de monitoramento de desempenho e comportamento dos trabalhadores, que podem ter potencial extremamente invasivo, resultando em excesso de autocobrança e posterior adoecimento dos indivíduos (MARQUES; NETO MARTINEZ, 2022).

A exposição dessa discussão evidencia o papel das instituições perante o desenvolvimento responsável da IA. Assim, é imperativo que as instituições e seus agentes atuem com transparência e responsabilidade, assegurando que os avanços tecnológicos promovam mudanças positivas e justas na sociedade, contribuam para o bem-estar social e respeitem os direitos fundamentais consolidados.

Diante dos potenciais riscos dos avanços tecnológicos em relação aos direitos fundamentais, especialmente aqueles relacionados aos dados pessoais, diversas organizações internacionais têm se engajado nas últimas décadas em discussões sobre diretrizes e regulamentos para a utilização responsável e ética dessas ferramentas, (EUROPEAN UNION, 2016; OECD, 2019) por meio de princípios e recomendações pautadas em uma IA baseada em valores humanos (BRAVO, 2020). Nesse sentido, o Brasil também adotou medidas para regulamentar e estabelecer diretrizes que visam mitigar e combater possíveis discriminações e abusos de poder decorrentes de bancos de dados e do uso de algoritmos de IA, destacando-se a Lei nº 13.709/18 – Geral de Proteção de Dados (LGPD) e, ainda, a Portaria nº 4.617/2021, que estabelece a Estratégia Brasileira de Inteligência Artificial (EBIA) sob responsabilidade do Ministério da Ciência, Tecnologia e Inovação.

A EBIA fundamenta-se nas diretrizes estabelecidas pela Organisation for Economic Co-operation and Development (OECD), da qual o Brasil é signatário. A Portaria nº 4.617/2021 do MCT&I destaca alguns princípios levantados por essa organização internacional, tais como: (I) os benefícios da IA devem ser centrados no ser humano, no planeta, no desenvolvimento sustentável e no bem-estar; (II) o dever de respeitar o Estado Democrático de Direito, os Direitos Humanos e a diversidade social; (III) a transparência e a divulgação responsável das ferramentas de IA, permitindo explicação, revisão e contestação por parte dos usuários e das pessoas afetadas; e (IV) o funcionamento robusto, seguro e protegido, com avaliações contínuas.

No entanto, a doutrina jurídica brasileira concentra grande parte de seus esforços para discutir os riscos e limites da aplicação dos algoritmos em diversas áreas da sociedade brasileira, especialmente levando-se em consideração a multifuncionalidade dos direitos fundamentais na Lei Geral de Proteção de Dados – LGPD (HIROMI; SALGADO, 2020). O que se tem destacado é uma preocupação significativa relacionada ao uso de IA no sistema judicial brasileiro, devido ao potencial discriminatório que essas ferramentas podem apresentar em decisões automatizadas. A partir de 2020, o Conselho Nacional de Justiça estabeleceu diretrizes para o uso da IA em conformidade com a LGPD e com os artigos 195 e 196 do Código de Processo Civil, fundamentando-se no princípio da eficácia (CNJ, 2020a, b). Os estudos sobre esse tema abordam o direito à explicação previsto na LGPD em casos de tratamento de dados pessoais por meio de decisões automatizadas, questionando a capacidade da legislação em lidar com a opacidade algorítmica (TONIAZZO; BARBOSA; RUARO, 2021).

Com base nessa abordagem, Toniazzo, Barbosa e Ruaro (2021) discutem as limitações gerais previstas no ordenamento jurídico brasileiro em relação ao direito à explicação. O princípio da explicabilidade é considerado fundamental para estabelecer relações de confiança nos sistemas de IA tornando os processos transparentes e buscando alcançar decisões imparciais e com menor grau de subjetividade.

Existe uma interpretação restritiva e equivocada da LGPD que sugere que o direito à revisão por parte de uma pessoa natural não está previsto em seu art. 20. Parece mais adequada ao sistema constitucional brasileiro, todavia, a realização de uma hermenêutica extensiva para garantir o direito à explicação e os interesses dos titulares de dados pessoais (TONIAZZO; BARBOSA; RUARO, 2021). No entanto, há também o argumento de que o art. 20 da Lei nº 13.709/2018 reconhece o direito “de solicitar a revisão de uma decisão automatizada por uma pessoa natural, caso o titular dos dados considere que seus interesses foram afetados” (GOMES; VAZ; DIAS, 2021, p. 116).8 Nessa perspectiva, o direito à explicação e o princípio da transparência desempenham um papel fundamental no avanço do debate em direção a uma inteligência artificial ética e fundamentada nos direitos humanos, como apontam Cardoso e Pessoa (2022, p. 93).

Para promover uma inteligência artificial ética, a doutrina jurídica brasileira vem incorporando o conceito de “desenviesamento” humano e algorítmico, com o objetivo de aplicar o princípio da não-discriminação (RIBEIRO, 2022). Indícios dessa busca pelo combate aos vieses na utilização da IA podem ser observados na Resolução 332 do CNJ, que estabelece a criação de condições para eliminar ou minimizar decisões discriminatórias baseadas em preconceitos, além de exigir a homologação de modelos de IA capazes de “identificar se preconceitos ou generalizações influenciaram seu desenvolvimento” (CNJ, 2020b). No entanto, uma crítica relevante feita nessa literatura está relacionada à aparente omissão da regulamentação do CNJ em relação à origem dos dados que alimentam os algoritmos de IA, os quais provêm de uma sociedade marcada por preconceitos e desigualdades (CARDOSO; PESSOA, 2022). Essa questão ressalta a importância de considerar os agentes responsáveis pela construção dos algoritmos e pela implementação das IAs na sociedade. Não se pode negligenciar ou abstrair dessa discussão jurídica os interesses por trás dos tratamentos de bancos de dados e da programação dos algoritmos ao regulamentar esses processos, pois a responsabilidade desses atores é crucial para garantir uma IA que seja justa e equitativa.

Se o desenviesamento se torna um antídoto importante para combater a discriminação algorítmica e alcançar decisões éticas, transparentes e imparciais no uso da IA na sociedade (PUSCHEL; RODRIGUES; VALLE, 2022), o próprio avanço tecnológico passa a desempenhar um papel fundamental nesse progresso. Alves e Andrade (2022) descrevem os avanços em direção a uma Inteligência Artificial Explicável (XAI), na qual permite combater a opacidade algorítmica por meio de seu próprio sistema preditivo, fornecendo explicações sobre o funcionamento de suas correlações internas. A chamada "caixa de vidro" da XAI promove uma maior confiabilidade para os usuários e a sociedade em geral, permitindo a verificação e a atribuição de responsabilidade às decisões tomadas pela IA (ALVES; ANDRADE, 2022). Todavia, resta evidente que estas novas ferramentas de transparência possuem limites técnicos autorreferentes. O uso de redes neurais artificiais e deep learning, implicam o reconhecimento e aceitação de algum nível de inexplicabilidade, pela própria natureza probabilística e autônoma de funcionamento do sistema na atualidade. Esta é uma questão permanente e que exige acompanhamento, controle e regulação.

Por fim, há ainda a preocupação em relação às automatizações no âmbito da gestão pública e às possíveis limitações dos conceitos e medidas mais discutidos, como transparência administrativa e accountability. Essa preocupação é abordada por Mendes e Mattiuzzo (2019), que destacam as limitações dessas medidas, especialmente quando se trata de informações sensíveis e motivos privados. Logo, há a necessidade de combinar estratégias e considerar aspectos de responsabilidade pela Administração Pública na concepção dos modelos de IA, desde a formação das equipes de programadores até os últimos processos de execução dos serviços. Isso implica capacitar as pessoas não apenas em questões técnicas de programação, mas também em princípios éticos e de governança, a fim de compreenderem os impactos das tecnologias no mundo real (MENDES; MATTIUZZO, 2019).