“FALHAS DE IA” E A INTERVENÇÃO HUMANA EM DECISÕES AUTOMATIZADAS: PARÂMETROS PARA A LEGITIMAÇÃO PELA HUMANIZAÇÃO

Autores

DOI:

https://doi.org/10.11117/rdp.v18i100.6119

Palavras-chave:

Inteligência Artificial, decisões automatizadas, intervenção humana, ética.

Resumo

Em um contexto em que diferentes países vêm reconhecendo um direito à intervenção humana face a decisões automatizadas, o artigo tem por objetivo investigar os elementos que podem atrair a necessidade de introdução de parâmetros humanos em processos de decisão impulsionados por sistemas de Inteligência Artificial. Assim, com base no método hipotético-dedutivo e a partir de pesquisa bibliográfica e documental, o artigo explora diferentes categorias de problemas que podem advir de decisões tomadas por sistemas de IA, concluindo que, em determinados casos, a necessidade de intervenção humana pode ser identificada não apenas com base em critérios de eficiência, mas também pode se constituir em um componente ético em si mesmo. Por outro lado, argumenta-se que determinados parâmetros de sistemas de IA, tais como o seu nível de transparência e auditabilidade, a explicabilidade das decisões, o seu baixo impacto potencial a direitos e garantias fundamentais  e o grau de participação do próprio usuário do sistema na sua configuração e utilização, poderiam mitigar os riscos associados ao "déficit de humanidade" e assim proporcionar que a intervenção humana seja modulada em diferentes níveis de intensidade, mantendo-se o atendimento aos requisitos éticos de decisões legítimas, confiáveis, justas e cognoscíveis, por seres humanos, em seus principais elementos.

Downloads

Não há dados estatísticos.

Biografia do Autor

Miriam Wimmer, IDP/DF

Doutora em Políticas de Comunicação e Cultura pela Faculdade de Comunicação da Universidade de Brasília (UnB), Mestre em Direito Público e graduada em Direito pela Universidade do Estado do Rio de Janeiro - UERJ. Ex-bolsista do programa internacional da Universidade de Waseda, com Distinção Acadêmica. Certificada como especialista em proteção de dados pessoais (Europa) pela International Association of Privacy Professionals (CIPP/E). Professora do corpo permanente do Mestrado Profissional em Direito, do IDP-Brasília e professora convidada em diversas instituições de ensino de nível superior. É servidora pública desde 2007, integrante da carreira de Especialista em Regulação de Serviços Públicos de Telecomunicações da Anatel. Ocupou diferentes cargos de direção no Ministério das Comunicações - MC e no Ministério de Ciência, Tecnologia, Inovações e Comunicações - MCTIC, onde coordenou a elaboração da Estratégia Brasileira para a Transformação Digital e atuou na propositura da Estratégia Brasileira de IA. É, atualmente, Diretora da Autoridade Nacional de Proteção de Dados - ANPD.

Danilo Doneda, IDP/S

Doutor em Direito Civil pela Universidade do Estado do Rio de Janeiro (UERJ). Professor no Instituto Brasiliense de Direito Público (IDP). Membro indicado pela Câmara dos Deputados para o Conselho Nacional de Proteção de Dados e Privacidade. Diretor do CEDIS/IDP (Centro de Estudos de Internet e Sociedade). É membro do Conselho Diretor da IAPP (International Association of Privacy Professionals). Foi Coordenador-Geral na Secretaria Nacional do Consumidor do Ministério da Justiça, onde coordenou a redação do Anteprojeto de Lei de proteção de dados, a base da Lei Geral de Proteção de Dados. Membro da Comissão de Juristas da Câmara dos Deputados para redação de projeto de lei sobre proteção de dados nos setores de segurança pública e investigação criminal. Membro do Grupo de Trabalho sobre proteção de dados e informações judiciais do Conselho Nacional de Justiça. Membro dos conselhos consultivos do Projeto Global Pulse (ONU) e do Projeto Criança e Consumo (Instituto Alana). Foi pesquisador visitante na Autoridade Garante para a Proteção de Dados em Roma (Roma, Itália), na Università degli Studi di Camerino (Camerino, Itália) e no Instituto Max Planck para Direito Privado Comparado e Internacional (Hamburgo, Alemanha). Parte do seu trabalho está disponível em www.doneda.net.

Referências

ASARO, P. On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-Making. International Review of the Red Cross 94 (886), pp. 687–709.

AWAD, E.; DSOUZA, S.; KIM, R.; SCHULZ, J.; HENRICH, J.; SHARIFF, A.; BONNEFON, J; RAHWAN, I. The Moral Machine experiment. Nature. Volume 563 (2018), pp. 59–64.

BATHAEE, Yavar. The Artificial Intelligence Black Box and the Failure of Intent and Causation. Harvard Journal of Law & Technology, Vol. 31, N. 2, Spring 2018, p. 890-938.

BAXTER, Kathy. “Ethical AI frameworks, tool kits, principles, and certifications - Oh my!” (2021). Disponível em: https://blog.einstein.ai/frameworks-tool-kits-principles-and-oaths-oh-my/, acesso em dezembro de 2021.

BIRHANE, A. The Impossibility of Automating Ambiguity. Artif Life (2021); 27 (1): 44–61. Disponível em: https://doi.org/10.1162/artl_a_00336, acesso em agosto de 2021.

BURREL, J. How the machine ‘thinks’: Understanding opacity in machine learning algorithms. Big Data & Society, January-June 2016. Disponível em: journals.sagepub.com/doi/pdf/10.1177/2053951715622512, consultado em 26 de dezembro de 2018.

DONEDA, D.; MENDES, L.; DE SOUZA, C.; ANDRADE, N. Considerações iniciais sobre inteligência artificial, ética e autonomia pessoal. Pensar. v. 23, n, 4 (2018). Disponível em: https://periodicos.unifor.br/rpen/article/view/8257, acesso em dezembro de 2021.

EDWARDS, L; VEALE, M: Enslaving the Algorithm: From a “Right to an Explanation” to a “Right to Better Decisions”? IEEE Security & Privacy (2018) 16(3), 46–54, doi:10.1109/MSP.2018.2701152

FJELLAND, R. Why general artificial intelligence will not be realized. Humanities and Social Sciences Communications 7, 10 (2020). https://doi.org/10.1057/s41599-020-0494-4. Disponível em https://www.nature.com/articles/s41599-020-0494-4, acesso em dezembro de 2021.

FRAZÃO, A. Controvérsias sobre direito à explicação e à oposição diante de decisões automatizadas. Revista Jota, 12 de dezembro de 2018. Disponível em: https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/controversias-sobre-direito-a-explicacao-e-a-oposicao-diante-de-decisoes-automatizadas-12122018 , acesso em novembro de 2021.

GANASCIA, J. G. Epistemology of AI Revisited in the Light of the Philosophy of Information. Knowledge, Technology & Policy (2010), V. 23, pp. 57-73.

ICO - Information Commissioner's Office. Detailed Guidance on Automated Decision-Making and Profiling (2018). Disponível em: https://ico.org.uk/media/for-organisations/guide-to-data-protection/guide-to-the-general-data-protection-regulation-gdpr/automated-decision-making-and-profiling-1-1.pdf, acesso em novembro de 2021.

ICTFC MEDIA. ICTTV Live Streaming From Caledonian Stadium. Inverness Caledonian Thistle Football Club, 16 de outubro de 2020. Disponível em: https://ictfc.com/icttv-live-streaming-from-caledonian-stadium, acesso em setembro de 2021.

JONES, M. L. Right to a Human in the Loop: Political Constructions of Computer Automation & Personhood from Data Banks to Algorithms. Soc. Stud. of Sci., vol. 47, 2017.

KAHNEMAN, D.; SIBONY, O.; SUNSTEIN, C. R.. Noise. A Flaw in Human Judgement. London: William Collins, 2021.

LAWAND, K. “International Law, Incluing IHL, on LAWS: Is There a Need for a New Protocol?” In: Rio Seminar on Autonomous Weapons Systems (2020, Rio de Janeiro, Naval War College) - Brasília: FUNAG, 2020.

MALGIERI, G. Automated decision-making in the EU Member States: The right to explanation and other "suitable safeguards" in the national legislations. Computer Law & Security Review 35 (2019). Disponível em: https://www.researchgate.net/publication/334359463_Automated_decisionmaking_in_the_EU_Member_States_The_right_to_explanation_and_other_suitable_safeguards_in_the_national_legislations , acesso em setembro de 2021.

MANTELERO, A. AI and Big Data: A blueprint for a human rights, social and ethical impact assessment. Computer Law & Security Review, Volume 34, Issue 4, August 2018, pp. 754-772

MARANHÃO, J.; COZMAN, F. G.; ALMADA, M. Concepções de explicação e do direito à explicação de decisões automatizadas. In: VAINZOF, R.; GUTIERREZ, A. (orgs.) Inteligência Artificial: Sociedade, Economia e Estado. São Paulo: Thomson Reuters, 2021.

MILANO, S., TADDEO, M., FLORIDI, L. Recommender systems and their ethical challenges. AI and Society, 2020, 35, 957–967. Disponível em: https://link.springer.com/article/10.1007/s00146-020-00950-y, acesso em setembro de 2021.

MITTELSTADT, B. D.; ALLO, P.; TADDEO, M.; WACHTER, S.; FLORIDI, L. The Ethics of Algorithms: Mapping the Debate. Big Data & Society 3 (2016). https://doi.org/10.1177/2053951716679679

MONTEIRO, Renato Leite. Existe um direito à explicação na Lei Geral de Proteção de Dados Pessoais do Brasil? Artigo Estratégico 24. Rio de Janeiro: Instituto Igarapé, dezembro de 2018, p. 9-10. Disponível em: https://igarape.org.br/existe-um-direito-a-explicacao-na-lei-geral-de-protecao-de-dados-no-brasil/ , acesso em setembro de 2021.

MORAVEC, H. Mind Children. The Future of Robot and Human Intelligence. Cambridge/London: Harvard University Press, 1990.

MULHOLLAND, C. FRAJHOF, I. Z. Inteligência Artificial e a Lei Geral de Proteção de Dados Pessoais: breves anotações sobre o direito à explicação perante a tomada de decisões por meio de machine learning. In: FRAZÃO, A.; MULHOLLAND, C. (orgs.). Inteligência Artificial e o Direito: Ética, Regulação e Responsabilidade. São Paulo: Thomson Reuters, 2019, pp. 272-290.

O’NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Random House Audio, 2017.

OECD - Organisation for Economic Cooperation and Development. The OECD Privacy Framework. Paris: 2013. Disponível em: https://www.oecd.org/digital/ieconomy/privacy-guidelines.htm, acesso em setembro de 2021.

_______. Recommendation of the Council on Artificial Intelligence. Paris: 2019. Disponível em: https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449, acesso em setembro de 2021.

PASQUALE, Frank. The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge: Harvard University Press, 2015.

RUSSEL, Stuart J.; NORVIG, Peter. Artificial Intelligence. A Modern Approach. New Jersey: Pearson Education Inc., 2010.

SCOTT, P. J.; YAMPOLSKI, R. V. Classification Schemas for Artificial Intelligence Failures. Delphi - Interdisciplinary Review of Emerging Technologies, Volume 2 (2019), Issue 4, Pages 186 - 199. Disponível em: https://delphi.lexxion.eu/article/DELPHI/2019/4/8, acesso em agosto de 2021.

SELBST, A. D.; POWLES, J. (2017). Meaningful information and the right to explanation. International Data Privacy Law, vol. 7, no 4, p. 233-242. Disponível em: https://ssrn.com/abstract=3039125, acesso em dezembro de 2021.

SOUZA, C. A.; PERRONE, C.; MAGRANI, E. O Direito à explicação entre a experiência europeia e a sua positivação na LGPD. In: BIONI, B. R.; DONEDA, D.; SARLET, I. W.; MENDES, L. S.; RODRIGUES JR, O. L. (Org.), Tratado de Proteção de Dados Pessoais. São Paulo: Editora Forense, 2021, p. 243-270

SUNSTEIN, Cass. Algorithms, Correcting Biases (December 12, 2018). No prelo. Social Research. Disponível em https://ssrn.com/abstract=3300171, acesso em setembro de 2021.

TSAMADOS, A; AGGARWAL, N.; COWLS, J.; MORLEY, J.; ROBERTS, H.; TADDEO, M.; FLORIDI, L. The Ethics of Algorithms: Key Problems and Solutions (28 de julho de 2020). Disponível em: https://ssrn.com/abstract=3662302, acesso em setembro de 2021.

UNESCO – United Nations Educational, Scientific and Cultural Organization. Recommendation on the Ethics of Artificial Intelligence. Adotada em 24 de novembro de 2021 pela Conferência Geral da UNESCO. Disponível em: https://en.unesco.org/artificial-intelligence/ethics#recommendation, acesso em novembro de 2021.

WACHTER, S; MITTELSTADT, B; FLORIDI, L. Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. (December 28, 2016). International Data Privacy Law (2017), Disponível em: https://ssrn.com/abstract=2903469 , acesso em setembro de 2021.

WIMMER, M. Inteligência Artificial e Conflitos Armados Internacionais: o Problema das Armas Autônomas Letais. In: Vainzof, R.; Gutierrez, A.. (Org.). Inteligência Artificial - Sociedade, Economia e Estado. 1ed. São Paulo: Revista dos Tribunais, 2021.

WP29 - Grupo de Trabalho do Artigo 29 para a Proteção de Dados. Orientações sobre as decisões individuais automatizadas e a definição de perfis para efeitos do Regulamento (UE) 2016/679. Adotadas em 3 de outubro de 2017, com a última redação revista e adotada em 6 de fevereiro de 2018. Disponível em: https://ec.europa.eu/info/law/law-topic/data-protection_pt , acesso em setembro de 2021.

ZARSKY, T. Z. (2016) The Trouble with Algorithmic Decisions: An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making. Science, Technology, & Human Values 41(1) (2016), pp.118-132. Disponível em: https://law.haifa.ac.il/images/documents/0162243915605575.pdf, acesso em setembro de 2021.

Downloads

Publicado

2022-01-27

Como Citar

Wimmer, M., & Doneda, D. (2022). “FALHAS DE IA” E A INTERVENÇÃO HUMANA EM DECISÕES AUTOMATIZADAS: PARÂMETROS PARA A LEGITIMAÇÃO PELA HUMANIZAÇÃO. Direito Público, 18(100). https://doi.org/10.11117/rdp.v18i100.6119

Edição

v. 18 n. 100 (2021): Dossiê Temático - "Inteligência Artificial, Ética e Epistemologia" e Dossiê Temático “Privacidade e Proteção de Dados Pessoais na Segurança Pública e no Processo Penal”

Seção

Dossiê Temático - Inteligência Artificial, Ética e Epistemologia

Licença

Copyright (c) 2022 Direito Público

Creative Commons License

Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.

O(s)/A(s) autores(as) dos manuscritos submetidos concorda(m) com as regras a seguir:

1) Todos os autores e autoras participaram do trabalho, são responsáveis pelas ideias e conceitos nele emitidos e atestam sua conformidade com os princípios éticos exigidos.

2) Todos os autores e autoras concordam com a forma final do trabalho e em ceder os direitos para publicação nos canais de publicação da Escola de Direito do IDP.

3) Todos os autores e autoras informam que o manuscrito é de sua autoria e assumem a responsabilidade pelo trabalho, declarando que a obra a ser publicada não infringe quaisquer direitos de propriedade intelectual de terceiros.

3.1) Em caso de submissão simultânea, além da reprovação imediata do artigo e comunicação ao(s) respectivo(s) periódico(s), a Revista Direito Público se reserva o direito de não receber novas submissões de todos os autores implicados pelo prazo de 2 (dois) anos, contado a partir da data de ciência do fato.

4) Todos os autores e autoras autoriza(m) a edição de seu trabalho e cede(m) à Escola de Direito do IDP os direitos de autor para reproduzir, editar e publicar ou veicular o citado trabalho em qualquer forma midiática, resguardada a autoria, em particular sob forma digital, em arquivo eletrônico online na Internet, bem como armazená-los em seu repositório de acordo com o desenvolvimento do processo editorial. Esta concessão não terá caráter oneroso para a Escola de Direito do IDP, não havendo remuneração sob qualquer modalidade pela utilização do referido material, tendo este o caráter de colaboração científica.