Da “caixa-preta” à “caixa de vidro”: o uso da explainable artificial intelligence (XAI) para reduzir a opacidade e enfrentar o enviesamento em modelos algorítmicos

Autores

DOI:

https://doi.org/10.11117/rdp.v18i100.5973

Palavras-chave:

XAI, inteligência artificial explicável, opacidade algorítmica, transparência

Resumo

A inteligência artificial (IA) tem sido utilizada em larga escala em variados domínios, com cada vez mais implicações sociais, éticas e de privacidade. À medida que suas potencialidades e aplicações são expandidas, surgem dúvidas sobre a confiabilidade dos sistemas equipados com IA, particularmente aqueles que empregam técnicas de machine learning que podem torná-los verdadeiras ‘caixas-pretas’. A XAI (Explainable Artificial Intelligence), ou inteligência artificial explicável, objetiva oferecer informações que ajudam a explicar o processo preditivo de determinado modelo algorítmico. Este artigo se volta especificamente para o estudo da XAI, investigando seu potencial para explicar decisões de modelos algorítmicos e combater o enviesamento dos sistemas de IA. Na primeira etapa do trabalho, é discutida a questão da falibilidade e enviesamento da IA, e como a opacidade agrava esses problemas. Na segunda parte, apresenta-se a inteligência artificial explicável e suas potenciais contribuições para tornar os sistemas mais transparentes, auxiliando no combate aos erros e vieses algorítmicos. Conclui-se que a XAI pode colaborar para a identificação de vieses em modelos algorítmicos, razão pela qual sugere-se que a capacidade de “se explicar” – ou seja, a explicabilidade – seja um requisito para a adoção de sistemas de IA em searas mais sensíveis, como por exemplo, o auxílio à tomada de decisão judicial.

Downloads

Não há dados estatísticos.

Biografia do Autor

Marco Antônio Sousa Alves, Universidade Federal de Minas Gerais

Professor Adjunto de Teoria e Filosofia do Direito e do Estado da Faculdade de Direito da Universidade Federal de Minas Gerais. Doutor em Filosofia pela UFMG, com estágio de pesquisa na École des Hautes Études en Sciences Sociales (EHESS/Paris). Membro permanente do Programa de Pós-Graduação em Direito (PPGD/UFMG). Coordenador do Grupo SIGA/UFMG (Sociedade da Informação e Governo Algorítmico).

Otávio Morato de Andrade, Universidade Federal de Minas Gerais

Mestrando em Direito pela UFMG, com bolsa do CNPq. Especialista em Direito Civil pela PUC-MG. Graduado em Direito (UFMG) e Administração (PUC-MG). Membro-monitor do Grupo SIGA/UFMG (Sociedade da Informação e Governo Algorítmico).

Referências

ALVES, Marco Antônio Sousa. Cidade inteligente e governamentalidade algorítmica: liberdade e controle na era da informação. Philósophos, v. 23, n. 2, Goiânia, p. 191-232, 2018. Disponível em: https://www.revistas.ufg.br/philosophos/article/view/52730. Acesso em: 10 ago. 2021.

ANDRADE, Otávio Morato de. Utilizando inteligência artificial para combater a morosidade processual e democratizar o acesso ao judiciário. Duc in Altum: Cadernos de Direito, v. 13, n. 30, 2021.

ANGWIN, Julia; LARSON, Jeff; SURYA, Mattu; KIRCHNER, Lauren. Machine Bias. Pro Publica, 23 de maio de 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 19 ago. 2021.

ARTEAGA, Cristian. Interpretable Machine Learning for Image Classification with LIME: increase confidence in your machine-learning model by understanding its prediction. Towards Data Science, 21 de outubro de 2019. Disponível em: https://towardsdatascience.com/interpretable-machine-learning-for-image-classification-with-lime-ea947e82ca13. Acesso em: 26 set. 2021.

CONFALONIERI, Roberto; COBA, Ludovik; WAGNER, Benedikt; BESOLD, Tarek. A historical perspective of explainable Artificial Intelligence. Wires Data Mining and Knowledge Discovery, v. 11, e1391, 2021. Disponível em: https://wires.onlinelibrary.wiley.com/doi/pdfdirect/10.1002/widm.1391. Acesso em: 19 ago. 2021.

DIAMOND, Larry. The Road to Digital Unfreedom: The Threat of Postmodern Totalitarianism. Journal of Democracy, v. 30, n. 1, p. 20-24, 2019. Disponível em: https://journalofdemocracy.org/articles/the-road-to-digital-unfreedom-the-threat-of-postmodern-totalitarianism. Acesso em: 26 set. 2021.

DOŠILOVIĆ, Filip; BRČIĆ, Mario; HLUPIĆ, Nikica. Explainable Artificial Intelligence: a Survey. 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2018, p. 210-215. Disponível em: https://ieeexplore.ieee.org/abstract/document/8400040. Acesso em: 19 ago. 2021.

GUNNING, David; STEFIK, Mark; CHOI, Jaesik; MILLER, Timothy; STUMPF, Simone; YANG, Guang-Zhong. XAI – Explainable artificial intelligence. Science Robotics, v. 4, n. 37, 2019. Disponível em: https://robotics.sciencemag.org/content/4/37/eaay7120/tab-article-info. Acesso em: 15 ago. 2021.

FLORIDI, Luciano; TADDEO, Mariarosaria. How AI can be a force for good. Science, v. 361 n. 6404, p. 751-752, 2018. Disponível em: https://www.science.org/doi/10.1126/science.aat5991. Acesso em: 26 set. 2021.

KELION, Leo. Apple's 'sexist' credit card investigated by US regulator. BBC News, 11 de novembro de 2019. Disponível em: https://www.bbc.com/news/business-50365609. Acesso em: 12 ago. 2021.

KERNS, Michael; ROTH, Aaron. The Ethical Algorithm: The Science of Socially Aware Algorithm Design. Oxford University Press, 2020.

LUNDBERG, Scott; LEE, Su-In. A Unified Approach to Interpreting Model Predictions. arXiv:1705.07874, 25 de novembro de 2017. Disponível em: https://arxiv.org/abs/1705.07874. Acesso em: 26 set. 2021.

MOLNAR, Christoph. Interpretable Machine Learning: a Guide for Making Black Box Models Explainable. Leanpub, 2021. Disponível em: https://christophm.github.io/interpretable-ml-book/index.html. Acesso em: 13 ago. 2021.

MÜLLER, Klaus-Robert; SAMEK, Wojciech. Towards Explainable Artificial Intelligence. arXiv:1909.12072v1, 26 de setembro de 2019. Disponível em: https://arxiv.org/abs/1909.12072. Acesso em: 15 ago. 2021.

MUELLER, Shane; HOFFMAN, Robert; CLANCEY, William; EMREY, Abigail; KLEIN, Gary. Explanation in Human-AI Systems: a Literature Meta-Review Synopsis of Key Ideas and Publications and Bibliography for Explainable AI. DARPA XAI Literature Review, fevereiro de 2019. Disponível em: https://arxiv.org/abs/1902.01876. Acesso em: 14 ago. 2021.

NAJIBI, Alex. Racial Discrimination in Face Recognition Technology. Harvard Online: Science Policy and Social Justice, 24 de outubro de 2020. Disponível em: https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face-recognition-technology/. Acesso em: 26 set. 2021.

NATARAJAN, Sridhar; NASIRIPOUR, Shahien. Viral Tweet About Apple Card Leads to Goldman Sachs Probe. Bloomberg, 9 de novembro de 2019. Disponível em: https://www.bloomberg.com/news/articles/2019-11-09/viral-tweet-about-apple-card-leads-to-probe-into-goldman-sachs. Acesso em: 26 set. 2021.

NUNES, Dierle; ANDRADE, Otávio. A explicabilidade da inteligência artificial e o devido processo tecnológico. Conjur, São Paulo, 7 de julho de 2021. Disponível em: https://www.conjur.com.br/2021-jul-07/opiniao-explicabilidade-ia-devido-processo-tecnologico. Acesso em: 26 set. 2021.

NUNES, Dierle; MARQUES, Ana Luiza. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista de Processo, v. 285, p. 421-447, novembro 2018. Disponível em: https://www.academia.edu/37764508/INTELIG%C3%8ANCIA_ARTIFICIAL_E_DIREITO_PROCESSUAL_VIESES_ALGOR%C3%8DTMICOS_E_OS_RISCOS_DE_ATRIBUI%C3%87%C3%83O_DE_FUN%C3%87%C3%83O_DECIS%C3%93RIA_%C3%80S_M%C3%81QUINAS_Artificial_intelligence_and_procedural_law_algorithmic_bias_and_the_risks_of_assignment_of_decision_making_function_to_machines. Acesso em: 26 set. 2021.

RAMOS, Oscar Garcia. “Black box”: There’s no way to determine how the algorithm came to your decision. Oscar G. Ramos Blog, 27 de maio de 2020. Disponível em: https://www.oscargarciaramos.com/blog/9gfzdns1lmwlz58k4w2yxvzjukxp22. Acesso em: 26 set. 2021.

RIBEIRO, Marco Túlio; SINGH Sameer; GUESTRIN, Carlos. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. arXiv:1602.04938, 16 de fevereiro de 2016. Disponível em: https://arxiv.org/abs/1602.04938. Acesso em: 26 set. 2021.

ROSSETTI, Regina; ANGELUCI, Alan. Ética Algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. Galáxia, n. 46, p. 1-18, 2021. Disponível em: http://dx.doi.org/10.1590/1982-2553202150301. Acesso em: 26 set. 2021.

ROUVROY, Antoinette; BERNS, Thomas. Governamentalidade algorítmica e perspectivas de emancipação: o díspar como condição de individuação pela relação? Revista Eco Pós, v. 18, n. 2, p. 35-56, 2015. Disponível em: https://revistaecopos.eco.ufrj.br/eco_pos/article/view/2662. Acesso em: 26 set. 2021.

SAKO, Mari; PARNHAM, Richard. Technology and Innovation in Legal Services: Final Report for the Solicitors Regulation Authority. University of Oxford, 2021. Disponível em: https://www.sra.org.uk/globalassets/documents/sra/research/full-report-technology-and-innovation-in-legal-services.pdf?version=4a1bfe. Acesso em: 26 set. 2021.

SERENGIL, Sefik. How SHAP Can Keep You From Black Box AI. Blog Sefik Ilkin Serengil, 1º de julho de 2019. Disponível em: https://sefiks.com/2019/07/01/how-shap-can-keep-you-from-black-box-ai. Acesso em: 26 set. 2021.

SIMONITE, Tom. When It Comes to Gorillas, Google Photos Remains Blind. Wired, 1º de novembro de 2018. Disponível em: https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind. Acesso em: 26 set. 2021.

SURDEN, Harry. Machine Learning and Law. Washington Law Review, v. 89, n. 1, 2014. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2417415. Acesso em: 26 set. 2021.

SWARTOUT, William; PARIS, Cecile; MOORE, Johanna. Explanations in knowledge systems: design for explainable expert systems. IEEE Expert, v. 6, n. 3, p. 58-64, 1991. Disponível em: https://researchers.mq.edu.au/en/publications/explanations-in-knowledge-systems-design-for-explainable-expert-s. Acesso em: 26 set. 2021.

VILLANI, Cédric. For a meaningful artificial intelligence: towards a French and European strategy. A parliamentary mission from 8th september 2017 to 8th march 2018. Paris, 2019. Disponível em: https://books.google.com.br/books?id=9cVUDwAAQBAJ&lpg=PP1&hl=pt-BR&pg=PP1#v=onepage&q&f=false. Acesso em: 26 set. 2021.

WELLS, Lindsay; BEDNARZ, Tomasz. Explainable AI and Reinforcement Learning: a Systematic Review of Current Approaches and Trends. Front Artificial Intelligence, 20 de maio de 2021. Disponível em: https://www.frontiersin.org/articles/10.3389/frai.2021.550030/full. Acesso em: 26 set. 2021.

ZUBOFF, Shoshana. The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. New York: Public Affairs, 2019.

Downloads

Publicado

2022-01-27

Como Citar

Alves, M. A. S., & Andrade, O. M. de. (2022). Da “caixa-preta” à “caixa de vidro”: o uso da explainable artificial intelligence (XAI) para reduzir a opacidade e enfrentar o enviesamento em modelos algorítmicos. Direito Público, 18(100). https://doi.org/10.11117/rdp.v18i100.5973