TODOS SÃO IGUAIS PERANTE O ALGORITMO? UMA RESPOSTA CULTURAL DO DIREITO À DISCRIMINAÇÃO ALGORÍTMICA

Authors

DOI:

https://doi.org/10.11117/rdp.v18i100.5869

Keywords:

Discriminação por algoritmos, algoritmos de aprendizado de máquina, Direito como cultura.

Abstract

São cada vez mais notórios os casos em que algoritmos de aprendizado de máquina que operam em rede apresentam comportamentos discriminatórios, de modo a evidenciar uma semântica da discriminação que perpassa instituições e estruturas sociais, incorpora-se aos aspectos técnicos da programação e ameaça direitos fundamentais. Evidencia-se, nesse sentido, a importância de se discutir, no âmbito das ciências sociais, sobretudo do Direito, como se construir um modelo de observação, identificação e busca de soluções capaz de lidar com o problema da discriminação perpetrada por algoritmos de aprendizado de máquina, os quais operam majoritariamente por meio da internet. Para solucionar esse problema, o trabalho apresenta, em um primeiro momento, a igualdade compreendida como não discriminação. Questiona-se, em seguida, por meio da análise do funcionamento dos algoritmos, como esses sistemas com capacidade de aprendizado tratam – e como isso ocorre – grupos de maneira desfavorável. Por fim, partindo da compreensão do Direito como uma semântica social, como cultura imbricada nas mais variadas relações sociais, e não apenas nas instituições formais, apresentam-se mecanismos de construção de um modelo de observação, identificação e busca de soluções voltada ao combate da discriminação por algoritmos. A partir de uma pesquisa essencialmente bibliográfica e do método hipotético-dedutivo, conclui-se que a normatividade do Direito está na comunidade de usuários e nas práticas dos programadores, o que revela a importância de impregnar a semântica jurídica da igualdade na seleção e formação de programadores, como possibilidades de solução do problema posto.

Downloads

Download data is not yet available.

Author Biographies

Alan Duarte, Universidade Federal do Ceará

Mestrando em Direito Constitucional pela Universidade Federal do Ceará. Pós-Graduado em Direito, Tecnologia e Inovação (Instituto New Law). Advogado. Graduado em Direito pelo Centro Universitário 7 de Setembro (2020).

Ramon de Vasconcelos Negócio, Centro Universitário 7 de Setembro (UNI7)

Doutor em Teoria do direito (2019), pela Goethe-Universität (Frankfurt am Main). Mestre em Direito do Estado, na sub-área de Direito Constitucional (2011), pela Pontifícia Universidade Católica de São Paulo. Graduado em Direito pela Universidade de Fortaleza (2007).

References

ALI, Muhammad; SAPIEZYNSKI, Piotr; BOGEN, Miranda; KOROLOVA, Aleksandra; MISLOVE, Alan; RIEKE, Aaron. Discrimination through optimization. Proceedings of the ACM on human-computer interaction. [s.l.], v. 3, n. , p. 1-30, 7 nov. 2019. Association for Computing Machinery (ACM). Disponível em: http://dx.doi.org/10.1145/3359301.

ALPAYDIN, Ethem. Introduction to machine learning. 3. ed. Massachusetts: MIT Press, 2014.

ARTOSI, Alberto. Technical normativity. In: Italian Philosophy of Technology. Springer, Cham, p. 149-160, 2021.

ASSMANN, Jan. Das kulturelle Gedächtnis: Schrift, Erinnerung und politische Identität in frühen Hochkulturen. München: Beck, 1992.

BAROCAS, Solon; SELBST, Andrew D. Big data’s disparate impact. Calif. L. Rev., v. 104, p. 671, 2016.

BUOLAMWINI, Joy. How I’m fighting bias in algorithm. TEDx BeaconStreet, 2016, TED Talks. Disponível em: https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms. Acesso em: 10 set. 2020.

CALDERS, Toon; ŽLIOBAITĖ, Indrė. Why unbiased computational processes can lead to discriminative decision procedures. In: CUSTERS, Bart et al (Ed.). Discrimination and privacy in the information society: data mining and profiling in large databases. Berlin: Springer-Verlag, p. 3-26, 2013. (Studies in Applied Philosophy, Epistemology and Rational Ethics 3).

CALO, Ryan. Artificial intelligence policy: a primer and roadmap. 8 ago. 2017. Disponível em: https://ssrn.com/abstract=3015350. Acesso em: 17 jul. 2020.

CITRON, Danielle Keats; PASQUALE, Frank A. The scored society: due process for automated predictions. Washington Law Review, Vol. 89, 2014, p. 1-, U of Maryland Legal Studies Research Paper No. 2014-8, 2014.

CORTIZ, Diogo. Curso de inteligência artificial para todos (Parte 1). Diogo Cortiz, 2020. YouTube. Disponível em: https://youtu.be/Ze-Q6ZNWpco. Acesso em: 24 mar. 2020.

CUSTERS, Bart. Data dilemmas in the information society: introduction and overview. In: CUSTERS, Bart et al (Ed.). Discrimination and privacy in the information society: data mining and profiling in large databases. Berlin: Springer-Verlag, p. 3-26, 2013. (Studies in Applied Philosophy, Epistemology and Rational Ethics 3).

DIAKOPOULOS, Nicholas et al. Principles for accountable algorithms and a social impact statement for algorithms. Fairness, accountability, and transparency in machine learning. Disponível em: https://www.fatml.org/resources/principles-for-accountable-algorithms. Acesso em: 1º out. 2020.

DOMINGOS, Pedro. O algoritmo mestre. São Paulo: Novatec, 2017.

ERNST, Christian. Algorithmische Entscheidungsfindung und personenbezogene Daten Privatdozent, Juristen Zeitung 72(21), 2017.

ESPOSITO, Elena. Artificial communication? The production of contingency by algorithms. In: 46, 4 Zeitschrift für Soziologie, 2017, p. 249-265.

FLORIDI, Luciano. The Onlife Manifesto: being human in a hyperconnected era. New York: Springer Nature, 2015.

GEERTZ, Clifford. Local knowledge: further essays in interpretative anthropology. New York: Basic Books, 1983.

GOLDSCHMIDT, Ronaldo; PASSOS, Emmanuel. Data mining: um guia prático. Rio de Janeiro: Elsevier, 2005.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. MIT Press. 2016. Disponível em: http://www.deeplearningbook.org. Acesso em: 18 ago. 2020.

HOFFMANN-RIEM, Wolfgang. Verhaltenssteuerung durch Algorithmen – Eine Herausforderung für das Recht. In: Archiv des oeffentlichen Rechts, Volume 142, Number 1, January 2017Mohr Siebeck: Tübingen, 2017.

______. Inteligência artificial como oportunidade para a regulação jurídica. Direito Público, [s.l.], v. 16, n. 90, dez. 2019. ISSN 2236-1766. Disponível em: https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/3756. Acesso em: 11 ago. 2020.

JUST, Natascha. Governing online platforms: competition policy in times of platformization. In: Telecommunications Policy, Telecommunications Policy, Volume 42, Issue 5, June 2018, Pages 386-394. Disponível em: https://doi.org/10.1016/j.telpol.2018.02.006.

______; LATZER, Michael. Governance by algorithms: reality construction by algorithmic selection on the internet. Accepted manuscript forthcoming in Media. Culture & Society, 2016, s. 2. Disponível em: http://mediachange.ch/media/pdf/publications/Just_Latzer2016_Governance_by_Algorithms_Reality_Construction.pdf.

KAPLAN, Andreas; HAENLEIN, Michael. Siri, Siri, in my hand: who’s the fairest in the land? On interpretations, illustrations, and implications of artificial intelligence. Business Horizons, [s.l.], v. 62, n. 1, p. 15-25, jan. 2019. Elsevier BV. http://dx.doi.org/10.1016/j.bushor.2018.08.004.

LADEUR, Karl-Heinz. Lernfähigkeit des Rechts und Lernfähigkeit durch Recht, Erwiderung auf J. Nocke. In: GÖRLITZ, Axel; VOIGT, Rüdiger (Hrsg.). Postinterventionistisches Recht, Pfaffenweiler: Centaurus 1990 (Jahresschrift für Rechtspolitologie, Bd. 4), p. 141 ss.

______. Die Textualität des Rechts: Zur poststrukturalistischen Kritik des Rechts. Velbrück Wissenschaft. Weilerwist, 2016.

______. Recht – Wissen – Kultur. Die fragmentierte Ordnung. Berlin Duncker & Humblot, 2016.

LERMAN, Jonas. Big data and its exclusions. Stan. L. Rev. Online, v. 66, p. 55, 2013. Disponível em: https://review.law.stanford.edu/wp-content/uploads/sites/3/2016/08/66_stanlrevonline_55_lerman.pdf. Acesso em: 10 jul. 2020.

LESSIG, Lawrence. Code: Version 2.0, New York: Basic Books, 2006.

MAINI, Vishal; SABRI, Samer. Machine learning for humans. Disponível em: https://everythingcomputerscience.com/books/Machine%20Learning%20for%20Humans.pdf. Acesso em: 17 ago. 2020.

MARR, Bernard. How much data do we create every day? The mind-blowing stats everyone should read. Forbes, 18 maio 2018. Disponível em: https://www.forbes.com/sites/bernardmarr/2018/05/21/how-much-data-do-we-create-every-day-the-mind-blowing-stats-everyone-should-read/#7574ae7d60ba. Acesso em: 1º abr. 2020.

MAYER-SCHÖNBERGER, Viktor; CUKIER, Kenneth. Big Data: a revolution that will transform how we live, work and think. New York: 2013.

MENDES, Laura Schertel. Privacidade, proteção de dados e defesa do consumidor: linhas gerais de um novo direito fundamental. São Paulo: Saraiva, 2014.

MITCHELL, Tom M. Machine learning. McGraw-Hill Science, 1997.

NEGÓCIO, Ramon de Vasconcelos. Vom Fremddruck zur Selbstbeschränkung: Das Problem der Verarbeitung juridischer Normativität durch Internet-Intermediäre. Baden-Baden: Nomos, 2020.

NEVES, Marcelo. Entre subintegração e sobreintegração: a cidadania inexistente. Dados – Revista de Ciências Sociais, Rio de Janeiro, v. 37, n. 2, p. 253-275, 1994.

______. Transconstitucionalismo. São Paulo: WMF Martins Fontes, 2009.

O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. New York: Crown Publishers, 2016.

PAGER, Devah; SHEPHERD, Hana. The sociology of discrimination: racial discrimination in employment, housing, credit, and consumer markets. Annual Review Of Sociology, [s.l.], v. 34, n. 1, p. 181-209, ago. 2008. Annual Reviews. Disponível em: http://dx.doi.org/10.1146/annurev.soc.33.040406.131740.

PEIXOTO, Fabiano Hartmann; SILVA, Roberta Zumblick Martins da. Inteligência artificial e Direito. Curitiba: Alteridade, 2019.

PIOVESAN, Flávia. Ações afirmativas no Brasil: desafios e perspectivas. Revista Estudos Feministas, Florianópolis, 16(3): 424, set./dez. 2008.

RAWLS, John. Uma teoria da Justiça. Trad. Almiro Pisetta e Lenita M. R. Esteves. São Paulo: Martins Fontes, 2008.

ROSEN, Lawrence. Law as culture: an invitation. New Jersey: Princeton University Press, 2006.

SCHULZ, W.; DANKERT, K. Die Macht der Informationsintermediäre – Erscheinungsformen, Strukturen, Regulierungsoptionen. Bonn: Friedrich-Ebert-Stiftung, 2016.

SCOTT, Joan W. O enigma da igualdade. Revista Estudos Feministas, [s.l.], v. 13, n. 1, p. 11-30, abr. 2005. FapUNIFESP (SciELO). Disponível em: http://dx.doi.org/10.1590/s0104-026x2005000100002.

TISCHBIREK, Alexander. Artificial intelligence and discrimination: discriminating against discriminatory systems. In: Regulating Artificial Intelligence, ed. Thomas Wischmeyer e Timo Rademacher, 2019.

TURING, Alan. Computing machinery and intelligence. Mind, New Series, v. 59, n. 236, p. 433-460, out. 1950.

TUTT, Andrew. An FDA for algorithms. Administrative Law Review, 83 (2017). Disponível em: https://ssrn.com/abstract=2747994. Acesso em: 7 nov. 2020.

VESTING, Thomas. The autonomy of law and the formation of network standards. German Law Journal, Vol. 05, No. 06, p. 639-668, 2004.

______. Die Medien des Rechts: Computernetzwerke. Weilerswist: Velbrück Wissenschaft, 2015.

WEST, S. M.; WHITTAKER, M.; CRAWFORD, K. Discriminating Systems: Gender, Race and Power in AI. AI Now Institute, 2019. Disponível em: https://ainowinstitute.org/discriminatingsystems.html. Acesso em: 1º nov. 2020.

Published

2022-01-27

How to Cite

Duarte, A., & Negócio, R. de V. (2022). TODOS SÃO IGUAIS PERANTE O ALGORITMO? UMA RESPOSTA CULTURAL DO DIREITO À DISCRIMINAÇÃO ALGORÍTMICA. Direito Público, 18(100). https://doi.org/10.11117/rdp.v18i100.5869