DISCRIMINAÇÃO ALGORÍTMICA: CONCEITO, FUNDAMENTO LEGAL E TIPOLOGIA

Autores

Palavras-chave:

discriminação algorítmica, decisões automatizadas, profiling, proteção de dados, Big Data, governança algorítmica.

Resumo

O artigo visa analisar o debate teórico sobre discriminação algorítmica, com a finalidade de esclarecer o potencial discriminatório de práticas baseadas em profiling e decisões automatizadas. Para tanto, discutir-se-á, primeiramente, os conceitos de algoritmo e discriminação algorítmica, buscando esclarecer porque tais conceitos são relevantes na economia movida a dados. Em seguida, o texto apresenta de que forma o Big Data, em conjunto com os algoritmos, alterou processos decisórios cotidianos para discutir de que forma tal cenário pode apresentar desafios, especialmente no que diz respeito ao risco de condutas discriminatórias. A última seção visa expor soluções para lidar com o tema da discriminação algorítmica, apresentando a literatura de governança algorítmica, bem como os principais debates entre especialistas no assunto, enfatizando as discussões sobre os limites da transparência enquanto alternativa apta a resolver as questões colocadas.

Downloads

Não há dados estatísticos.

Biografia do Autor

Laura Schertel Mendes, É Professora adjunta de Direito Civil da Universidade de Brasília (UnB) e da pós-graduação em Direito Constitucional do Instituto Brasiliense de Direito Público (IDP).

É doutora summa cum laude em direito privado pela Universidade Humboldt de Berlim e mestre em Direito, Estado e Constituição pela UnB. Integra o conselho diretor da Associação Luso-Alemã de Juristas (DLJV-Berlim) e do Instituto Brasileiro de Política e Direito do Consumidor (Brasilcon). É autora dos livros Privacidade, Proteção de Dados e Defesa do Consumidor (Saraiva, 2014) e Schutz gegen Informationsrisiken und Gewährleistung einer gehaltvollen Zustimmung: Eine Analyse der Rechtmäßigkeit der Datenverarbeitung im Privatrecht (A proteção de dados pessoais no setor privado: riscos do tratamento de dados e a garantia de um consentimento substancial), De Gruyter, 2015.

Marcela Mattiuzzo, Universidade de São Paulo

Mestra em Direito Constitucional na Universidade de São Paulo, foi membro do grupo Constituição, Política e Instituições na mesma universidade e é hoje sócia de VMCA Advogados. Foi pesquisadora visitante na Yale Law School (2016-2017), Chefe de Gabinete e Assessora da Presidência do Conselho Administrativo de Defesa Econômica (2015-2016).

Referências

AFONSO DA SILVA, V. A Constitucionalização do Direito: Direitos Fundamentais e

Relações entre Particulares, São Paulo, Malheiros, 2005.

ARROW, K. The theory of discrimination. In: ASHENFELTER, O; REES, A.

(ed.). Discrimination in Labor Markets. Princeton: Princeton University Press, 1973.

BAROCAS, S., SELBST, A. Big Data’s Disparate Impact, California Law Review, vol.

, pp. 671-732, 2016.

BENJAMIN, A. Herman et al. Código brasileiro de Defesa do Consumidor comentado

pelos autores do anteprojeto. Rio de Janeiro: Forense Universitária, 2005.

Beware Spurious Correlations. Harvard Business Review, June 2015. Disponível em:

https://hbr.org/2015/06/beware-spurious-correlations. Acesso em: 17 Abril 2010.

BOYD, D.; CRAWFORD, K. Six Provocations for Big Data. In: A DECADE IN INTERNET

TIME: SYMPOSIUM ON THE DYNAMICS OF THE INTERNET AND SOCIETY, 2011,

p. Disponível em: https://ssrn.com/abstract=1926431. Acesso em: 17 Abril, 2018.

BUCHNER, B. Informationelle Selbstbestimmung im Privatrecht. Tübingen: Mohr

Siebeck, 2006.

BRITZ, G. Freie Entfaltung durch Selbstdarstellung. Tübingen: Mohr Siebeck, 2007.

BURKELL et al. Facebook: public space, or private space? Information, Communication &

Society, vol. 17, pp. 974-985, 2014.

BUTLER, D. When Google got flu wrong. Nature, 13 February 2013. Disponível em:

https://www.nature.com/news/when-google-got-flu-wrong-1.12413. Acesso em: 27 Abril,

CORMEN, T. H. Algorithms Unlocked. MIT Press, p. 1, 2013.

DANIELI, O., HILLIS, A.; LUCA, M. How to Hire with Algorithms, Harvard Business

Review, 17 October 2016. Disponível em: https://hbr.org/2016/10/how-to-hire-with-

algorithms. Acesso em 25 Abril, 2018.

DIAKOPOULOS, N.; FRIEDLER, S., How to Hold Algorithms Accountable, 17 November

Disponível em: https://www.technologyreview.com/s/602933/how-to-hold-algorithms-

accountable. Acesso em: 17 Abril 2018.

DOMINGOS, P. The Master Algorithm: How the Quest for the Ultimate Learning

Machine Will Remake our World. New York: Basic Books, 2015.

DONEDA, D. Da Privacidade à proteção de dados pessoais. Rio de Janeiro: Renovar,

DONEDA, D.; MENDES, L.. Data Protection in Brazil: New Developments and Current

Challenges. In: Gurwirth, S; Leenes, R; De Hert, P. (eds). Reloading Data Protection:

Multidisciplinary Insights and Contemporary Challenges. Springer, 2014.

DOSHI-VELEZ, F. et al. Accountability of AI Under the Law: The Role of Explanation.

Harvard Public Law, n. 18-07, 15p, 2017.

EDWARDS, L.; VEALE, M. Slave to the Algorithm? Why a 'Right to an Explanation' Is

Probably Not the Remedy You Are Looking For. Duke Law and Technology Review, vol.

, no. 1, pp. 18-84, 2017.

FEDERAL TRADE COMISSION, Report to Congress Under Section 319 of the Fair and

Accurate Credit Transactions Act of 2003, December 2012. Disponível em:

https://www.ftc.gov/sites/default/files/documents/reports/section-319-fair-and-accurate-

credit-transactions-act-2003-fifth-interim-federal-trade-commission/130211factareport.pdf.

Acesso em: 14 maio, 2018.

FINLEY, S., I didn’t even meet my potential employers. BBC News, 6 February 2018.

Disponível em: http://www.bbc.com/news/business-42905515. Acesso em: 27 abril, 2018.

GEE, K. In Unilever’s Radical Hiring Experiment, Resumes are out, Algorithms are in’. The

Wall Street Journal, 26 June 2017. Disponível em: https://www.wsj.com/articles/in-

unilevers-radical-hiring-experiment-resumes-are-out-algorithms-are-in-1498478400. Acesso

em: 25 abril, 2018.

GINSBERG, J. et al. Detecting Influenza epidemics using search engine query data. Nature,

vol 457, pp. 1012-1014, 2009.

GOODMAN, Bryce W. Economic Models of (Algorithmic) Discrimination. In: 29th

Conference on Neural Information Processing Systems, Barcelona, Spain. p. 3, 2016.

HURLEY, M.; ADEBAYO, J., Credit Scoring in the Era Of Big Data. Yale Journal of Law

and Technology, vol. 18, no. 1, pp. 148-216, 2016.

KROLL, J., et al. Accountable algorithms. University of Pennsylvania Law Review, vol.

, pp. 633-705, 2017.

LAZER, D. et al. The Parable of Google Flu: Traps in Big Data Analysis. Science, vol. 343,

pp. 1203-05, 2014.

LESSIG, L. Against Transparency. The New Republic, 9 October 2009. Disponível em:

https://newrepublic.com/article/70097/against-transparency. Acesso em: 27 abril, 2018.

MARQUES, C. L. Contratos no Código de Defesa do Consumidor. O Novo Regime das

Relações Contratuais. São Paulo: Revista dos Tribunais, 2011.

MAYER-SCHÖNBERGER, V.; CUKIER, K. Big Data: A Revolution That Will

Transform How We Live, Work, and Think. New York: First Mariner Books, 2014.

MENDES, L. Privacidade, proteção de dados e defesa do consumidor. Linhas gerais de

um novo direito fundamental. São Paulo: Saraiva, 2014.

MENDES, L. Schutz vor Informationsrisiken und Gewährleistung einer gehaltvollen

Zustimmung. Eine Analyse der Rechtmäßigkeit der Datenverarbeitung im Privatrecht.

Berlin: De Gruyter, 2015.

MORO, A. Statistical Discrimination. In: Durlauf, N. S.; Lawrence, E (eds), The New

Palgrave Dictionary of Economics. Palgrave Macmillan, 2009.

O’NEIL, C. Personality Tests Are Failing American Workers. Bloomberg View, 18 January

Disponível em: https://www.bloomberg.com/view/articles/2018-01-18/personality-

tests-are-failing-american-workers. Acesso em: 27 abril 2018.

PAPACHARISSI, Z. A private sphere: democracy in a digital age. Cambridge: Polity

Press, 2010.

PASQUALE, F.; CITRON, D. The Scored Society: Due Process for Automated

Predictions. Washington Law Review, vol. 89, pp. 1-33, 2014.

PASQUALE, F. The Emperor’s New Codes: Reputation and Search Algorithms in the

Finance Sector. In: NYU “Governing Algorithms” Conference, 2013.

PHELPS, E. The Statistical theory of Racism and Sexism. American Economic Review, vol.

, pp. 659-61, 1972.

PINHO MELLO, J. M.; MENDES, M. and KANCZUK, F. Cadastro Positivo e

democratização do crédito. Folha de São Paulo, Março 2018. Disponível em:

https://www1.folha.uol.com.br/opiniao/2018/03/joao-manoel-pinho-de-mello-marcos-

mendes-e-fabio-kanczuk-cadastro-positivo-e-democratizacao-do-credito.shtml.. Acesso em:

abril, 2018.

SANDVIG, C. et al. An Algorithm Audit. In Gangadharan, S. P. (ed.). Data and

Discrimination: Collected Essays. Open Technology Institute, 2014.

SCHAUER, F. Profiles, Probabilities, and Stereotypes. Cambridge: Harvard University

Press, 2006.

SILVER, N. The Signal and the Noise. The Art and Science of Prediction, London: 2012.

State v. Loomis. 881 N.W.2d 749 (Wis. 2016). Disponível

em: https://harvardlawreview.org/2017/03/state-v-loomis/. Acesso em: 28 janeiro, 2019.

TEPEDINO, G. As Relações de Consumo e a Nova Teoria Contratual. In G.

Tepedino. Temas de Direito Civil. Rio de Janeiro, Renovar, 1999, pp. 199-216.

ZARSKY, T., Transparent Predictions. University of Law Review, vol. 2013, no. 4, pp.

-1570, 2013.

Downloads

Publicado

2019-12-03

Como Citar

Schertel Mendes, L., & Mattiuzzo, M. (2019). DISCRIMINAÇÃO ALGORÍTMICA: CONCEITO, FUNDAMENTO LEGAL E TIPOLOGIA. Direito Público, 16(90). Recuperado de https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/3766

Edição

v. 16 n. 90 (2019): Proteção de Dados e Inteligência Artificial: Perspectivas Éticas e Regulatórias - Volume I

Seção

Dossiê Temático - Proteção de Dados e Inteligência Artificial: perspectivas éticas e regulatórias

Licença

O(s)/A(s) autores(as) dos manuscritos submetidos concorda(m) com as regras a seguir:

1) Todos os autores e autoras participaram do trabalho, são responsáveis pelas ideias e conceitos nele emitidos e atestam sua conformidade com os princípios éticos exigidos.

2) Todos os autores e autoras concordam com a forma final do trabalho e em ceder os direitos para publicação nos canais de publicação da Escola de Direito do IDP.

3) Todos os autores e autoras informam que o manuscrito é de sua autoria e assumem a responsabilidade pelo trabalho, declarando que a obra a ser publicada não infringe quaisquer direitos de propriedade intelectual de terceiros.

3.1) Em caso de submissão simultânea, além da reprovação imediata do artigo e comunicação ao(s) respectivo(s) periódico(s), a Revista Direito Público se reserva o direito de não receber novas submissões de todos os autores implicados pelo prazo de 2 (dois) anos, contado a partir da data de ciência do fato.

4) Todos os autores e autoras autoriza(m) a edição de seu trabalho e cede(m) à Escola de Direito do IDP os direitos de autor para reproduzir, editar e publicar ou veicular o citado trabalho em qualquer forma midiática, resguardada a autoria, em particular sob forma digital, em arquivo eletrônico online na Internet, bem como armazená-los em seu repositório de acordo com o desenvolvimento do processo editorial. Esta concessão não terá caráter oneroso para a Escola de Direito do IDP, não havendo remuneração sob qualquer modalidade pela utilização do referido material, tendo este o caráter de colaboração científica.