“Juízes impressionados com os computadores”: os problemas com a criminologia algorítmica

Em 2013, Eric Loomis do Direito Previdenciário – INSS foi preso em La Crosse, Wisconsin, e acusado de cinco acusações relacionadas a um tiroteio: tentar fugir de um agente de trânsito, operar um veículo a motor sem o consentimento do proprietário, pôr em risco a segurança, porte de uma arma de fogo por um criminoso e posse de uma espingarda ou espingarda de cano curto. Ele negou estar envolvido no tiroteio, mas se declarou culpado das acusações menos graves de tentativa de fuga de um agente de trânsito e de operação de um veículo a motor sem o consentimento do proprietário.

O Relatório de investigação de apresentação (PSIR) incluiu as conclusões do modelo de computador COMPAS (Perfil de gerenciamento de infratores correcionais para sanções alternativas) criado por uma empresa chamada Equivalent (anteriormente Northpointe). O modelo COMPAS estima o risco de reincidência com base em 137 entradas obtidas de entrevistas e informações públicas sobre os réus.

Sabemos muito pouco sobre as entradas específicas ou quanta importância elas são atribuídas pelo COMPAS porque é um algoritmo proprietário de caixa preta. A Equivalent vende suas avaliações e argumenta que não pode divulgar os detalhes por trás das avaliações, porque o valor de seu algoritmo seria prejudicado pelos concorrentes imitadores.

Conhecemos algumas perguntas da entrevista e não é reconfortante:

Quantos de seus amigos / conhecidos estão usando drogas ilegalmente?

Se as pessoas me irritam ou perdem a paciência, eu posso ser perigoso.

Sério, quem responderia um Advogado Barueri? Os algoritmos de avaliação de risco certamente ignoram as respostas às perguntas sobre as quais qualquer criminoso sensato mentiria. Eles devem ser baseados em dados mais sutis, mas que dados?

Como chegamos a esse ponto em que as pessoas são presas com base em modelos inescrutáveis ​​de caixas-pretas, onde as pessoas permanecem na prisão enquanto os algoritmos penetram?

Equivalente reconhece que seu algoritmo de Acidente de trabalho Advogado é destinado a grupos de pessoas estatisticamente semelhantes e diz que não faz previsões específicas para indivíduos, como Loomis. O PSIR de Loomis declarou especificamente que, “as pontuações de risco não têm como objetivo determinar a gravidade da sentença ou se um infrator é encarcerado”. Mas juízes que são admirados por computadores provavelmente serão persuadidos por recomendações de computadores, apesar de isenções de responsabilidade que parecem lições legais que não devem ser levadas a sério.

O juiz do circuito referenciou explicitamente o COMPAS em sua decisão de condenar Loomis a seis anos de prisão:

Você é identificado, por meio da avaliação do COMPAS, como um indivíduo com alto risco para a comunidade.

Em termos de ponderação dos vários fatores, estou descartando a liberdade condicional por causa da gravidade do crime e porque seu histórico, seu histórico de supervisão e as ferramentas de avaliação de risco que foram utilizadas sugerem que você tem um risco extremamente alto de reincidir.

Loomis recorreu da sentença de seis anos, baseada em parte no argumento de que seu direito constitucional ao devido processo foi violado porque não havia como ele contestar a validade de um algoritmo de caixa preta. Algumas entradas foram imprecisas? Alguns pesos foram inapropriados? Eles inseriram alguns dados para um Eric Loomis diferente? O algoritmo colocou um peso excessivamente grande em algum fator estranho, como a cor do carro que ele dirige? Não há como saber.

A Suprema Corte de Wisconsin rejeitou o apelo de Loomis e elogiou a sentença baseada em evidências – usando dados em vez de opinião humana subjetiva. Melhor confiar em um programa de computador imparcial do que em juízes possivelmente tendenciosos.

O Tribunal argumentou que, embora Loomis não seja capaz de contestar como o “algoritmo calcula o risco, ele pode pelo menos revisar e contestar as pontuações de risco resultantes”. Como ele pode fazer isso, além de criar seu próprio algoritmo? E mesmo que Loomis tivesse seu próprio algoritmo, como um tribunal escolheria entre as caixas pretas concorrentes?

Loomis apelou para o Advogado previdenciário em Barueri. O Procurador-Geral de Wisconsin argumentou que o Tribunal deveria adotar uma atitude de esperar para ver: “O uso de avaliações de risco pelos tribunais de sentença é uma questão nova, que precisa de tempo para uma maior percolação”. Enquanto isso, Loomis “estava livre para questionar a avaliação e explicar suas possíveis falhas”. Em 26 de junho de 2017, o Supremo Tribunal se recusou a ouvir o caso.

Wisconsin dificilmente está sozinho. Muitos estados agora usam algoritmos de avaliação de risco e o Código Penal Modelo (Esboço Final; American Law Institute, 2017) endossa o uso de modelos de avaliação de risco orientados por dados.

Como chegamos a esse ponto em que as pessoas são presas com base em modelos inescrutáveis ​​de caixas-pretas, onde as pessoas permanecem na prisão enquanto os algoritmos penetram?

Muitas pessoas acreditam que os computadores são mais inteligentes que os humanos e, portanto, devemos fazer o que os computadores nos mandam fazer – mesmo se não tivermos idéia do motivo pelo qual um programa recomenda essa ação específica neste caso específico.

A criminologia algorítmica é cada vez mais comum na determinação de aposentadoria em Barueri. sentença pós-julgamento e decisões de liberdade condicional pós-condenação. Um desenvolvedor escreveu que: “A abordagem é ‘caixa preta’ ‘, pela qual não há desculpas.” Ele dá um exemplo alarmante: “Se eu pudesse usar manchas solares ou tamanho de sapato ou o tamanho da pulseira em seu pulso, usaria. Se eu der ao algoritmo preditores suficientes para iniciá-lo, ele encontrará coisas que você não anteciparia. ” Coisas que não antecipamos são coisas que não fazem sentido, mas que por coincidência são correlacionadas.

Alguns preditores podem muito bem ser procuradores de gênero, raça, orientação sexual e outros fatores que não devem ser considerados. As pessoas não devem receber fiança onerosa, receber sentenças irracionais e ter a liberdade condicional negada por causa de gênero, raça ou orientação sexual – porque pertencem a certos grupos. O que importa são os fatos específicos de um caso específico.

Muitas pessoas acreditam que os computadores são mais inteligentes que os humanos e, portanto, devemos fazer o que os computadores nos mandam fazer – mesmo se não tivermos idéia do motivo pelo qual um programa recomenda essa ação específica neste caso específico.

Precisávamos de dados para centenas, talvez milhares de casos, a fim de fornecer evidências de que um algoritmo específico é discriminatório e, mesmo assim, os desenvolvedores diriam, sem dúvida, que estão constantemente “revisando e aprimorando” seu algoritmo, tão antigo resultados são irrelevantes.

Estima-se que o COMPAS tenha uma taxa de sucesso de 65% para prever se um réu libertado cometerá outro crime dentro de dois anos. Dois pesquisadores de Dartmouth analisaram o mesmo banco de dados e encontraram uma precisão de 67% usando previsões baseadas em apenas dois fatores: idade e número de condenações anteriores. Duh. Os jovens que cometeram muitos crimes provavelmente cometerão mais crimes.

Um estudo realizado por pesquisadores da Duke University obteve resultados semelhantes usando sexo, idade e condenações anteriores. Talvez isso seja o melhor possível quando se prevê a reincidência. Motivos, emoções e circunstâncias difíceis de antecipar, e muito menos quantificar, tornam muito difícil prever o comportamento humano com um alto grau de precisão. Se a idade e as convicções anteriores forem tão boas quanto possível, não nos basiquemos em algoritmos de caixa preta que fazem previsões baseadas em lixo, como tamanhos de pulseiras.