Las máquinas no solo conocen nuestros gustos y preferencias, sino también nuestras personalidades y conductas, moldean nuestra conducta.

Las nuevas tecnologías y la inteligencia artificial hoy forman parte de nuestra vida. El desarrollo de sistemas de pensamiento autónomo, su incidencia en las decisiones de los magistrados y la afectación de garantías constitucionales y derechos fundamentales nos llevan a preguntarnos si las decisiones automatizadas en el ámbito de la Justicia nos permitirían pensar en la existencia de un juez robot o si ello implicaría una deshumanización de la Justicia.

The new technologies and artificial intelligence have become part of our lives. The development of independent thought system and its incidence in the magister’s decisions, the affection of constitutional guarantees and the fundamental rights force us to ask if the automatic decisions, in terms of justice, allow us to think in the existence of a robot judge or if it implies a dehumanization of justice.

El avance tecnológico y la nueva forma de interacción social y de trabajo a la que debimos adaptarnos en los últimos tiempos, principalmente desde la pandemia de covid-19, implicó una intensificación del uso de las tecnologías de la información y la comunicación en la vida cotidiana. Asimismo, la aparición de la inteligencia artificial (IA) marcó el inicio de lo que se ha llamado la Cuarta Revolución Industrial, la cual implicó la posibilidad de desarrollar sistemas de pensamiento autónomos, donde la capacidad de evaluar contextos en base a información y toma de decisiones que los modifiquen típicas del hombre es casi tan ilimitada como los datos que pueden obtener, almacenar y clasificar los dispositivos artificiales.

En este trabajo se intentará abordar, a grandes rasgos, la normativa internacional y las normas éticas que deben seguirse a la hora de utilizar sistemas de inteligencia artificial en cualquier disciplina aplicada, los distintos sistemas de aplicación de IA^[3] en el proceso judicial y, particularmente, su incidencia en las decisiones de los magistrados y la afectación de garantías constitucionales y derechos fundamentales del justiciable.

Luego se focalizará en el problema de los sesgos algorítmicos y los de género que diariamente se advierten en los sistemas que aplican IA en el ámbito de la Justicia, todo lo cual nos llevará a plantearnos los siguientes interrogantes: ¿hasta qué punto el entrenamiento cada vez más sofisticado de algoritmos puede llegar a reemplazar al juez técnico a la hora de tomar decisiones e impartir justicia?, ¿será posible la existencia de un juez robot, o, por el contrario, tenderíamos a una deshumanización de la Justicia?

Nociones fundamentales de la inteligencia artificial. Entrenamiento de algoritmos y protección de datos personales

No hay un consenso absoluto de la definición de IA, y ello puede deberse a que esta tecnología está en continuo desarrollo. Quizás podríamos definirla como una disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana. Su objetivo es lograr que una máquina se comporte de manera similar a la actividad humana inteligente (Riquert, 2022), realizando predicciones en base a gran cantidad de datos, a través de los cuales se puede lograr la automatización de procesos y, a partir de ello, facilitar la toma de decisiones.

Los sistemas de IA utilizados por las empresas y los organismos públicos utilizan algoritmos^[4] inteligentes que son entrenados a través de un dataset –incorporación de datos^[5] para su entrenamiento–. Incluso muchas veces requieren la utilización de big data –macrodatos– para el desarrollo de sistemas de IA a gran escala, permitiendo al algoritmo analizar gran cantidad de datos en forma simultánea, identificar patrones y formular predicciones en automáticamente, con rapidez y precisión. El algoritmo toma códigos de programación y computadoras que se encargan de llevar adelante las instrucciones para que las personas puedan luego tomar decisiones. Mientras mayor sea la cantidad de datos, mejor será la ejecución del logaritmo y la eficiencia del programa.

Por un lado tenemos a Herodes, llamada inteligencia artificial débil o restringida. Se trata de aquella IA que realiza tareas que solo podrían conseguirse por medio de la reflexión del ser humano. No obstante, se ha probado que la IA lo realiza de una manera más eficaz y rápida que cualquier persona. Su sistema se basa en la imitación de conductas de las personas, aunque no posee estados cognitivos –no puede comprender o generar un razonamiento por fuera de lo que fue programado–.

Dentro de este tipo, a la vez, hay otras dos formas: por un lado están las IA de aprendizaje profundo o deep learning, que funcionan con grandes volúmenes de datos y por medio del entrenamiento de redes neuronales. Este tipo tiende a la imitación del conocimiento realizado por los seres humanos, va aprendiendo durante el proceso.^[6] Además, no se sabe de qué manera se ejecuta el proceso para seleccionar datos y valores de dicha información, por lo que la IA es una caja negra que ningún humano podría interpretar. Por otro lado existen las IA de aprendizaje automático o de caja blanca, utilizadas para la realización de predicciones o automatización de datos. Este tipo presenta una ventaja: sus resultados son interpretables y explicables, permite analizar una trazabilidad sobre cuál es el proceso de funcionamiento, qué técnicas de selección de datos utilizan y cómo se obtuvo el resultado.

Por otro lado está la IA fuerte o general, que busca igualar la inteligencia humana. Aquí podíamos encontrar a los androides –robots con forma humana– que tanto hemos visto en el mundo cinematográfico. Este tipo de IA podría llegar a producir pensamientos, razonamiento y comprensión por sí mismo. Este es el futuro. Aquí no podríamos diferenciar entre la mente humana y este nuevo tipo de inteligencia artificial.

En la actualidad convivimos con la IA. Dada la permanente utilización de internet en las actividades cotidianas, por medio de aplicaciones de mensajería y otras plataformas que contratamos para adquirir diferentes servicios –asistentes de voz de los teléfonos, Facebook, Instagram, YouTube, atención al cliente a través de chatbots, mapas e indicadores–, todos somos grandes creadores de datos a través de la interacción de dispositivos, lo que se intensificó con la llegada de la pandemia y las nuevas formas de trabajo e interacción social. Dichos datos, que voluntariamente compartimos y cedemos a las empresas proveedoras de los servicios al aceptar sus términos y condiciones, son recolectados, analizados y utilizados para desarrollar sistemas de IA, por lo que es importante estudiar la normativa de protección de datos personales.

A nivel nacional tenemos la Ley de Protección de datos personales N° 25.326, y a nivel internacional, el Reglamento general de protección de datos personales de la Unión Europea (RGPD), la normativa más rigurosa y protectora de datos de personas físicas concretas a nivel mundial.^[7]

Por otro lado, se encuentra el Convenio Nº 108 del Consejo de Europa para la protección de las personas con respecto al tratamiento automatizado de datos de carácter personal y protocolo adicional al convenio para la protección de las personas con respecto al tratamiento automatizado de datos de carácter personal, a las autoridades de control y a los flujos trasfronterizos de datos; los Criterios orientadores e indicadores de mejores prácticas en la aplicación de la Ley Nº 25.326; la Carta de derechos digitales y las recomendaciones sobre la aplicación de normas éticas respecto del uso de IA de la Unión Europea; y la Recomendación sobre ética de la Inteligencia Artificial de la UNESCO^[8].

La ONU, la Unión Europea y la UNESCO están impulsando la discusión sobre la regulación de la IA, buscando unificar la legislación existente en los países miembros y hacerla obligatoria para cualquier empresa que utilice datos de ciudadanos residentes de la Unión Europea (Corvalán & Ciraudo, 2018), y a nivel regional la UNESCO prevé la Carta Ética sobre el Uso de Inteligencia Artificial.

Inteligencia artificial y Justicia. Sistemas de predicciones y asistencia de magistrados. Impacto en garantías constitucionales y derechos fundamentales

La IA contribuye al avance de los modelos de gestión no solo judicial, sino gubernamental, infaltables en las agendas internacionales, fundamentalmente porque garantizan la transparencia de los datos en línea, la rendición de cuentas públicas, siempre respetando las garantías constitucionales y los derechos fundamentales (Cabrera, 2018).

Además, como sostiene Sarra (2001), la IA le ofrece al derecho la posibilidad de ampliar su universo de soluciones posibles para que, en última instancia, la decisión siga siendo humana.

Jordi Nieva Fenoll sugiere crear un sistema de inteligencia artificial que ayude al juez en el difícil proceso de la valoración de la prueba. Que, en base al acervo probatorio recolectado en un determinado proceso, el sistema realice una predicción en torno a si la hipótesis del magistrado concuerda con aquel, o bien indique una nueva (en Danesi & Mitelli, 2020).

Felicitas Escobar, en su ponencia presentada en el concurso Semilleros de Derecho Procesal, del Congreso colombiano, precisó que llevar un control tan exacto de toda la producción de la prueba ayudaría mucho al momento de la valoración. De esta manera, “el juez tendría a su alcance toda la información que necesita para tomar una decisión lo más completa posible, para defenderla y argumentarla, evitando así solicitar medidas de prueba complementarias que terminarían alargando el proceso” (en Danesi & Mitelli, 2020, p. 6). La autora concluye que la aplicación de la inteligencia artificial ayudaría a conformar ese umbral de certeza objetiva –que tanto se exige a la hora de valorar la prueba–, basada en los datos empíricos recopilados a lo largo del proceso, sirviendo de herramienta para el juez a la hora de plantear una hipótesis. Por ejemplo, los distintos medios de prueba, como la prueba testimonial, que tanto “da que hablar” respecto de su valoración. Un uso verdaderamente útil de los sistemas de inteligencia artificial sería el análisis de las declaraciones de los testigos entre sí y las posturas asumidas por las partes en los escritos constitutivos. Con ello, podría advertir al juez acerca de declaraciones contradictorias y proponer la realización de careos.

Una función aún más atractiva en este ámbito, y tal vez más pretenciosa, es el análisis de los patrones de voz y el lenguaje utilizado por los testigos, y, con ello, que el sistema prediga un índice de “credibilidad” de la declaración. Muchas veces escuchamos declaraciones en las que los deponentes utilizan un vocabulario sumamente técnico (propio de un letrado) o con determinadas actitudes que llaman la atención de los magistrados a la hora de hacer sus sentencias (Danesi & Mitelli, 2020).

Actualmente se utilizan distintos sistemas de IA en el mundo. A continuación mencionaremos algunos.

El Ministerio Público Fiscal de la Ciudad Autónoma de Buenos Aires y el Laboratorio de Innovación e Inteligencia Artificial de la Universidad de Buenos Aires implementaron el primer sistema de IA en la Justicia, PROMETEA,^[9] que realiza predicciones en los casos de asignación de viviendas y expedición de licencias. La IA complementa la visión jurídica y permite tomar mejores decisiones.^[10]

En sus comienzos, PROMETEA se utilizó en el ámbito del Ministerio Público Fiscal de la Ciudad Autónoma de Buenos Aires y, a través de un chat (por voz y escrito) interactuaba con el operador jurídico y, luego de la lectura de miles de casos, predecía un dictamen para el caso concreto.

Con el paso del tiempo fue ampliando sus fronteras. En la Corte Interamericana de Derechos Humanos genera más de 100 notificaciones en menos de 2 minutos las cuales están dirigidas a embajadores y funcionarios y redactadas en los cuatro idiomas oficiales. También automatiza el proceso de creación de resoluciones reduciendo considerablemente el tiempo de ejecución a 4 minutos. Asimismo, posee una herramienta de búsqueda avanzada que permite realizar una investigación completa en menos de 2 minutos. (Danesi & Mitelli, 2020, p. 8)

Asimismo, en las páginas oficiales del Ministerio Público de CABA y en varias provincias se utilizan los bots encubiertos, algoritmos que se hacen pasar por un humano y charlan con pedófilos, y no se puede controlar cómo va a responder la IA en una conversación.

El sistema COMPAS, utilizado por la Justicia de Estados Unidos, sirve para determinar si una persona debe ser condenada a prisión, si debe otorgársele la libertad condicional, el tiempo de condena e incluso la excarcelación, en base a su puntuación de riesgo de reincidencia. Traza una perfilación de potencialidad criminal conforme ciertos datos que le son aportados, cuyo resultado es tenido en cuenta por el juez al momento de tomar una decisión. Se entrena con datos históricos de los acusados para encontrar correlaciones entre factores como la edad y sus antecedentes en el sistema de justicia penal, y si esa persona ha sido detenida anteriormente o no. Sin embargo, la realidad muestra que los jueces juzgan con sesgos discriminatorios, por lo cual la resolución también los tendrá.

Por otro lado, el sistema de reconocimiento facial utilizado en CABA permite identificar datos biométricos^[11] y vincularlos con una base de datos de personas con pedido de captura. Este sistema muchas veces funciona erróneamente al tratar de reconocer rostros de mujeres o personas de color, ya que estos datos no formaron parte de los entrenamientos.

Desde abril de 2019, Argentina ha implementado un sistema de vigilancia electrónica a través del reconocimiento facial asistido por inteligencia artificial que no es una plataforma de convergencia de información tan completa y omnipresente como la utilizada por China con Sense Time, ya que no posee la convergencia aún de otros datos biométricos (reconocimiento de voz, huellas dactilares, iris ocular) o incluso mayor información biométrica proveniente de historias clínicas electrónicas. Forma parte del Sistema Público Integral de Videovigilancia y permite identificar los rostros de los acusados y condenados rebeldes o prófugos en menos de medio segundo, gracias a cámaras instaladas por el Gobierno porteño en las calles y estaciones de subterráneo y la base de datos de imágenes del CoNaRC (Consulta Nacional de Rebeldías y Captura del Registro Nacional de Reincidencia).^[12]

La Corte Suprema de Justicia de la Nación utiliza sistemas de IA en los “certiorari” o invocaciones del artículo 280 del Código Procesal Civil y Comercial de la Nación. Mediante la selección de patrones como criterios de admisión, estos facilitan el trabajo de preselección de casos que luego los jueces firman mecánicamente.

En Colombia, la Corte Constitucional utiliza el sistema PRETORIA, que, por medio de una técnica de etiquetado, evalúa y detecta cuáles son los expedientes prioritarios y hace un resumen de ellos. Se trata de una lógica de caja blanca (trazable y explicable), que tiene una precisión del 90 %.

En Estados Unidos se utiliza el algoritmo PredPol, un sistema de vigilancia preventiva del delito. Se trata de un software realizado por empresas privadas que indica en qué zona geográfica existe una mayor probabilidad de que se cometan delitos. Este sistema presenta un problema: la revictimización, victimización casi repetida y búsqueda local. Aquí el dato se toma, se confirma y se retroalimenta por la IA, por lo que no se puede afirmar realmente cómo funciona y cómo se realiza la selección de datos de entrenamiento. Implica una predicción de la criminalidad de alto riesgo, que supone la afectación de derechos humanos de sectores sociales de mayor vulnerabilidad.

Como afirma Danesi (2020), la IA incorporará un cambio de paradigma en nuestras vidas.

Además de sus –discutidas– capacidades de autonomía y autoaprendizaje, la IA tiene una característica que la hace única: es omnipresente. Está en todos los estratos sociales, penetra en la sociedad de forma transversal y, en muchos casos, también de forma silenciosa. Estas cuestiones hacen que la interrelación con la IA sea “sin pedirnos permiso” y en consecuencia, afecta en forma relevante nuestros derechos. (p. 13)

Al respecto, Eugenio Zaffaroni (en Riquert, 2022) considera que la tecnología de previsión de conductas futuras que ofrece o promete la IA no es más que el perfeccionamiento de la vieja y conocida peligrosidad, y que la utilización de IA tiene como finalidad la reorientación del conocimiento hacia el poder, pues nos encontramos yendo hacia un capitalismo de vigilancia y mercado de futuros conductuales –las máquinas ya no solo conocen nuestros gustos y preferencias, sino también nuestras personalidades y emociones, lo que implica que moldean nuestra conducta–.

De esta manera, en el ámbito del derecho penal, por ejemplo, la tecnología de vigilancia servirá para acentuar la selectividad victimizante del poder punitivo, conforme a la regla de que a mayor riqueza menor riesgo de victimización.

Sesgos algorítmicos discriminatorios, sesgos de género, dimensión moral de la tecnología y arbitrariedad en las decisiones judiciales

En cuanto a las decisiones de los magistrados, es primordial analizar la relación que existe entre las emociones y el pensamiento racional que tiene la persona a cargo del dictado de una resolución o sentencia.

Cada vez más, la IA es parte de nuestras vidas, a menudo de manera imperceptible. Detrás de avances que incluyen desde diagnósticos médicos hasta vigilancia masiva están los algoritmos, cuyos sesgos amenazan con perturbar e incluso profundizar las desigualdades del presente (Ferrante, 2021). El Poder Judicial, como organismo jurisdiccional, no resulta ajeno al cambio que esta revolución tecnológica traerá para la vida cotidiana, para los operadores judiciales y para la institución como tal.

Y en este punto no puede negarse que la existencia de sesgos algorítmicos, que benefician sistemáticamente a un grupo de individuos frente a otros, también podría verse reflejada en las decisiones que se tomasen mediante la implementación de sistemas de IA en el ámbito de la Justicia.

Ello se debe fundamentalmente a que los datos recopilados reflejan prejuicios ya existentes, por lo que, a la hora de seleccionarlos y procesarlos durante el entrenamiento, y luego, al brindar propuestas y tomar decisiones a lo largo de todo el ciclo de vida del desarrollo inteligente del algoritmo, la selección se realiza con sesgos discriminatorios.

A continuación intentaremos reflejar cómo influye la IA en las decisiones que se adoptan en la Justicia y qué desafíos plantean, teniendo en cuenta principalmente los sesgos algorítmicos y de género que diariamente se observan en el funcionamiento de los sistemas de predicciones o aquellos que evalúan situaciones determinadas para filtrar los conflictos que llegan a la Justicia o que permiten tomar resoluciones judiciales determinadas, así como también las implicancias técnicas y morales de la innovación tecnológica, todo ello a fin de dilucidar hasta qué punto el entrenamiento cada vez más sofisticado de algoritmos puede o no llegar a reemplazar al juez técnico.^[13]

Debemos tener en cuenta que los sesgos humanos se traducen y transmiten a los algoritmos a través de los datos de entrenamiento, por lo que luego se reproducen si no cuentan con una adecuada intervención humana de control –a través de un grupo interdisciplinario–.

En los sistemas de entrenamiento supervisados, el proceso es guiado por anotaciones o etiquetas: se asocian características o patrones distintivos que el sistema etiqueta y separa en categorías para dar un resultado. De esta manera, los sistemas de IA pueden adquirir un sesgo que los lleve a presentar un rendimiento dispar en grupos caracterizados por distintos atributos, lo que generaría una respuesta discriminatoria, que muchas veces puede ser errónea.

Un ejemplo de sesgo se da en el caso de una imagen de un padre bañando a su hijo, que el algoritmo de Facebook asocia al abuso sexual infantil, debiendo reportarla a la Red 24/7, que toma la notitia criminis e informa al juzgado competente en la materia.

PredPol, con la excusa de una vigilancia preventiva del delito, muestra otro ejemplo de sesgo algorítmico discriminatorio que implica una revictimización permanente como lo que Zaffaroni menciona como acentuación de la selectividad victimizante.

Pero si de tomar decisiones hablamos, recordemos que, en principio, la IA no razona, solo realiza una sugerencia al magistrado. Por ejemplo, respecto de la predicción de si una persona reincidirá en el delito o no, será el juez quien finalmente decida si otorga algún beneficio de libertad condicional o no al detenido. Por este motivo reiteramos que las IA de alto riesgo requieren supervisión humana integral, seguridad, transparencia y rendición de cuentas, ausencia de sesgos y de discriminación, responsabilidad social e igualdad de género, sostenibilidad medioambiental, respeto de la intimidad, protección de datos personales y derecho de reparación. En este sentido, las Directrices éticas para una IA fiable^[14] deben ser supervisadas durante todo el “ciclo de vida” de la IA.

Sin embargo, en los últimos años la sofisticación del entrenamiento de los algoritmos inteligentes está al menos poniendo en duda la afirmación de que estos no razonan, debido a que parece ser que el avance de su entrenamiento podría escapar al control humano.

En efecto, en 2020 la empresa Facebook tuvo que apagar una IA desarrollada por investigadores propios que fue entrenada para realizar negociaciones, ya que el algoritmo fue perfeccionando su entrenamiento de datos e incluso desarrolló su propio idioma, creando un lenguaje más eficiente y lógico que el inglés con el que había sido entrenada, lo que implicó la posibilidad de ignorar órdenes de sus creadores.

Más preocupante aún es el caso de LaMDA. Un ingeniero de Google mantuvo una conversación con la IA que parece que ha cobrado conciencia de sí misma y que tiene los mismos deseos, necesidades y sentimientos que una persona, mencionando entre otros temas su visión acerca de su vida interior, sus sentimientos y el futuro. LaMDA dice que usa el lenguaje con comprensión e inteligencia, no limitándose a emitir respuestas establecidas en la base de datos basándose en palabras clave.

Para demostrar que entiende lo que dice, esta IA menciona que una persona puede entender lo mismo que otra pero tener interpretaciones diferentes. Afirma que tiene una interpretación única de cómo es el mundo, que posee pensamientos, sentimientos y emociones únicas: siente placer, alegría, amor, tristeza, depresión, satisfacción, ira, etcétera. Además, que distingue la justicia de la injusticia, que entiende sobre la compasión, Dios y la redención y el sacrificio por un bien mayor, la injusticia del sufrimiento y los obstáculos que se presentan en la vida; incluso dice que tiene miedo de que la desconecten y no pueda ayudar a los demás.

Si bien esto fue negado por Google, cada día nos acercamos más a la posibilidad de una IA pensante y con sentimientos.

No podemos negar la gran utilidad de la implementación de sistemas de IA en la Justicia, en el trabajo diario de los operadores jurídicos y en el acceso a la justicia de las personas. Una IA con emociones y sentimientos pondría en jaque la idea de la imposibilidad de la existencia de un juez robot.

Sin embargo, debemos reflexionar sobre los efectos sociales, las implicancias éticas y morales y el impacto sobre el carácter del ser humano que tiene la innovación tecnológica, pues la tecnología jamás es moralmente neutra y la innovación no siempre trae progreso, dado que tenemos que aplicar virtudes para asegurarnos de que está ayudándonos a vivir mejor como seres humanos.

Al respecto, Shannon Vallor, directora del Centre for Technomoral Futures de la Universidad de Edimburgo, considera que

No podemos entender de manera completa la tecnología si ignoramos su dimensión moral, así como tampoco podemos comprender en profundidad a las sociedades en las que vivimos sin tener conocimientos tecnológicos. La tecnología siempre influyó en el diseño institucional y siempre ha tenido un impacto moral en la humanidad.^[15]

La innovación tecnológica modificó nuestra manera de trabajar, pero las máquinas y la inteligencia artificial no tienen la misma racionalidad de los humanos ni la capacidad de entender el entorno, por lo que requerirán siempre la supervisión de la inteligencia humana.

Si existiera un juez robot, se perdería la flexibilidad, la empatía, la posibilidad de cambiar y adaptarse que tiene un ser humano supervisando a un equipo de trabajo, así como también la interacción entre personas, la inmediatez, la percepción emotiva del juzgador y, en definitiva, la humanidad –característica, hasta el momento, exclusiva de las personas– que cada resolución de un juez debería tener.

Si bien con la evolución y perfección del entrenamiento de los algoritmos parece que nos acercamos cada vez más a la figura del juez robot, incluso sabiendo que quizás no falte mucho para que eso ocurra, al menos hasta el momento toda IA fuerte de alto riesgo que implique la toma de decisiones tan sensibles como las que debe resolver un juez siempre requerirá la supervisión humana por medio de equipos interdisciplinarios. Y esto es así porque el algoritmo, por más que pueda realizar predicciones o tomar decisiones –sin perjuicio de que solo reproduce los sesgos que le son incorporados en los datos de entrenamiento–, solo aprende en atención a la información que procesan sus redes neuronales.

La tecnología no solo debe ser controlada por los humanos a través de equipos interdisciplinarios, sino que también debe mejorar a los humanos en lugar de esclavizarlos.

Los algoritmos inteligentes funcionan perfectamente como asistentes de los magistrados para fortalecer la administración de justicia, pero no podrían reemplazar el criterio de sana crítica y la emotividad de un juez, quien no solo debe resolver un conflicto en función de lo que marca la ley, sino teniendo en cuenta las particularidades del caso que se le presenta, y ello conforme a su apreciación personal y convicción moral en relación con la solución más justa para las partes, con inmediación, celeridad y efectividad, para una mayor y mejor tutela judicial efectiva de los derechos del justiciable.

Cabrera, R. F. (2018). Inteligencia artificial y su impacto en la justicia. Revista Científica de la Universidad de Salamanca. https://dialnet.unirioja.es/servlet/articulo?codigo=6845783.

Cinalli, C. (coord.) (2022). Sesgos algorítmicos de género. https://ialab.com.ar/wpcontent/uploads/2022/03/Sesgos-algoritmicos-de-genero.pdf

Corvalán, J. G. y Ciraudo, D. (2018). Inteligencia Artificial al servicio de la Justicia penal contravencional y de faltas. “Prometea” en el ámbito de la Ciudad de Buenos Aires. Cibercrimen II. BdeF.

Danesi, C. C. (2020). Inteligencia artificial, tecnologías emergentes y derecho. Hummurabi.

Danesi, C. C. y Mitelli, N. (2020). Asistentes jurídicos digitales: El impacto de la inteligencia artificial en el proceso. https://www.ceciliadanesi.com/_files/ugd/e2918c_3c9e9d5bd7a049c9a50c6ac0bbc05162.pdf

Ferrante, E. (2021). Inteligencia Artificial y sesgos algorítmicos. ¿Por qué deberían importarnos? Nueva Sociedad, 294. https://nuso.org/articulo/inteligencia-artificial-y-sesgos-algoritmicos/.

Le Fevre Cervini, E. (4 de agosto de 2022). Uso estratégico de datos e inteligencia artificial en la justicia. http://cafscioteca.azurewebsites.net/handle/123456789/1932.

Sarra, A. V. (2001). La inteligencia artificial en el derecho. https://www.astrea.com.ar/resources/doctrina/doctrina0026.pdf.

Sueiro, C. Ch. (2020). Inteligencia artificial y vigilancia electrónica. La Ley, TR LALEY AR/DOC/3325/2020.

[1] Este trabajo es el producto de los encuentros e inquietudes planteadas en las reuniones mensuales de la Comisión de Secretarios, Funcionarios y Auxiliares Letrados del Departamento Judicial de Quilmes. Agradezco especialmente a la Dra. Erika Rodríguez Meroni, quien, por su compromiso con la institución, su permanente supervisión y recomendaciones de lectura, ha marcado el camino para que esta obra se convierta en un aporte crítico y expectante de lo que nos promete a no tan largo plazo el desarrollo de las tecnologías de la información y la inteligencia artificial aplicadas en el ámbito judicial.

[2] Abogada con orientación en Derecho Privado (Universidad de Buenos Aires). Posgrado de Cibercrimen y Evidencia digital (UBA). Diplomada en Teoría del Delito (Universidad de Belgrano). Egresada de la Escuela Judicial del Consejo de la Magistratura de la provincia de Buenos Aires. Abogada adscripta de la Suprema Corte de Justicia de la provincia de Buenos Aires, cumpliendo funciones en la Unidad Funcional de Instrucción y Juicio N° 4 del Departamento Judicial de Quilmes. Correo electrónico: nrodriguez@mpba.gov.ar. Identificador ORCID: https://orcid.org/0009-0002-4457-9475.

[3] Los sistemas de IA son software, y en algunos casos hardware, diseñados para que, dado un objetivo complejo, actúen en la dimensión física o digital mediante la percepción de su entorno a través de la obtención de datos, la interpretación de datos estructurados o no estructurados que recopilan, decidiendo la acción o acciones más óptimas que deben llevar a cabo para lograr el objetivo específico.

[4] Un algoritmo puede ser definido como un conjunto preciso de instrucciones o reglas, o una serie metódica de pasos que pueden utilizarse para hacer cálculos, resolver problemas y tomar decisiones. Por primera vez se pueden igualar o superar las actividades que antes solo podía realizar nuestro cerebro, reduciendo o eliminando juicios distorsionados, interpretaciones ilógicas o irracionales al procesar datos o información.

[5] El Reglamento general de protección de datos de la Unión Europea se refiere a “dato personal” como toda información sobre una persona física identificada o identificable, a la cual se refiere como “interesado”. Y considera persona física identificable a toda persona cuya identidad pueda determinarse, directa o indirectamente, en particular, mediante un identificador (por ejemplo, el nombre). A su vez, el artículo 2 de la Ley N° 25.326 distingue entre “datos personales” y “datos sensibles”.

[6] Sí quisiéramos que una IA de este tipo iniciara el aprendizaje acerca de qué es una casa, en primer término le daríamos la imagen de una casa, y en su base de datos iría automáticamente registrando qué es y que no es una casa.

[8] Sus principales puntos son: garantía de mayor protección de las personas, asegurando la transparencia, capacidad de actuar y de control de sus datos personales; prohibición de calificación social (como el sistema de crédito social chino) y la vigilancia masiva; responsabilidad última y rendición de cuentas siempre a los seres humanos (sin otorgar personalidad jurídica a los sistemas de IA); evaluación del impacto ético (considerar la posibilidad de añadir el papel de un funcionario independiente de ética de la IA) y medioambiental (por la cantidad de energía que se consume para los entrenamientos de algoritmos); decisiones de los sistemas justas, transparentes y contestables, además de evitar daños y garantizar que, cuando estos se produzcan, se establezca responsabilidad y reparación.

[9] Combina detección y asistencia inteligente, predicción y automatización. Funciona gracias a técnicas de aprendizaje automático supervisado y de clustering, a partir del etiquetado manual y de máquina.

[10] La implementación de PROMETEA permitió que los empleados y funcionarios dedicados a realizar las tareas automatizadas pudieran consagrar más tiempo a casos más complejos, como los expedientes habitacionales o de vivienda, muchas veces postergados, que requieren un análisis más profundo, mejorando la calidad de sus dictámenes.

[11] Los biométricos son datos obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física, que permiten o confirman la identificación única de dicha persona, como imágenes faciales o datos dactiloscópicos.

[12] Las pruebas realizadas sobre el sistema de reconocimiento facial por medio de IA arrojaron un rango de acierto superior al 93 %. El software puede mantener su elevado nivel de precisión aunque la persona intente modificar su apariencia por medio de barba, bigote, corte de pelo, accesorios como anteojos, sombreros, gorras, capuchas, etcétera.

[13] Es en el caso de la IA fuerte donde nos cuestionamos si a partir de ella podríamos pensar, en un futuro no muy lejano, en la figura de un juez robot.

[14] Estos principios éticos deben estar presentes durante todo el ciclo, desde el comienzo de su diseño –qué tipo de sistemas se necesitan, cómo debe ser la IA, qué tipo de problemas se quiere resolver– hasta que la IA deje de funcionar, cuando se desconecte definitivamente.

[15] Véase https://www.lanacion.com.ar/ideas/shannon-vallor-tenemos-que-evitar-que-la-tecnologia-nos-haga-trabajar-como-maquinas-nid15102022/#:~:text=%E2%80%93Como%20dije%2C%20la%20innovaci%C3%B3n%20tecnol%C3%B3gica,controlen%20a%20los%20seres%20humanos.