Redes neuronales y sesgo en Inteligencia Artificial (A2C23C1D01)

¿Cómo inciden las redes neuronales en la búsqueda de empleo? ¿Y en la obtención de una hipoteca por parte de una entidad bancaria? ¿Y en la concesión de un bono social? ¿Pueden los algoritmos predecir la posibilidad de que un reo vuelva a cometer un delito? ¿Hasta qué punto intervienen en la decisión de que una mujer maltratada reciba protección policial salvando así su vida? ¿Son racistas los algoritmos informáticos? ¿Y sexistas? ¿Tienen capacidad persuasiva sobre los ciudadanos?

En este documento se mostrarán los problemas principales que plantea el uso de sistemas de inteligencia artificial (IA), especialmente en lo que concierne al sesgo.

En 2002, el psicólogo Daniel Kahneman recibió el Premio Nobel de Economía, por integrar en sus estudios sobre ciencia económica diversos aspectos de la investigación psicológica. Estos se relacionaban especialmente con la toma de decisiones en momentos de incertidumbre. En su libro Pensar rápido, pensar despacio, demostró cómo todo individuo adopta en su día a día multitud de decisiones en las que intervienen datos engañosos y prejuicios inconscientes que condicionan su elección.

Un sesgo podría definirse de manera simplificada como un truco o atajo mental que contribuye a simplificar la elevada cantidad de procesos mensajes que el cerebro debe realizar diariamente. Este puede conducir a decisiones equivocadas.

Kahneman identificó distintos tipos de sesgos. Por ejemplo, el provocado por un exceso de confianza lleva a sobreestimar los juicios subjetivos y a considerarlos certeros. También la ilusión de control puede hacer que un individuo asuma un nivel de riesgo superior al adecuado. Y el sesgo de confirmación provoca que el ser humano, con frecuencia, considere como válida únicamente la información que refuerza sus propios puntos de vista, dejando de lado la que no concuerda con sus convicciones.

 

El sesgo es un truco o atajo mental que contribuye a simplificar los procesos mentales del cerebro.

 

Por otra parte, el sesgo de anclaje radica en la tendencia a otorgar más peso a la información obtenida en primer lugar, en detrimento de aquella información nueva que la contradiga. El sesgo de autoridad lleva a asumir las tesis de un familiar, un amigo o un analista prestigioso en quien se confía sin evaluarlas, aceptándolas por el mero hecho de proceder de quien proceden.

Además, el efecto halo consiste en enjuiciar a una persona o institución en virtud de una única cualidad positiva o negativa que ensombrece todas las demás. Y la prueba social es el comportamiento de rebaño que provoca la imitación de las acciones realizadas por la mayoría considerando que de esta forma se adopta el comportamiento correcto.

También existe el sesgo de statu quo, que lleva a tomar como punto de referencia la situación actual. Cualquier cambio con respecto a ella se percibe como una pérdida. Precisamente la aversión a las pérdidas es otro sesgo basado en la consideración de que las pérdidas pesan más que las ganancias. Y el descuento hiperbólico consiste en la propensión a elegir recompensas más pequeñas e inmediatas frente a recompensas superiores y a largo plazo.

 

Los sesgos pueden afectar no solo a las personas, sino también a las redes neuronales.

 

Como puede verse, existen numerosos tipos de sesgos y muchos de ellos se encuentran presentes en la vida cotidiana de cualquier persona. A continuación, se mostrará cómo estos pueden afectar también a las redes neuronales.

Joseph Weizenbaum fue profesor de Informática en el Instituto Tecnológico de Massachusetts y hoy es considerado uno de los padres de la cibernética. En su libro Computer Power and Human Reason (El poder de las computadoras y la razón humana), publicado en 1976, sostenía que en la IA el sesgo podría surgir tanto de los datos utilizados por las redes neuronales, como de la manera de la que un programa ha sido codificado.

Además, Weizenbaum se opuso tajantemente al uso bélico de la informática mediante la creación de robots-soldado. A su juicio, a los ordenadores nunca debe permitírseles tomar decisiones importantes. No en vano, carecen de cualidades como la compasión y la sabiduría, al no haber crecido en el entorno emocional de una familia humana.

Curiosamente, en 2022 surgió una gran polémica al declarar el ingeniero de Google Blake Lemoine que el modelo LaMDA (Language Model for Dialogue Applications, que podría traducirse al español como Modelo de lenguaje para aplicaciones de diálogo), creado por esta compañía, había llegado a convertirse en un ser con consciencia. Según él, la propia IA había contratado a un abogado para demostrar que estaba viva y hacer valer sus derechos. No obstante, Lemoine no llegó a aportar datos concretos ni sobre la identidad del abogado ni sobre las pesquisas legales supuestamente iniciadas por LaMDA contra Google. Además, poco después de estas sorprendentes afirmaciones fue despedido. 

El sesgo algorítmico da lugar a errores repetitivos provocados por un sistema informático que ocasiona resultados injustos. Este puede llevar a otorgar un privilegio a un grupo arbitrario de usuarios o a discriminar a otros en función del género, la religión, la edad, la raza o su orientación sexual.

Los algoritmos utilizados en el aprendizaje automático de las redes neuronales dependen de los datos que se les suministren para su entrenamiento. Dichos algoritmos pueden reflejar los sesgos presentes en estos datos, e incluso amplificarlos. Así, si un algoritmo es entrenado con datos racistas o sexistas, las predicciones que aporte también serán discriminatorias en estos sentidos.

 

El sesgo algorítmico da lugar a errores repetitivos provocados por una IA que ocasiona resultados injustos.

 

De ahí que en la actualidad se intenten evitar variables que pueden dar lugar a una discriminación, como la de la raza. Por ejemplo, una denuncia por parte de un colectivo al que se le haya denegado una hipoteca en virtud del color de su piel supondría un gran escándalo para un banco. Sin embargo, incluso excluyendo el concepto de raza de un algoritmo, otras variables podrían provocar el mismo sesgo, como el código postal. Así, a veces resulta frecuente que se deniegue un préstamo a los habitantes de un barrio en el que existe un alto número de personas de la misma raza (o etnia) y, además, de escaso poder adquisitivo.

En ocasiones, detectar cuáles son las variables correctas y determinar si una decisión se ha visto condicionada por un sesgo algorítmico resulta muy difícil. Por una parte, porque si el algoritmo de aprendizaje se sustenta en una red neuronal profunda que realiza buenas predicciones, en muchos casos no será posible conocer cómo ha llegado a emitir sus juicios. Por otra, porque, aunque se tratara de una red bayesiana (es decir, basada en árboles de decisión, que son más transparentes y pueden ser inspeccionados con facilidad), una compañía no permitiría que esta fuera examinada públicamente.

Por lo tanto, es difícil conjugar la precisión con la transparencia. ¿Estarían dispuestos los desarrolladores de IA a sacrificar la precisión, en aras de una menor opacidad que permita identificar cómo se producen los sesgos? A continuación, se muestran algunos ejemplos de diversos tipos de sesgos cometidos por redes neuronales.

Un estudio publicado por la Universidad de Yale en 2012 demostró la existencia de sesgos machistas en los programas informáticos utilizados por diversas universidades norteamericanas, para la contratación de personal. Con dicho fin, sus responsables crearon dos currículos ficticios de dos personas que habían estudiado en los mismos centros educativos, poseían expedientes académicos idénticos y hablaban los mismos idiomas. Lo único que los diferenciaba eran sus nombres: Jennifer y John. Ambos fueron enviados a los responsables de 127 departamentos de contratación de personal de distintas universidades, a fin de poder optar a un puesto de encargado de laboratorio. Jennifer fue mucho peor valorada que John y el salario que se le ofreció en la mayoría de los casos fue inferior al de su supuesto competidor. 

En 2014 Amazon comenzó a utilizar un sistema algorítmico para la contratación de personal. Este había sido entrenado para observar patrones basados en los datos de solicitantes de empleo que habían tratado de formar parte de la compañía durante los últimos diez años. Dado que la mayoría de ellos eran hombres, las redes neuronales utilizadas interpretaron que la preferencia era hacia los candidatos masculinos.

El sistema poseía un sesgo machista, según se demostró en 2015, ya que penalizaba a los currículos que incluían la palabra mujer. Sobre todo, en el caso de los aspirantes a puestos técnicos habitualmente asignados a hombres, como el de desarrollador de software. El algoritmo fue revisado para erradicar este sesgo, pero Amazon optó por dejar de utilizarlo, ante la falta de confianza en él. Sin embargo, nunca permitió que sus redes neuronales pudieran ser analizadas públicamente.

 

Existe una brecha formativa entre hombres y mujeres en materias de carácter tecnológico.

 

En España, una investigación llevada a cabo en la Universidad Pompeu Fabra en 2019 se propuso comparar las posibilidades para optar a una entrevista de trabajo en función del género. A tal fin se remitieron currículos ficticios de supuestos solicitantes entre 37 y 39 años a 1.372 ofertas de empleo en Madrid y en Barcelona. Este estudio demostró que, a igualdad de condiciones, las mujeres poseían un 29,4 % menos de probabilidades de lograr una entrevista que los hombres; una brecha que se elevaba hasta el 35,9 % en el caso de que ellas contaran con descendencia.

Los ejemplos expuestos anteriormente son solo algunas muestras de cómo las redes neuronales pueden incurrir en sesgos discriminatorios en función del género. Hay que tener en cuenta que la IA se basa en datos, y estos constituyen un reflejo de nuestra historia. Podría decirse que el pasado pervive en los algoritmos virtuales. Estos muestran las desigualdades que se han perpetuado a lo largo de los años entre hombres y mujeres para acceder al mercado laboral. Si las bases de datos poseen construcciones de género patriarcales intrínsecas, las respuestas otorgadas por la IA tendrán un sesgo que fomente tales desigualdades.

 

Es muy difícil demostrar judicialmente el sesgo cometido por los algoritmos.

 

Hay que tener en cuenta, asimismo, que existe un gran desequilibrio entre hombres y mujeres en el estudio de carreras STEM (cuyo acrónimo en español es CTIM, es decir, ciencia, tecnología, ingeniería y matemáticas). De manera que los propios equipos de desarrolladores informáticos están constituidos mayoritariamente por hombres.

Es preciso corregir los datos proporcionados a la IA para la elaboración de algoritmos y desarrollar una legislación que evite los sesgos de género. Además, existe una gran dificultad para demostrar judicialmente el sesgo cometido por los algoritmos. Por lo tanto, estos deberían ser de fuente abierta (es decir, lo que se conoce como open data), con el objeto de que pudieran ser sometidos a inspecciones de trabajo, tal y como sucede con cualquier otra actividad laboral. Asimismo, debería lucharse contra la brecha formativa entre hombres y mujeres en materias de carácter tecnológico.

Maya Angelou, escritora norteamericana fallecida en 2014 (muy conocida también por su activismo en contra de la discriminación racial) sostenía que: “Todos debemos saber que la diversidad es un bonito tapiz, y debemos entender que todos los hilos del tapiz tienen el mismo valor, sin importar su color”. No obstante, las redes neuronales, con frecuencia, incurren también en sesgos de carácter racial.

En 2018, un estudio realizado por un equipo de investigadores del Instituto de Tecnología de Massachusetts (MIT) demostró que el margen de error en el reconocimiento facial de la IA variaba en función de la raza y el género de una persona. Así, a partir del estudio de los sistemas de reconocimiento facial de Microsoft, IBM Watson y Face++ advirtieron que las imágenes de mujeres poseían un margen de error superior al de los hombres. Un error susceptible de aumentar en el caso de las personas de piel oscura. Tal diferencia se sustentaba en las bases de datos utilizadas para el entrenamiento de las redes neuronales. Pues en dichas bases de datos existían más muestras de hombres blancos que de mujeres negras. De ahí que la IA se encontrara con mayores dificultades para reconocer a los grupos de los que poseía una menor referencia.

 

Las redes neuronales incurren con frecuencia en sesgos de carácter racial.

 

Un año después este mismo equipo logró desarrollar un algoritmo capaz de reducir al 60 % el sesgo racial y de género. Para ello el algoritmo era capaz de analizar un conjunto de datos utilizados en el reconocimiento facial, detectar los sesgos categóricos intrínsecamente ocultos en su interior, y volver a conformar una muestra de carácter más justo. Todo ello sin necesidad de que ningún programador humano interviniera en el proyecto.

A pesar de ello, Facebook tuvo que disculparse en 2021 porque su IA había cometido un sesgo racista. Según reveló The New York Times, el 27 de junio Facebook recomendó un vídeo publicado por el diario británico Daily Mail con el mensaje: “¿Quieres seguir viendo vídeos sobre primates?”. No obstante, el vídeo en cuestión no mostraba primates, sino una discusión entre un hombre negro y otro blanco.

Más recientemente, en junio de 2022, se han descubierto también sesgos de este tipo en DAll-E Mini (posteriormente rebautizada como Craiyon). Esta IA es capaz de traducir las instrucciones de un usuario en imágenes. Al pedirle imágenes de profesiones que exigían una cierta cualificación, dibujaba siempre personajes masculinos. En cambio, al teclear las palabras sexy worker (es decir, trabajador o trabajadora sexi), mostraba a mujeres con poca ropa y grandes pechos. Y ante la orden lazy student (estudiante perezoso o perezosa), representaba a mujeres; en cambio, para hardworker student (estudiante aplicado o aplicada), los dibujos eran siempre de hombres. Por tanto, esta aplicación reproducía estereotipos machistas. Pero no solo, ya que en la mayor parte de los casos dibujaba a personas blancas. Únicamente al pedirle que representara a personas sin hogar mostraba a ciudadanos de raza negra.

 

El sesgo racial de algunas aplicaciones las lleva a generar imágenes de carácter pornográfico.

 

Otro caso de sesgo racista podemos encontrarlo en Lensa, una aplicación diseñada también para la creación de imágenes hiperrealistas. Esta permite convertir el rostro de un usuario en un retrato generado mediante redes neuronales. En diciembre de 2022, una periodista de rasgos asiáticos generó un centenar de avatares con su semblante, catorce de los cuales incluían poses sexualizadas y ropa provocativa. Y en otros dieciséis se la representaba con el pecho al aire. En cambio, para sus compañeros de la redacción, esta IA creaba siempre avatares de carácter varonil desempeñando profesiones de alta repercusión social, como astronautas, guerreros, modelos o cantantes. Solo en el caso de otro compañero asiático se generaban también imágenes de carácter pornográfico, como le había sucedido a ella.

¿Puede la inteligencia artificial llegar a predecir un delito antes de que este se produzca? Tal premisa futurista subyace en la creación de COMPAS. Dicho acrónimo podría traducirse en español como Administración de Perfiles de Criminales para Sanciones Alternativas del Sistema de Prisiones de Estados Unidos (Correctional Offender Management Profiling for Alternative Sanctions).

Este programa de IA comenzó a utilizarse en los juzgados norteamericanos en 1998. Su algoritmo se basa en la consideración de 137 parámetros distintos de un mismo convicto, para dilucidar sus posibilidades de reincidir en el futuro. Entre ellos se encuentran su historial criminal, su historial laboral y académico, el grado de peligrosidad del barrio en el que vive, si algún miembro de su familia ha cometido un crimen o ha sido arrestado, etc. Además, se le hacen diversas preguntas para conocer su opinión sobre cuestiones como si para él sería ético que una persona hambrienta robara comida. Cada respuesta recibe una puntuación que oscila entre 1 y 10.

 

La puntuación de riesgo de un acusado medida por una IA se concibió para ayudar a los jueces a dilucidar las probabilidades de su reincidencia.

 

En función de la puntuación global se decide su promedio de riesgo y si puede salir de la cárcel bajo fianza, ser enviado a prisión o recibir otro tipo de castigo. En el caso de que la persona ya haya sido encarcelada, el algoritmo determina si merece el beneficio de la libertad condicional.

En definitiva, COMPAS surgió con el propósito de ayudar a los jueces norteamericanos a dilucidar las probabilidades de que un acusado volviera a cometer un delito durante el periodo de espera del juicio. Esta predicción del algoritmo es conocida con la denominación de puntuación de riesgo del acusado, y funciona a modo de recomendación. Los acusados de “alto riesgo” deberían ser encarcelados para evitar que ocasionen otro daño a la sociedad, mientras que los de “bajo riesgo” podrían ser puestos en libertad antes del juicio.

Los defensores de este sistema argumentan que el uso de redes neuronales para la evaluación de riesgo contribuye a crear una sociedad más justa. No en vano, sustituyen a la intuición y al sesgo de los jueces. A su juicio, evita especialmente el sesgo racial, ya que entre los parámetros en los cuales COMPAS basa su dictamen no se encuentra el de la raza.

 

El secreto comercial que lleva a una empresa a no querer desvelar su algoritmo impide a los reos defenderse, al no conocer cómo se les ha evaluado.

 

Además, gracias a COMPAS, los acusados dejan de tener que pagar una fianza. Algo que en los Estados Unidos puede llegar a constituir también una práctica discriminatoria, ya que esta perjudica a los pobres; especialmente a los acusados negros, sobrerrepresentados en el sistema judicial de carácter penal.

No obstante, una investigación de ProPublica (una agencia de noticias independiente radicada en Manhattan, que se dedica al periodismo de investigación) llevada a cabo en 2016 demostró que el algoritmo de COMPAS estaba perpetuando un sesgo de carácter racial. En primer lugar, estos periodistas realizaron un examen minucioso de los detenidos en los dos años posteriores a su liberación (7.200 perfiles con nombre, edad, raza y puntuación de riesgo).

Acto seguido, utilizaron estos datos para calcular si los acusados hubiesen sido detenidos otra vez antes del juicio, de no haber sido encarcelados. Esto los llevó a concluir que entre los reos que nunca volvieron a ser arrestados, los ciudadanos negros contaban con el doble de probabilidades que los blancos de pertenecer al grupo de alto riesgo de COMPAS.

 

COMPAS se basa en un predictor lineal, un sistema poco sofisticado y no demasiado preciso.

 

Por otra parte, debido a criterios comerciales, la empresa creadora de COMPAS no ha querido nunca desvelar las claves de su algoritmo. Por lo tanto, el reo y sus abogados desconocen cómo se le ha otorgado una determinada puntuación. Este secreto comercial hace que elaborar una defensa con garantías resulte imposible. 

Además, tratando de desentrañar el funcionamiento de las redes neuronales utilizadas por COMPAS, los periodistas se dieron cuenta de que sus predicciones con 137 parámetros eran las mismas que si solo se hubieran tenido en cuenta dos de ellos: la edad y el número de delitos previos. Por tanto, su IA se basa en un mero predictor lineal, un sistema poco sofisticado y no demasiado preciso.

La matemática Cathy O’Neil analizó los riesgos que entraña el uso de un algoritmo como COMPAS en su libro Armas de destrucción matemática. “En el caso del algoritmo de riesgo de reincidencia, tendríamos que comparar el daño de un falso positivo (alguien a quien se le da falsamente una calificación de alto riesgo y se lo encierra injustamente), contra el daño de un falso negativo (alguien a quien equivocadamente se suelta con la posibilidad de cometer un crimen)”, sostiene O’Neil, quien escribió estas palabras antes de que saliera a la luz la investigación realizada por ProPublica.

Desde 2017, las familias españolas más vulnerables tienen derecho a un descuento en la factura de la luz. El programa BOSCO es el que evalúa si los solicitantes cumplen los requisitos para poder pedir dicho descuento. Civio es una organización sin ánimo de lucro que lucha contra la opacidad en las administraciones públicas.

En 2019 Civio advirtió que 5,5 millones de hogares tenían derecho al bono social. Sin embargo, curiosamente, este solo había sido concedido a 1,1 millones de hogares. Para tratar de evaluar lo sucedido, Civio pidió al Gobierno la posibilidad de revisar el algoritmo: su especificación técnica, los resultados de las pruebas de comprobación de la aplicación y su código fuente.

 

En ocasiones la toma de decisiones sobre la vida de algunas personas se deja en manos de algoritmos.

 

Un código fuente recoge en bruto las instrucciones de un programa y define cómo este calcula sus resultados. Para rechazar su apertura, el Gobierno alegó que difundir este código supondría problemas tanto de seguridad pública, como para la defensa nacional y para la propiedad intelectual. 

A pesar de ello, el Consejo de Transparencia obligó al Gobierno a que entregase a dicha ONG parte de la documentación. Sin embargo, el Juzgado Central de lo Contencioso Administrativo número 8 denegó a Civio el acceso al código fuente de BOSCO. Para ello alegó que esta acción constituiría un peligro para la seguridad pública. De esta forma respaldaba los argumentos del Gobierno.

Otro de los múltiples algoritmos utilizados en España para el desarrollo de políticas sociales es VioGén. Este programa, que se puso en marcha en 2007, determina el riesgo de que una mujer maltratada vuelva a ser agredida. En el 45 % de los casos el nivel de riesgo ha sido calificado como “no apreciado”. Como consecuencia de ello, entre 2003 y 2021 hubo 71 mujeres asesinadas que habían presentado una denuncia previa sin lograr un nivel de riesgo que conllevase protección policial. Esto guarda relación también con los recortes de fondos, ya que el sistema solo muestra el número de puntuaciones de “riesgo extremo” (es decir, riesgo de sufrir un homicidio) que puede permitirse.

Desde 2018, la Fundación Éticas ha cuestionado la fiabilidad del programa VioGén. En varias ocasiones se ha puesto en contacto con el Gobierno español ofreciéndole llevar a cabo una auditoría interna confidencial gratuita. Sin embargo, aunque esta sugerencia fue bien recibida, no permitió adoptar ninguna medida concreta. De ahí que en 2021 este organismo sin ánimo de lucro optara por realizar una auditoría interna en colaboración con la Fundación Ana Bella. Esto le permitió advertir que a pesar de que VioGén está diseñado como un sistema de recomendación y los policías pueden aumentar la puntuación de riesgo asignada por el sistema automáticamente, la mantienen en el 95 % de los casos. Por tanto, es el sistema el que decide qué medidas de protección policial deben asignarse a cada víctima. La toma de decisiones sobre la vida de estas personas se deja en manos de un algoritmo.

En noviembre de 2021, la UNESCO aprobó la Declaración Universal de la Inteligencia Artificial. Esta constituye una guía para “afrontar de manera responsable los efectos conocidos y desconocidos de la inteligencia artificial en los seres humanos, las sociedades y el medio ambiente y los ecosistemas”. Dicha guía esboza los principios éticos que deben inspirar tecnologías controvertidas (como el reconocimiento facial), y no tan controvertidas (como el efecto de los sistemas de recomendación sobre la diversidad lingüística o cultural).

Este documento consta de 30 páginas y su alcance resulta limitado, ya que no es legalmente vinculante. Sin embargo, ha sido suscrito por los 193 estados miembros de la UNESCO. Se espera que en los próximos años se vaya desarrollando un marco ético más detallado, cuya aplicación irá evaluándose periódicamente por parte de expertos, que lo someterán a debate público.

Ante un avance imparable de la IA, es necesario atender a cuestiones éticas. En estas páginas se han mostrado ejemplos sobre hasta qué punto los sesgos algorítmicos pueden condicionar la vida de una persona (llegando incluso a privarla de libertad). Como se ha tratado de poner de manifiesto, las redes neuronales pueden interpretar los datos que se le proporcionen de manera sesgada. Por esta razón es necesario que todas las fases del proceso de diseño de un algoritmo se lleven a cabo con responsabilidad y de acuerdo con un marco normativo y ético.

Por otra parte, hay que tener en cuenta la capacidad de persuasión de los sistemas de recomendación algorítmicos. Así, por lo general, los ciudadanos consideran que estas tecnologías son objetivas. Es el denominado sesgo de automatización, que lleva a una parte considerable de la población a “sobreconfiar” en los sistemas automatizados. Sin embargo, aún se desconoce el impacto que los algoritmos pueden llegar a tener sobre la libertad humana en contextos críticos de decisión.

 

También en las decisiones humanas puede primar el sesgo de familiaridad. Este hace que las personas suelan preferir lo que les resulta más familiar, en lugar de lo desconocido. Por ejemplo, en una campaña electoral, ante las fotografías de varios candidatos, los votantes se pueden inclinar por aquel cuyas imágenes les han sido mostradas por una IA con mayor frecuencia. De esta forma han conseguido convertirlo en familiar para ellos. Esto explicaría por qué históricamente, candidatos más visibles han logrado un mayor número de votos, a pesar de sus debilidades. Por tanto, conviene tener muy en cuenta el carácter persuasivo de la IA. De ahí la necesidad de desarrollar una legislación que proteja a la sociedad y de examinar desde una perspectiva ética todas las fases que intervienen en la creación de algoritmos

Esto ha llevado a algunas empresas tecnológicas a incorporar comités éticos en sus plantillas y a ofrecer planes formativos a sus empleados, con el fin de que los algoritmos que estos elaboren sean de alta fiabilidad. Para ello es necesaria también la transparencia en la recopilación y el procesamiento de los datos. Solo de tal forma podrán salvaguardarse los derechos de los ciudadanos.

En la actualidad, cada vez un mayor número de activistas, especialistas en IA y autoridades abogan por la necesidad de conocer el funcionamiento de los algoritmos. Con frecuencia, en dichos algoritmos impera el secreto profesional y se conciben como cajas negras cuyo funcionamiento resulta opaco. Dado que en muchos casos las redes neuronales pueden conducir a adoptar decisiones de consecuencias imprevisibles, es importante la transparencia para conocer los criterios por los que se rigen y los fallos que podrían llegar a cometer. No en vano, cabría preguntarse: ¿No tienen los ciudadanos derecho a conocer y a evaluar los algoritmos de los que dependen sus vidas?