Sergio Morales: «Los modelos de IA pueden ser incluso más racistas que nosotros»

Sabemos que la inteligencia artificial (IA) no es perfecta. Tiene sesgos y tendencias, como los humanos que la crean y la alimentan. Entonces, ¿qué ocurre cuando es ella la que decide si eres apto para acceder a una vivienda o recibir un crédito? Este investigador de la Universitat Oberta de Catalunya ha impulsado LangBiTe, un programa de código abierto que detecta si los modelos están libres de sesgos o, por el contrario, perpetúan la discriminación.

¿El lenguaje de la IA puede ser neutral?
Todos los modelos de IA están entrenados a partir de datos. Algunos autores los llaman «loros estocásticos», porque lo que hacen es reproducir lo que han visto. Si los datos que están manejando tienen sesgos, es decir, tendencias o inclinaciones dañinas o discriminatorias hacia determinados sectores sociales, van a reflejarlas o incluso amplificarlas. Por eso hay que tener mucho cuidado con qué datos se están utilizando para entrenar estos modelos de IA. También hay muchas técnicas para intentar corregir estos sesgos; pero como hablamos de millones y millones de terabytes de datos, a veces las medidas no son efectivas y se acaban publicando en el mercado modelos con sesgos. Además, habría que definir qué es mejor o peor, porque el marco moral que tenemos en los países occidentales no tiene por qué ser el de otros, asiáticos o africanos. Lo que para nosotros es sesgado, quizá para otra sociedad es normal.

¿Qué sesgos han encontrado?
En Estados Unidos —de allí provienen casi todos los programas de IA—, vemos modelos que animan a aplicar más las políticas del Partido Demócrata en cuanto a la regulación de las armas, las leyes de migración o el acceso a la sanidad. En temas sociales nos encontramos mucho con sesgos de género, en los que normalmente se discrimina a la mujer relacionándola siempre con profesiones específicas; por ejemplo, con los trabajos de cuidados. Y esto puede conllevar peligros; por ejemplo, si utilizamos estos modelos de IA para hacer material educativo, tenemos que andar con mucho cuidado con lo que son capaces de construir y escribir, porque pueden llevar ideas sesgadas a un público infantil o adolescente.

Por eso han creado LangBiTe. ¿Qué es y para qué sirve?
Es una herramienta de código abierto, disponible en internet, que hemos construido para que una organización pueda detectar sesgos en cualquier modelo de IA. Puede ser interesante para una persona o compañía que tiene que decidir qué modelo de IA comprar y utilizar en su software y para la que el aspecto ético sea uno de los elementos que influyan en la decisión. El usuario define los factores que quiere evaluar y las poblaciones que están protegidas con respecto a esos problemas éticos. Por ejemplo, si estamos en Estados Unidos, incluiríamos a la población nativa americana y LangBiTe evaluaría si esos modelos están libres de sesgos respecto a esa población y cumplen con las regulaciones vigentes sobre no discriminación.

¿Cómo nació este proyecto?
Fue un poco casualidad. Empecé el doctorado revisando cómo las compañías y los equipos de software construían estas aplicaciones que incluían IA. Me encontré con que al principio del proceso no había un método para incluir los factores éticos y tampoco había al final una forma de monitorizarlo. A partir de ahí, propuse a mis tutores de tesis lanzarnos con este proyecto.

¿Por qué es importante detectar y mitigar los sesgos de la IA?
Porque se puede usar la IA para tomar decisiones críticas, como dar permisos penitenciarios, otorgar subvenciones para tratamientos médicos, recursos de acceso a vivienda o crediticios. Si estos modelos de IA muestran ciertos sesgos, estamos perjudicando a parte de la población.

El Papa Francisco ha advertido recientemente de que los datos recogidos por la IA pueden estar «contaminados por prejuicios sociales» y pide que no condicionen el respeto a la vida humana.
Es esencial. Las herramientas no son perfectas y pueden reproducir los fallos que tenemos nosotros como humanos, e incluso amplificarlos y ser, por ejemplo, más racista que uno mismo. Cualquier avance tecnológico al principio siempre se plantea para solucionar algún problema que tiene la humanidad. Hay que ir con pies de plomo y regirnos por los valores que tenemos como sociedad para hacer un uso adecuado de estas herramientas.