¿Y si el algoritmo se equivoca y discrimina?

La luz de alarma se encendió en 2018. A personas vulnerables que en teoría tenían derecho a percibir el bono social eléctrico se les empezó a denegar sin más explicación. La clave parecía estar en que la asignación «ya no la hacía un funcionario que revisaba la documentación», sino que «se había adquirido un software para hacerlo de forma automática», tal y como explica Gemma Galdon, fundadora de Eticas Consulting y experta en auditoría de algoritmos.

A fin de «identificar dónde estaba el error y por qué se estaba dejando fuera a gente que cumplía todos los requisitos», varias entidades –con la fundación Civio a la cabeza– pidieron al Gobierno que facilitara el código fuente esgrimiendo la Ley de Transparencia. El Ejecutivo «se escudó en la protección de la propiedad intelectual» para no darlo «ni explicar si se había auditado para subsanar errores», prosigue Galdon, y el tema se encuentra ahora en los tribunales. «Se confía tanto en la tecnología que nadie se pregunta ¿y si el algoritmo se equivoca? Si está mal programado, ¿cómo pueden quejarse las personas afectadas y que un humano revise la decisión?», plantea.

La fundadora de Eticas, que hizo su tesis de «por qué y cómo se tomaban las decisiones sobre qué tecnologías incorporar a lo público», subraya que los servicios sociales están automatizando decisiones «muchas veces sencillas» –como «si has aportado los documentos A, B y C»– y que, cuando fallan, puede ser por un error humano de programación. Pero al mismo tiempo advierte de que en otros casos, como podría ser el del bono social eléctrico, hay «algoritmos más complejos» que van aprendiendo y pueden acabar discriminando. «Si a las personas de tal barrio se les va denegando el bono, el algoritmo identifica un patrón y va a denegar a quien venga de ahí la ayuda en un mayor número de ocasiones que a los de otro barrio», asevera.

Las bases de esta discriminación pueden deberse a «errores de diseño» y a emplear datos que no responden al «objetivo que tú tienes». Un ejemplo de ello –según relata Galdon– es el de una aseguradora de Estados Unidos que tenía un hospital y usaba un algoritmo para «decidir a quién se atendía antes»: «Al auditarlo se descubrió que, como los datos que tenía la aseguradora eran económicos, estaba priorizando a las personas por potencial gasto, no por la urgencia de la atención médica».

Más reciente es la polémica en el hospital de Stanford, donde confiaron el diseño de la campaña de vacunación frente a la COVID-19 a la inteligencia artificial. Uno de los datos recabados era el lugar de trabajo; los residentes que actúan en primera línea contra la pandemia se quedaron al final de la lista, incluso por detrás de personal de atención telefónica, dado que se encuentran en formación y no tienen un puesto asignado.

Estas situaciones van a producirse cada vez más a menudo porque se están fiando muchas decisiones a este tipo de soluciones informáticas. Y aunque Galdon cree que la legislación europea de protección de datos es garantista y adecuada, aboga por estar alerta especialmente con desarrollos que afectan a derechos y libertades fundamentales como, por ejemplo, los relativos al control fronterizo. Según remarca, se plantea la «recogida sistemática de datos biométricos de las personas que quieren entrar en Europa» y «si no haces una buena gestión de esos datos me puedes generar un daño para siempre», porque «una contraseña o un número de DNI me lo puedo cambiar, pero mi cara o mis dedos no los puedo cambiar».

Para evitar que surjan todos estos problemas, la fundadora de Eticas sostiene que «lo ideal es programar una auditoría desde el principio», que lo primero que hace es «trabajar conjuntamente con todos los equipos para diseñar ese proceso de datos» y después «de forma periódica va asegurando que el algoritmo no aprenda cosas negativas». «Tú puedes tener un algoritmo perfecto de partida, pero, si después va aprendiendo a revulnerabilizar a colectivos vulnerables, tienes que volver a entrar e intervenir. Con el algoritmo no se acaba nunca el proceso de revisión –concluye– porque el algoritmo siempre puede acabar aprendiendo patrones que no son aceptables».