Por Karina Gibert, directora del centro de investigación Intelligent Data Science & Artificial Intelligence, y Javi Creus, fundador de Ideas for Change

Los algoritmos basados en Inteligencia Artificial (IA) tienen múltiples aplicaciones y actualmente son capaces de aventurar quién le gusta a quién, qué música te encanta, cuánta agua necesita un cultivo, cuándo debe ponerse rojo un semáforo y cómo modificar los precios en un negocio, entre otras muchísimas cosas que hacemos cada día y que implican la intervención, muchas veces transparente, de una inteligencia artificial.

La propuesta de Tik Tok representa un cambio de paradigma importante al que seguirán otras redes sociales, como Meta, y nos mueve de un sistema de recomendación de contenidos basado en las redes de contactos del individuo a un sistema gobernado por un algoritmo que propone contenidos en base a un test continuo para maximizar el tiempo de atención.

Actualmente, la inteligencia artificial puede recomendar a qué temperatura programar la combustión de residuos en función de su composición, qué combinación de moléculas puede salvarte de una enfermedad mortal o cómo, en el anuncio de la DGT de Semana Santa de 2022, anticipar quién  iba a morir en la carretera durante aquellas vacaciones.

La Autoridad Catalana de Protección de Datos publicó en 2020 un completo informe revisando casos de algoritmos que toman decisiones automatizadas en distintos contextos en Catalunya [ACPD 2020] y puso de manifiesto la existencia de un sinfín de casos en uso en ámbitos como salud, justicia, educación, movilidad, banca, comercio, trabajo, ciberseguridad, comunicación o sociedad.

En materia jurídica, los algoritmos de Inteligencia Artificial podrían complementar o incluso sustituir (aunque no deberían) un reglamento que puede ser consultado, está publicado en el Boletín Oficial y puede ser interpretado de forma diferente por varias partes, o a un organismo decisor cuyas decisiones son en la mayoría de los casos recurribles. 

En el àmbito del derecho [Bahena 2012], más allá de los buscadores inteligentes de documentos relevantes en la resolución de casos jurídicos, que utilizan la IA para las búsquedas de precedentes jurídicos basadas en palabras clave, existen numerosos casos de sistemas inteligentes que dan soporte a la elaboración de demandas, contestaciones, e incluso al dictamen de las sentencias y su posterior argumentación bajo diferentes formas de IA que van desde los clásicos sistemas de razonamiento basados en reglas (como GetAid, del gobierno australiano para determinar el acceso de oficio a asesoría legal en temas criminal y familiar) [Zeleznikov 2022] ,  hasta las más avanzadas arquitecturas híbridas que combinan por ejemplo razonamiento automático con redes neuronales artificiales (como Split-up que propone la partición de bienes y custodia de hijos en los casos de separación y divorcio en la Corte Australiana) [Zeleznikov 2004]. 

Un ejemplo cercano es la solicitud realizada por la Fundación Civio para tener acceso al código fuente de la aplicación BOSCO, desarrollada por el gobierno y utilizada por las compañías eléctricas para saber si un usuario en situación de vulnerabilidad puede recibir el “bono social”, es decir, descuentos en su factura de energía. A pesar de haber comprobado que muchos solicitantes con derecho no recibían dicha ayuda, la demanda fue denegada en primera instancia en contra del informe del Consejo de Transparencia, alegando que suponía un peligro para la seguridad pública (!). Civio ha presentado recurso de apelación a esta decisión que deja a los ciudadanos desprotegidos ante decisiones automatizadas que no respetan sus derechos.

Es importante tener en cuenta que la Comisión Europea ha emprendido una acción decidida a definir un marco de referencia para el desarrollo de una IA segura, ética y confiable, y está en proceso de elaboración de la Ley Europea de la IA (AI Act) [CE AI act 2021], donde se intenta asegurar que este método en Europa se orientará al bien común, pondrá a la persona en el centro y respetará los derechos fundamentales de las personas, a diferencia de la visión China o Norteamericana, donde respectivamente el control del dato lo tiene el gobierno (vigilancia y sistemas de crédito social) o lo tiene la empresa propietaria de la aplicación que lo recoge (y lo monetiza como quiere).

En efecto, ya en 2018, de forma pionera, la CE elabora sus recomendaciones éticas para una IA segura y confiable (TrustWorthy AI, TWAI)  [CE ethics 2018] y el primero de sus ejes lo dedica a la Human Agency and Human Oversight en un claro intento de evitar que las aplicaciones basadas en IA puedan tomar decisiones de forma autónoma. Es decir, el lugar que Europa propone reservar a las aplicaciones basadas en IA es el de un asistente inteligente para el usuario, el cual tomará de forma efectiva la decisión, de tal manera que exista siempre una validación humana a la recomendación, predicción o diagnóstico propuesto por el algoritmo.

Por otro lado, en la Carta de Derechos Digitales (catalana [CDDcat 2019] y española [CDDSpain 2021]) se reconoce el derecho de las personas a ser informadas de la intervención de un algoritmo en cualquier decisión que las afecte, y la persona tiene también el derecho de conocer con qué criterios la ha evaluado el algoritmo y cómo se ha elaborado el resultado de dicha evaluación. Ello ha de permitir detectar posibles sesgos en el funcionamiento del algoritmo, que eventualmente puedan incrementar las desigualdades sociales o limitar los derechos de las personas.

Sesgos y explicabilidad

Entre otros muchos, son conocidos, y bastante escandalosos, los casos de discriminación por razón de género en algoritmos basados en IA que evalúan solicitudes de financiación en distintos canales. Sin ir más lejos, AppleCard, la  tarjeta de crédito lanzada por Apple en 2019,  ofrecía hasta 20 veces más  liquidez y un mayor plazo de pago a los hombres que a las mujeres, incluso en igualdad de condiciones [Telford 2019]. La concesión de créditos a la emprendeduría ha sido también objeto de escandalosos agravios comparativos para las solicitudes encabezadas por mujeres en muchos países, como Chile [Montoya 2020], Turquía [Brock 2021] o incluso Italia [Alesina 2013] y aunque el problema se detecta ya en 2013, en 2021 se siguen dando casos.

Prevenir este tipo de situaciones impacta directamente en el tipo de algoritmo que se puede utilizar para asistir a las decisiones que afectan a las personas, porque deben ser algoritmos capaces de explicar o argumentar por qué realizan una cierta recomendación y no otra o por qué elaboran una cierta predicción. Existe de hecho una rama relativamente nueva de la IA que ha tomado mucha fuerza y se conoce como IA explicable (explainable AI), que trata estos temas. Y por el momento, es difícil conseguir que métodos de deep learning (aprendizaje profundo), que están haciendo predicciones muy buenas y muy rápidas sobre realidades muy complejas, puedan justificar dichas predicciones adecuadamente. Esto ocurre en realidad con todos los algoritmos de caja negra, entre los que están no solo los de deep learning, sino también todos los basados en redes neuronales artificiales o computación evolutiva.

La aplicación ChatGPT de Open AI abierta al público general el 30 de noviembre del 2022 tiene una capacidad sorprendente para redactar todo tipo de textos o líneas de código sobre cualquier tema sobre el que se le interrogue; las barreras a la universalización del coche eléctrico, la redacción de un contrato de alquiler tipo o el código de una aplicación que haga aparecer un avatar saludando con la mano sólo cuando haya un humano frente a la pantalla son algunos de los temas sobre los que puede aportar respuestas.

En todas las pruebas realizadas por los autores y muchos otros usuarios sorprende la velocidad y verosimilitud de las respuestas ofrecidas por la aplicación, aunque también se observan ausencias de contenidos o argumentos relevantes en campos específicos que dificultan en cualquier caso considerar los resultados ofrecidos como plenamente fiables.

ChatGPT ha sido entrenado con millones de documentos publicados hasta el año 2021 pero sus creadores no han desvelado de qué documentos se trata. Los millones de personas experimentando con la aplicación en este momento quisieran saber cuál ha sido el “universo” de conocimiento empleado para poder interpretar los posibles sesgos en los resultados que ofrece.

Demasiado prometedor para dejarlo pasar

Parece claro que la capacidad de los algoritmos para abarcar la complejidad, acercarnos a una deseada objetividad, pero sobre todo su capacidad para generar economías de escala en las actividades relacionadas con el conocimiento constituye una oportunidad demasiado atractiva para el progreso como para dejarla pasar, a pesar de los riesgos ya conocidos, y de aquellos otros que iremos descubriendo en los próximos años.

Solo a través de la organización algorítmica puede el metro de Hong Kong organizar de la forma más eficiente a los diez mil operarios que cada noche realizan las 2.600 labores de reparación y mantenimiento necesarias para disponer de un servicio de transporte público con unos niveles altísimos de puntualidad (99.9% desde 2014!), y generar un ahorro de 2 días de reparaciones por semana y unos 800.000$ por año [Chun 2005] [Hodson 2014]. El metro de Barcelona dispone desde diciembre de 2020 de un sistema basado en inteligencia artificial que permite controlar el aforo de los andenes y trenes, y abrir o cerrar los accesos a los mismos para generar las condiciones más seguras para los pasajeros desde el punto de vista de la propagación del virus [Nac 2020].

Cuando un algoritmo se codifica en un lenguaje de programación comprensible para las máquinas se convierte en una herramienta que puede escalar su impacto a una dimensión no alcanzable por los medios de comunicación entre humanos. Así por ejemplo, la actualización del software de una flota de vehículos conectados o de robots permite incorporar las mejoras resultantes del aprendizaje del conjunto a cada uno de ellos. En paralelo, cada actualización de los algoritmos que gestionan nuestras herramientas de búsqueda o navegación abren y cierran oportunidades a comercios y ciudadanos para descubrirse mutuamente. 

En realidad estamos asistiendo al desarrollo emergente de una tecnología de gran potencia, la Inteligencia Artificial, que como todas las cosas nuevas genera ciertos miedos y donde una buena información puede ayudar a disipar dudas. En este sentido, la Estrategia Catalana de Inteligencia Artificial [catalonia.ai 2021]  del Govern de Catalunya lanzó en 2021 un curso divulgativo de Inteligencia Artificial orientado a dar formación básica a la ciudadanía en general. El curso, diseñado por el centro de investigación de la UPC, IDEAI (Intelligent Data Science and Artificial Intelligence research center) es gratuíto y se puede acceder a él desde la web https://ciutadanIA.cat. 

Como todas las tecnologías, la IA puede presentar usos más o menos éticos, con mayor o menor riesgo, y el reto actualmente es encontrar aquella delimitación en los usos de la IA que nos permita aprovecharnos de todos sus beneficios sin impactarnos con perjuicios.

Si nos remontamos en la historia, el fuego o el cuchillo son tecnologías que cuando aparecen cambian radicalmente la historia de la humanidad. Ambas, al igual que la IA y tantas otras, tienen dos caras. El fuego nos permitió calentarnos y superar las heladas, y también cocinar, pero si no se toman las precauciones necesarias puede causar quemaduras e incendios que pueden acabar en grandes desastres naturales. El cuchillo permitió nuevas manipulaciones de alimentos y dar forma a nuevas herramientas contribuyendo al desarrollo de la civilización, pero también sirve para agredir a personas, prueba de ello es que en todas las culturas hemos desarrollado normas que penalizan los usos indeseables de estas tecnologías. Sin embargo, a pesar de esos riesgos a  nadie se le ocurre prohibir la fabricación y uso de cuchillos por protegernos de sus peligros y riesgos. Y esto es precisamente lo que debería ocurrir también con la Inteligencia Artificial; se trata más bien, de identificar los riesgos y regular sus usos para permitir un desarrollo beneficioso para todos.

La confianza, los límites de las máquinas y el poder de los datos

Si el machine learning permite maximizar una función aplicando la fuerza computacional, la velocidad y la capacidad de aprendizaje de las máquinas a una masa de datos, conviene entonces evaluar aquellas dimensiones en las que las máquinas son confiables y aquellas situaciones en las que la masa de datos resulta adecuada.

Entonces la pregunta es: ¿A quién podemos confiar nuestra “masa de datos”?¿A quién podemos confiar el control de las máquinas para que trabajen a nuestro servicio?

El informe Edelman 2022 señala que a nivel global estamos en el momento más bajo de confianza en las empresas, las ONGs, las instituciones y los medios desde que iniciaron esta serie en el año 2000. La sucesión de crisis financieras, la corrupción institucional, las noticias y vídeos falsos (fake-news)  y la Covid-19 han instalado la desconfianza como el sentimiento por defecto frente a las instituciones. El gobierno holandés en pleno se vió obligado a dimitir el 8 de enero de 2021, cuando se pudo demostrar que el sistema SyRI basado en IA que utilizaba desde 2014 para identificar fraude en los beneficiarios de las ayudas sociales sufría de un sesgo que imputaba únicamente familias inmigrantes de distritos vulnerables y había procesado erróneamente a 26.000 familias, obligándoles a devolver los subsidios injustamente. Cientos de familias sufriendo este acoso institucional injusto, que provocó depresiones, ruinas, estigmatización, suicidios, o prisión POR ERROR, porque nadie revisaba con espíritu crítico las recomendaciones del algoritmo [Lazcoz 2022].

En el ámbito digital Tim Berners Lee, creador de la www, critica cómo su propia creación, inicialmente destinada a constituir la mayor herramienta de democratización del conocimiento de la historia, ha degenerado en un instrumento de división y desigualdad a través de la captura de la atención y el control de comportamientos e intenta desarrollar una alternativa mejor. 

Por otro lado, el desarrollo de las nuevas tecnologías ha derivado en una concentración de algoritmos y datos en manos de unas pocas supercorporaciones de ámbito mundial que cada vez influyen en más aspectos de nuestra vida, con los riesgos que ello entraña.

Garantizar que los algoritmos no incorporan sesgos por diseño es uno de los mayores retos a los que debemos enfrentarnos. En realidad el diseño de algoritmos descansa sobre la comprensión del desarrollador sobre el proceso real que está representando computacionalmente y para adquirir esta comprensión hay que interactuar con el experto en dicho proceso y captar los aspectos relevantes a tener en cuenta en la implementación.

En esta transmisión del experto en el dominio de aplicación al especialista en computación, el conocimiento implícito juega muy malas pasadas. Ni el experto en el dominio es consciente que lo tiene, y que lo utiliza en sus razonamientos, decisiones y actuaciones, ni se da cuenta que no lo está incluyendo en su descripción del mundo, ni lo está transmitiendo al interlocutor, ni el desarrollador es consciente que hace hipótesis (muchas veces peligrosamente simplificadoras) que guían su implementación y que pueden sesgar el comportamiento del algoritmo.

Buena parte del conocimiento implícito tiene un componente cultural situado, es decir, muchos valores sociales son válidos en una sociedad o situación específica pero no son universalizables y algunos criterios se activan oportunamente en el humano frente a ciertas situaciones de excepción, pero permanecen en el inconsciente el resto del tiempo, y por tanto, no se pueden pasar ni al verbal, ni mucho menos al algoritmo. 

Las máquinas pueden aplicar la fuerza computacional, la velocidad y la capacidad de proceso pero no son sensibles al contexto, a menos que se les de una buena descripción formal del mismo, no son incapaces de tratar excepciones, si no se las ha implementado para tenerlas en cuenta, ni son capaces de tratar imprevistos, a diferencia de los humanos. Esto hace que puedan aparecer comportamientos sesgados en los algoritmos que tratan fenómenos muy complejos. 

Dichos sesgos no siempre son intencionados. A menudo no practicamos con suficiente pulcritud el análisis de los escenarios para los que se construyen los algoritmos. Definir criterios para la mayoría, para el caso general, casi siempre es una mala idea, porque es en la excepción, en la vulneración de la minoría, donde aparecen las injusticias. 

Es necesario emplear más a fondo el pensamiento lateral y realizar un análisis más completo de los posibles escenarios de excepción para reducir el sesgo en la lógica de los algoritmos. Ciertamente, disponer de equipos diversos facilita esta tarea, puesto que la combinación de diferentes miradas sobre un mismo problema aporta visiones que se complementan y de forma natural reducen los sesgos lógicos, pero también los sesgos en los datos.

Por otra parte, los algoritmos se alimentan de datos, y hemos perdido la buena costumbre de utilizar la vieja teoría del muestreo y del diseño de experimentos para garantizar que los datos que utilizaremos para entrenar una IA representarán correctamente la población en estudio y no conllevarán sesgos que corrompan las predicciones y recomendaciones de los sistemas resultantes.

Según explica Kai Fu Lee en su libro “AI superpowers” la disponiblidad de datos es más relevante que la calidad del algoritmo. Así por ejemplo, los algoritmos para jugar al ajedrez existían desde el año 1983, pero no fue hasta el año 97 cuando Deep Blue ganó a Kasparov, sólo seis años después de que en 1991 fuera publicada una base de datos con 700 mil partidas entre maestros. En un mundo donde los algoritmos básicos son públicos es la disponibilidad de datos lo que determina la ventaja.

Sin embargo, actualmente los datos ya no solo se reducen a los números o las magnitudes medibles que la estadística tradicional ha venido analizando desde hace tantísimos años. La voz, las imágenes, los vídeos, los documentos, los tweets, las opiniones, nuestras constantes vitales o los valores de las monedas virtuales son hoy fuentes de información valiosísimas de las que extraer información relevante en todas direcciones, y constituyen una nueva generación de datos complejos que son objeto de explotación intensiva desde el ámbito de la inteligencia artificial. Los videojuegos, las simulaciones virtuales o el tan prometido metaverso están todos ellos construídos con datos, y constituyen metáforas computacionales de mundos reales o imaginarios y como afirma Beau Cronin, pueden ser preferibles al mundo real para aquellos que no gozan del “privilegio de realidad”: es impactante constatar que hoy en día el 50% de los jóvenes ya considera  que tienen más oportunidades vitales en el entorno en línea que en el mundo real.

Arquitecturas de datos descentralizadas o distribuídas, y las emergentes tecnologías de ciencia de datos federadas forman parte de un intenso debate sobre cómo desarrollar las políticas de datos, que no solo se reducen a las arquitecturas de soporte donde alojar los datos, sino también a cómo se producen los mismos, las políticas de abertura y tenencia de datos y los modelos de propiedad y de negocio (comercial o institucional?) y las licencias de uso. Algunos argumentan que si la producción de los datos es distribuida -el algoritmo de reconocimiento facial “facelift” de Google se basa en fotografías de 82.000 personas- su propiedad debería también ser distribuida. En algún caso los tribunales también han obligado a la destrucción de los algoritmos generados a través de la obtención engañosa de datos, como la aplicación Kurbo que capturaba datos de niños de ocho años sin el conocimiento de sus mayores.

Retos y propuestas

Ya no quedan dudas de que la actividad humana modifica las condiciones de vida en el planeta y de que lo ha hecho de forma acelerada durante los últimos dos siglos, hasta el punto de hacernos conscientes de la emergencia climática y social en la que vivimos.

Nuestro reto colectivo es ahora la vida: cómo generar condiciones de vida digna para los 8.000 millones de personas que habitamos el planeta, y cómo hacerlo sin que nuestra supervivencia amenace la cantidad, calidad y diversidad de la vida de los otros seres vivos o de las generaciones futuras.

No podemos prescindir de la Inteligencia Artificial como herramienta para abarcar la complejidad, la simultaneidad y la escala de estos retos, pero tal como hemos argumentado anteriormente, tampoco podemos dejar que aquello que es técnicamente posible, aunque no sea necesariamente deseable, nos guíe en su desarrollo.

La IA es una tecnología creada por los humanos y por ello recoge muchas de las características de nuestra especie, entre ellas, la posibilidad de equivocarse. Puede tener prejuicios y preferencias cuando se entrena con datos sesgados o sus creadores definen criterios que no son equitativos, o no contemplan casuísticas relevantes, y ello puede contribuir a incrementar las desigualdades sociales o las injusticias. Por esta razón es fundamental refinar las metodologías de construcción de datos de entrenamiento, de diseño de los algoritmos y de validación de los mismos para que garanticen una IA sólida y confiable, así como desarrollar un marco normativo y legal que acompañe al sector, y a la ciudadanía, con seguridad.

Creemos que es posible formular un nuevo marco para el desarrollo de la Inteligencia Artificial al servicio de la vida si combinamos cuatro ámbitos de actuación interdependientes: el tecnológico, el metodológico, el jurídico y la gobernanza. Detallamos a continuación cada uno de ellos.

Ámbito tecnológico: Tecnologías descentralizadas

Si, tal como hemos visto, la tentación del control social o comercial proviene de la centralización de los datos, nos conviene impulsar tecnologías que como los sistemas federados de aprendizaje (federated learning) permiten extraer conocimientos de bases de datos distribuidas en distintas sedes, distribuyendo la ejecución de los algoritmos a optimizar en cada una de estas sedes y extrayendo después conclusiones de validez general tras diversas iteraciones. 

Si el despliegue masivo de la internet de las cosas debe ayudarnos a gestionar la complejidad y simultaneidad de estos retos en cada contexto local, debemos también impulsar los avances en la capacidad de computación en el extremo (edge computing) que habilite la respuesta autónoma y situada en cada momento sin necesidad de trasladar o procesar los datos a un sistema centralizado. Sirva como ejemplo el  artículo publicado en Nature el 15 de septiembre del 2021 en el que se describe cómo se generó un algoritmo que predecía con un 92% de fiabilidad las necesidades de oxígeno para pacientes con Covid a partir de los datos vitales y radiografías de pecho de pacientes de 20 hospitales sin necesidad de centralizar todos los datos en una única base de datos.

La blockchain puede también contribuir a acreditar y validar las interacciones entre agentes distribuidos para la generación de valor,  y facilitar así el desarrollo de sistemas complejos orientados a objetivos compartidos.

Ámbito metodológico: Metodologías híbridas knowledge-based/data-driven con asistencia del experto

Desde su nacimiento la IA ha pasado por varias etapas. En la inicial, el foco era el conocimiento de los expertos y los sistemas basados en conocimiento (knowledge-based);  ante sus limitaciones tuvo lugar un cambio de paradigma hacia el machine learning (aprendizaje automático) donde el foco se ha puesto en los datos y los procesos de aprendizaje inductivo. 

Tras casi cuarenta años de machine learning y modelos basados en datos (data-driven), constatamos que no todo es representable a través de datos, y la aproximación data-driven pura también presenta limitaciones para los ambiciosos objetivos que se plantean con el uso de la IA.

Parece que lo razonable es moverse a un tercer paradigma, el de las Inteligencias Artificiales híbridas -aquellas que combinan componentes basados en conocimiento con componentes basadas en datos de forma cooperativa- que conservan las bondades de ambas aproximaciones y mitigan mutuamente sus limitaciones; un paradigma donde los datos lleguen donde no llega el conocimiento implícito y no formulable de los expertos, y el conocimiento humano aporte el contexto que no se puede representar en los datos.

El tercer ingrediente fundamental es la intensa colaboración con el experto en la aplicación del sistema basado en IA durante todo el proceso de diseño, construcción, elección de los datos relevantes, preparación de datos, evaluación, validación y supervisión del sistema; especialmente en la contextualización e interpretación de resultados y en la supervisión de las recomendaciones que da el sistema ya en fase de producción (human agency).

El esquema que incluye al “human in the loop” es el único que garantiza que los datos son los relevantes, que su uso está justificado y que lo que se hace con ellos tiene pleno sentido, amén de ser el único que garantiza la correcta puesta en contexto de los resultados obtenidos. 

Por supuesto que será fundamental contar con expertos libres de intencionalidad y en este sentido es interesante contar con equipos diversos de especialistas que aporten el conocimiento consensuado en el ámbito de aplicación dejando de lado visiones personales o tendenciosas. Esto, sin embargo, no tiene ni más ni menos riesgo que la necesidad absoluta de que los datos que alimenten al sistema tengan la máxima calidad, y cuya garantía recae, también, en manos de los mismos humanos expertos que intervienen en el proceso.

Ámbito jurídico: Marco jurídico y normativo de los datos y los algoritmos

Tal como ha ocurrido en otros ámbitos, la Unión Europea lidera el desarrollo de un marco jurídico y normativo que regule el uso de los datos y los algoritmos respetando los derechos de los ciudadanos para conseguir un adecuado equilibrio entre el bien común, la competitividad económica y el progreso social.

La filosofía general de dicha regulación, que los estados, regiones y municipios están desarrollando en paralelo, es evitar escenarios en los que los datos y los algoritmos son utilizados de forma inadecuada para el control comercial o social de los ciudadanos.

Complementariamente a las iniciativas legislativas de obligado cumplimiento, grupos de ciudadanos y profesionales diversos impulsan también iniciativas que tienen por objeto garantizar un uso adecuado de los datos y una aplicación controlada de los algoritmos.

Así por ejemplo, la cooperativa ciudadana de datos para la investigación en salud Salus.coop, diseñó las licencias de uso de los datos junto a los ciudadanos a través de la iniciativa TRIEM, en la que presentaba a éstos con diversos escenarios en los que se solicitaban sus datos y pedían su aceptación o rechazo. Los datos no son simplemente “contenidos” que puedan ser compartidos con licencias Creative Commons y cada escenario presentado detallaba (i) quién los solicitaba (ii) cuál era el objeto de la investigación (iii) cómo se compartirían los resultados de la investigación y (iv) qué riesgo de reidentificación asumían aquellos que compartieran sus datos.

En paralelo, grupos de expertos, profesionales y gobiernos impulsan la creación de sellos y certificaciones, tales como el sello ético PIO del Observatorio de Ética de la Inteligencia Artificial de Cataluña (OEIAC) [PIO 2022], que acrediten la capacidad de explicabilidad del algoritmo, el ajuste de sus recomendaciones a los objetivos deseados o la representatividad de los datos utilizados en el entrenamiento respecto a la población afectada por su aplicación. El 23 de diciembre de 2022 el Ayuntamiento de Barcelona ha puesto en vigor el Protocolo de Definición de metodologías de trabajo y protocolos para la implementación de sistemas algorítmicos de 15 de diciembre de la Comisión de Govern, como parte de las acciones previstas en la Medida de Gobierno de la Estrategia Municipal de Algoritmos y Datos para el Impulso Ético de la Inteligencia Artificial. Este protocolo, siguiendo las directrices europeas, establece en cada paso del ciclo de vida de un servicio TIC del Ayuntamiento de Barcelona basado en inteligencia artificial, los estudios, controles y estrategias a desarrollar [Protocol IA-BCN 2022].

En el ámbito corporativo se debe buscar un equilibrio entre el nivel de transparencia y apertura de los criterios utilizados por un algoritmo, y el secreto comercial o ventaja competitiva propia de la empresa que garantiza su supervivencia y desarrollo en un mercado global. En este contexto parece socialmente exigible la explicitación de los criterios de decisión empleados, pero más difícilmente la apertura del código para su examen.

En el mismo sentido deberían establecerse políticas de backrunning (ejecución inversa) de los algoritmos sobre bases de datos representativas de la población a la que van a afectar para validar objetivamente la ausencia de sesgos y la calidad social de las recomendaciones resultantes.

Por último, resulta imprescindible informar a los ciudadanos de aquellas situaciones en las que una IA está tomando decisiones relevantes para su vida, así como instrumentar el derecho a conocer los criterios empleados en la toma de decisiones y a recurrir a un interlocutor humano cualificado para atender sus reclamaciones. Las cartas de derechos digitales en vías de redacción o ya aplicables desarrolladas en diversos ámbitos, entre ellos el catalán, o el estatal formulan también el derecho de los ciudadanos a negarse a que sus datos se usen para propósitos no deseados, aunque se trate de datos públicos ya en posesión de las administraciones (opt out).

Ámbito gobernanza: Gobernanza participativa

El gobierno de los datos, la materia prima que alimenta a la Inteligencia Artificial, es fundamental para la definición de sus fines últimos. Tal como hemos observado el gobierno corporativo o institucional de masas de datos centralizados pueden poner en riesgo o limitar derechos ciudadanos de carácter fundamental, o desviar el potencial de su uso en conflicto con el interés general o los retos socialmente relevantes en cada momento y sociedad.

Frente a los legítimos temores de los ciudadanos ante el mal uso de sus datos a nivel individual, han surgido en todo el mundo un conjunto de nuevas instituciones sociales que instrumentan la gobernanza colectiva de los datos para el bien común conocidas como “data trusts”, literalmente fideicomisos de datos.

Los “data trusts” adoptan en la actualidad multitud de formas jurídicas; fundaciones públicas, privadas o mixtas; cooperativas o sindicatos de datos; o incluso DAOs (organizaciones distribuidas autónomas) basadas en un conjunto de reglas que operan sobre blockchain.

En todas ellas el objetivo es maximizar el potencial colectivo de los datos a través de mecanismos de gobernanza participativos y transparentes que garanticen su uso para aquellos donde los ciudadanos o las normas de las instituciones que los gestionan en su nombre han prestado su apoyo directamente y no para otros.