¿Recuerdas el episodio “Caída en picada” de la serie “Black Mirror” de Netflix? ¿Crees que vamos hacia una sociedad en la que seamos valorados como ciudadanos por un sistema inteligente? ¿Cuántos de nosotros estamos realmente dispuestos a recuperar nuestra privacidad?
Hablamos de Social Scoring para referirnos a un sistema de puntuación para determinar la reputación de una persona o una empresa atendiendo a diversos criterios, entre ellos su actividad online.
El pasado 21 de abril de 2021 la Comisión Europea presentó una propuesta del reglamento sobre la protección y los límites necesarios en lo relativo a la vigilancia indiscriminada con IA y la prohibición del llamado “scoring” social. Dicha Comisión considera imprescindible establecer unos estándares internacionales con el fin de proteger a los ciudadanos sobre los riesgos que conllevan estas tecnologías.

Reglamento Europeo en materia de Inteligencia Artificial
El reglamento establece una serie de categorías asociadas a la gravedad del riesgo de que puedan vulnerarse derechos fundamentales de las personas. las categorías son: riesgo inadmisible, alto riesgo, riesgo limitado y riesgo mínimo. Entre los riesgos inadmisibles y por lo tanto usos de la IA que estarán prohibidos está la puntuación social o “social scoring” por parte de los gobiernos o el uso de la inteligencia artificial en sistemas que puedan manipular el comportamiento humano y especialmente en los niños.
Cabe resaltar la reglamentación sobre el uso de sistemas biométricos que entre otras cosas señala: “todos los sistemas de reconocimiento emocional y categorización biométrica estarán siempre sujetos a requisitos específicos de transparencia. También se considerarán aplicaciones de alto riesgo si entran en los casos de uso definidos como tales, por ejemplo en los ámbitos del empleo, la educación, la aplicación de la ley, la migración y el control de fronteras”.
Así en este punto quedan incluidos todos aquellos sistemas orientados al reconocimiento facial, análisis de sentimientos, etc. Por supuesto esto no significa que vayan a prohibirse ese tipo de aplicaciones, pero sí que deberán someterse a controles estrictos y a supervisión humana con el fin de “garantizar que estos sistemas sean precisos y que no se deriven efectos discriminatorios en la población afectada”.
¿Cómo se garantizará el cumplimiento de esta normativa? Dice el documento publicado: “Cada Estado miembro deberá designar una o varias autoridades nacionales competentes para supervisar la aplicación y ejecución, así como para realizar actividades de vigilancia del mercado. A fin de aumentar la eficiencia y establecer un punto de contacto oficial con la población y otros homólogos, cada Estado miembro deberá designar una autoridad nacional de supervisión, que también representará al país en el Comité Europeo de Inteligencia Artificial”. Así los Estados miembro tendrán la capacidad de imponer multas de hasta 30 millones de euros o el 6% del volumen de negocios anual total a escala mundial del ejercicio financiero anterior.
La importancia estratégica de la IA
Una de las principales preocupaciones de los gobiernos e instituciones públicas reside en el hecho de que la inteligencia artificial se ha convertido en un “ámbito de importancia estratégica en que se aúnan la geopolítica, los intereses comerciales y las preocupaciones en materia de seguridad”. Algunos países, como es el caso de China han entendido el enorme potencial detrás de la inteligencia artificial; en el año 2017 China expresó su intención de llegar a 2030 siendo la principal potencia mundial en el desarrollo de IA, su plan estratégico incluye inversiones multimillonarias en proyectos innovadores, en startups y en la investigación académica de la IA. Desde hace algunos años en los planes educativos de primaria y secundaria en las escuelas de toda China los niños estudian los fundamentos de la inteligencia artificial y se preparan para el futuro con una mentalidad “moonshot”.
En contraste vemos el férreo control al que son sometidos los ciudadanos en el ámbito privado, laboral e incluso en los centros escolares. El objetivo de China con su sistema de crédito social es construir una sociedad con un alto nivel de confianza en el que se recompense a los individuos por cumplir la ley y ser ciudadanos ejemplares, algo que por otro lado debería ser el objetivo de cualquier persona sin necesidad de estar vigilado. Uno de los argumentos en defensa del “social scoring” chino se centra en que únicamente trata con información crediticia y en aquellos aspectos legales y jurídicos asociados a un contexto comercial.
Sin embargo, y a pesar de lo que podamos pensar aquí en occidente, algunos estudios publicados indican que alrededor del 80% de los ciudadanos chinos aprobaban en cierta medida el sistema de crédito social y su aplicación.
La inteligencia artificial tiene un potencial demostrado en sectores tan importantes como la seguridad, la salud, la energía o el turismo, y es difícil encontrar un sector social, empresarial, productivo o de servicios en los que la inteligencia artificial no pueda aportar soluciones que nos hagan la vida más fácil, pero también debemos ser conscientes de los riesgos que implica. A pesar de los esfuerzos de la Unión Europea, “por convertirse en líder mundial en materia de fomento internacional de una IA digna de confianza”, los peligros asociados al mal uso de la IA debido a la importancia estratégica de la que hablábamos anteriormente van a hacer muy difícil cumplir finalmente esos propósitos tan loables. A pesar de vivir en la era de los datos nunca una sociedad había estado tan desinformada; los riesgos de manipulación a través de “fake news”, los sesgos raciales, culturales o por razones de sexo, ¿Qué gobierno no se siente atraído ante semejante potencial?
El papel fundamental de la educación
Sin educación será imposible alcanzar las cotas de seguridad y privacidad que todos deseamos y esa es una labor de los gobiernos que empieza en los colegios e institutos. Los planes educativos deben incluir asignaturas que enseñen a los jóvenes no sólo a convivir con estas tecnologías, sino también a participar en su desarrollo activamente.
La UNESCO, como organismo especializado de las Naciones Unidas para la educación, tiene encomendada la dirección y coordinación de la Agenda Educación 2030. En 2019 publicó un documento titulado “Artificial intelligence in education: challenges and opportunities for sustainable development” cuya lectura recomiendo. Entre otras cosas “este documento analiza cómo la IA puede utilizarse para mejorar los resultados del aprendizaje, presentando ejemplos de cómo la tecnología de la IA puede ayudar a los sistemas educativos a utilizar los datos para mejorar la equidad y la calidad de la educación en el mundo en desarrollo”.
Depende de nosotros decir adiós a nuestra privacidad aunque algunos estén empeñados en no querer recuperarla nunca.
¿Crees que vamos hacia una sociedad en la que seamos valorados como ciudadanos por un sistema inteligente? ¿Cuántos de nosotros estamos realmente dispuestos a recuperar nuestra privacidad?