Desinteligencia artificial de los sistemas de crédito social
En qué consiste el sistema de puntajes pionero en China, su repercusión en el mundo y la preocupación por su impacto sobre los derechos humanos.
- Bethany: “Lacie, ¡hola! ¿Cómo estás?”
- Lacie: "Estoy genial, gracias. Acabo de conseguir mi nuevo apartamento, es muy emocionante."
- Bethany: “¡Oh, eso es fantástico! Oye, ¿ya me has calificado?”
- Lacie: "Oh, claro. ¡Cinco estrellas!"
- Bethany: "¡Gracias! ¡Tú también!"
Este chat extraído de Black Mirror, "Nosedive", resalta el rol del reconocimiento facial y la calificación social en la vida diaria de sus personajes, mostrando la presión y superficialidad de un sistema basado en créditos y evaluación continua de las personas. Además, sugiere una relación entre vigilancia, control social-gubernamental e IA.
Si bien en occidente los sistemas control social se distribuyen de manera fragmentada en las redes sociales y aplicaciones que usamos diariamente, la preeminencia China en oriente genera preocupación por su impacto sobre los derechos humanos.
En mayo de 2024, el Parlamento Europeo ha publicado el informe “IA y derechos humanos: usando la IA como un arma de represión e impacto sobre los derechos humanos” donde detalla los aspectos técnicos del “Sistema de crédito social chino (SCS)”.
¿Cómo funciona el SCS chino?
El SCS se basa en la recopilación de datos de diversas fuentes, tales como el historial crediticio, actividad en línea o comportamiento cívico, los cuales son procesados por algoritmos complejos para generar una puntuación de crédito social para cada ciudadano. La puntuación puede variar de 1000 (máxima confianza) a 0 (menor confianza).
Una puntuación alta, otorga beneficios:
- Préstamos más fáciles y con mejores tasas de interés
- Viajes sin necesidad de visado a ciertos países
- Acceso a mejores educación y salud
- Menor tiempo de espera en trámites burocráticos
Una puntuación baja, conlleva penalizaciones:
- Dificultad para obtener préstamos o créditos
- Restricciones para viajar por el país o al extranjero
- Exclusión de escuelas y hospitales de élite
- Mayor presión administrativa e impositiva
Inculturación regional
El SCS no es un sistema nacional único, sino múltiples proyectos piloto de municipios y empresas privadas. Cada sistema regional incluye, por lo tanto, variables de puntuación basadas en costumbres locales, necesidades y estilos de gobierno, Con el tiempo, se los pretende integrar en un marco nacional más cohesivo, cada uno diseñado para abordar áreas específicas de comportamiento social y económico.
Por ejemplo, uno podría centrarse en la credibilidad financiera, rastreando los pagos de préstamos y fraudes financieros, mientras que otro podría enfatizar el decoro social, monitoreando patrones de comportamiento como el cumplimiento de las normas de tránsito o las interacciones públicas.
Simbiosis sectores público y privado
En el ecosistema del SCS, el gobierno y las empresas privadas operan de manera complementaria. El gobierno confía en la innovación y agilidad del sector privado en el manejo de conjuntos de datos masivos, mientras que las empresas se benefician de la legitimidad y el marco regulatorio que proporciona el gobierno. Esta simbiosis busca mejorar el SCS, siendo que las grandes tecnológicas como Alibaba y Tencent aportan datos y comportamientos de los ciudadanos.
Vigilancia tecnológica como soporte a la vigilancia social
La vigilancia se extiende al transporte público, con sistemas diseñados para monitorear el cumplimiento de regulaciones de individuos en tiempo real. Por ejemplo, la evasión de pago en el transporte público puede ser detectada y registrada como una acción negativa.
Algunas regiones han sumado sistemas donde miembros de la comunidad pueden informar tanto sobre comportamientos negativos como positivos de otros ciudadanos. Estas actividades informadas por pares también pueden ser consideradas en el SCS, integrando así un mecanismo de vigilancia social distópico que complementa la vigilancia tecnológica.
Correlacionar incrementa el poder
La influencia del SCS radica en la potencia para correlacionar gran cantidad de datos de varias fuentes, como el comportamiento on-line y físico, mediante algoritmos y modelos de machine learning. Lograr interoperabilidad implica desafíos técnicos como estandarización de datos y la resolución de discrepancias.
Así, el SCS se sumerge en un análisis dimensional, pintando un retrato multifacético del comportamiento que abarca la responsabilidad cívica, la integridad financiera y la confiabilidad social. Si bien la idea de un sistema que recompense el "buen comportamiento" y castigue el "malo" puede parecer atractiva en teoría, el SCS ha generado gran controversia debido a sus implicaciones éticas y potenciales violaciones a los derechos humanos.
¿Y por casa como andamos?
Los argentinos creemos transitar la vida libremente, pero la influencia incipiente de los sistemas de crédito social ya está presente en nuestra vida cotidiana: sistemas de puntuación para obtener beneficios, reconocimiento facial en aplicaciones con datos personales, vigilancia en redes sociales o vigilancia física en el transporte público. Observando el caso de China, es necesario reflexionar cómo afectan y modificarán en el futuro nuestros derechos cívicos y humanos.