Los riesgos del sistema de perfilamiento que quería contratar la Policía
Por: Juan Diego Castañeda y Andrés Velásquez
Con la colaboración de Temblores ONG
La Policía inició un proceso para adquirir un sistema al que denominó “sistema de ciberinteligencia basado en inteligencia artificial” que abarcaba programas y equipos para monitorear sitios web, redes sociales, TOR, I2p, Freenet y sistemas de mensajería instantánea como Telegram. También haría tareas de inteligencia de fuentes abiertas y redes sociales (OSINT/SOCMINT por sus siglas en inglés). La Policía presupuestó casi 4.500 millones de pesos para pagarlo (1). El proceso de contratación fue cancelado el 27 de agosto de 2020 porque los oferentes no cumplieron los requisitos técnicos (2).
A pesar de que en esta ocasión el proceso de adquisición del sistema no salió adelante, creemos que es importante analizarlo y hacer algunas advertencias sobre los riesgos para los derechos humanos que implica una plataforma de inteligencia de fuentes abiertas y redes sociales. El análisis se realizó a partir de la información disponible en el portal de contratación del Estado colombiano.
El sistema de inteligencia define unas (1) fuentes de información y (2) extrae datos de ellas por medios automatizados. Esa información (3) se procesa y (4) sirve para generar reportes, alertas y otros productos.
Los riesgos para los derechos humanos como la libertad de expresión, la intimidad y la autonomía están en los distintos componentes del sistema. En general, la Policía buscaba un sistema que puede generar un perfilamiento de personas sin control democrático y que puede resultar en abusos, puede afectar negativamente el comportamiento de las personas en internet y puede ser abusado para influenciar el debate público.
Perfilamiento
El perfilamiento ciudadano es una práctica policial en la que los agentes buscan personas potencialmente “peligrosas” en el espacio público. El problema con el perfilamiento es que la policía se basa en prejuicios físicos para identificar a las supuestas ciudadanías peligrosas, prejuicios que han servido para estigmatizar, discriminar y criminalizar a poblaciones que históricamente han sido apartadas y vulneradas. Ahora, vale la pena preguntarse por cómo funcionará y qué peligros tiene el perfilamiento ciudadano que ya no existirá solamente en el espacio público urbano, sino que también estará en el espacio público digital como lo son las redes sociales.
El perfilamiento digital es la recolección sistemática y deliberada de datos en referencia a personas concretas. Las capacidades de recolección del sistema de la Policía buscan automatizar este procedimiento. Manualmente, la información sobre las personas se recolecta para un propósito y con criterios específicos. Con la automatización, se recogen todos los datos posibles de todas las fuentes mencionadas. Los perfiles surgen del análisis de los datos de forma inductiva: dentro de los datos hay varios que se identifican con el correo fulanodetal@correo.com, por tanto, las actividades asociadas a este correo pueden corresponder a la misma persona. Esta forma de analizar datos no puede garantizar la certeza de la conclusión sino que solamente la expresa como una probabilidad.
Además, el trabajo de análisis de los datos lo hace una serie de instrucciones que llamamos algoritmo. Sin embargo, el proceso mediante el cual los datos se transforman en inferencias y se calculan las probabilidades, es usualmente difícil de explicar.
El riesgo de la creación de perfiles en el sistema de la Policía tiene dos caras: no sabemos qué van a considerar peligroso y tenemos ejemplos de cómo la Policía considera como peligrosas a personas u organizaciones que no están de acuerdo con políticas de gobierno o acciones de las autoridades. Por este motivo, consideramos que con el tipo de sistemas que aspiraba tener la policía, también se arriesgaría la libertad de expresión y de opinión de la ciudadanía, pues como bien es sabido por medio de los perfiles en las redes sociales las personas expresan sus opiniones, inconformidades y reclamos. a Policía podría hacer un seguimiento de estas expresiones ciudadanas que ocurren en el entorno digital y por ende, podría perfilar a las personas que considere que tienen opiniones, discursos o ideas “peligrosas”.
En primer lugar, el sistema que quería crear la Policía, permitiría crear cualquier criterio de búsqueda y marcar el comportamiento como peligroso. Por ejemplo, el sistema podría buscar cuentas en redes sociales ubicadas fuera de las ciudades capitales que hayan adquirido más de 100 seguidores en una semana. Así podría dar con líderes sociales en las regiones. A la semana siguiente, los operadores podrían cambiar el criterio de búsqueda y crear nuevos perfiles de personas que consideran peligrosas, por ejemplo, buscando las cuentas que hayan seguido a las identificadas en la búsqueda anterior, pero que hayan interactuado con una cuenta de una lista que hayan definido como de oposición. Como se ve, el criterio para evaluar la peligrosidad es tecnológicamente fluido y políticamente arbitrario, lo que incrementa el potencial de abuso de esta herramienta.
Tenemos buenas razones para desconfiar de la falta de criterios claros para definir qué es peligroso. Por ejemplo, en marzo de este año, un operador de la cuenta en Twitter del Ejército reveló una lista de 34 cuentas que tituló “Oposición”, entre ellas, medios independientes, políticos de oposición al gobierno actual, las cuentas del partido FARC y organizaciones de derechos humanos. El sistema de la Policía no solamente haría seguimiento a esas cuentas sino que podría alertar sobre qué cuentas siguen a las de la lista de seguimiento, qué cuentas nuevas que no estén en la lista son seguidas por la mayoría de ellas, cómo hacen presencia en otras redes sociales o desde dónde realizan publicaciones.
El perfilamiento y las definiciones de lo peligroso también están atravesadas por el racismo o la xenofobia. Privacy International reporta casos de detenciones arbitrarias por publicaciones en redes sociales o la identificación de personas como peligrosas por participar en protestas sociales.
En Colombia hay un largo historial de organizaciones, movimientos o personas que se posicionan políticamente y abiertamente en contra de los mandatarios y autoridades, quienes a su vez abusan del poder del Estado para amenazar o silenciar esas voces. Los escándalos de las chuzadas, que repetimos casi cada año, demuestran que los objetivos de la vigilancia ilegal han sido en muchos casos personas no conformes con el gobierno. El sistema de la Policía tiene todas las herramientas para llevar el seguimiento de la oposición a un nuevo nivel.
El sistema de la Policía, por diseño, no sólo busca las tecnologías para crear búsquedas y perfiles a discreción sino también quiere crear las capacidades internamente para desarrollar soluciones de inteligencia artificial. Sin controles, las posibilidades de este sistema son difíciles de limitar.
Modificación del comportamiento
¿Seguiría en Twitter la cuenta de las FARC (@PartidoFarc)? Si ahora no lo hace, porque quizás no está claro si seguir una cuenta implica apoyar a la gente detrás de ella, probablemente ni quiera acercarse sabiendo que la Policía podría hacer un perfil de todos los seguidores de esta cuenta.
Somos conscientes del problema de este ejemplo: por un lado, si existiera un sistema como el que quería contratar la Policía y con todos los antecedentes de criminalización y estigmatización de las oposiciones al gobierno, es válido preguntarse si seguir una cuenta así sería riesgoso. Por otro lado, el ejemplo mismo refuerza el estigma de que hay algo riesgoso en seguir la cuenta del partido de las FARC. Al final, ¿qué significa la frase misma “una cuenta así” si no es sospecha? El problema con el sistema de perfilamiento de la Policía es evidente en este punto. No debería representar ningún riesgo seguir una cuenta en una red social pero la posibilidad de perfilamiento crea el espacio para estas preguntas.
Además, aunque es difícil determinar los efectos del perfilamiento automatizado, en parte por el secreto alrededor de los programas o algoritmos que los hacen, parece claro que el conocimiento sobre la vigilancia gubernamental y el perfilamiento pone en riesgo el deseo de discutir opiniones minoritarias y de participar en el debate público y además, las personas pueden acomodar su comportamiento de acuerdo con las expectativas de quienes hacen los perfiles.
El sector privado, y específicamente el sector financiero, usa información de redes sociales para calcular las condiciones de los préstamos. En estas condiciones, las personas podrían buscar estrategias para ofrecer la información que quien vigila quiere ver. Por ejemplo, al mencionar el uso de datos de redes sociales para calcular seguros de vida, el Wall Street Journal daba algunos consejos como evitar subir fotos fumando, subir fotos haciendo ejercicio o activar la localización GPS cuando se va al gimnasio.
Los riesgos que corre una persona por estar asociada con otras son más claros en el control del gobierno chino en la provincia de Xinjiang contra la población Uyghur. Allí las personas saben que visitar sitios relacionados con la fe islámica o incluso estar en un grupo donde hay una persona que fue identificada como visitante de una mezquita puede resultar en una detención. Al tiempo, el gobierno chino monitorea si las personas dejan de usar redes sociales y marca ese comportamiento como sospechoso.
Si seguir ciertas cuentas, usar ciertas palabras o interactuar con publicaciones va a ser usado como una marca de comportamientos peligrosos, vamos a tener razones para evitar ser asociados con ciertas voces solo porque no queremos que eso haga parte de nuestro perfil. El sistema de la Policía pone en riesgo la diversidad de opiniones, la crítica a las autoridades y el debate en internet.
De esta misma manera, los pocos delincuentes que estafen o discutan abiertamente sus crímenes, al saberse rastreados, migrarán a otras plataformas y adoptarán nuevas prácticas que les permitan evadir el monitoreo de la policía.
Influencia en el debate público
El sistema de la Policía usaría bots y cuentas falsas, lo que abre la posibilidad de que no solamente se realice la vigilancia de internet sino de influir en el debate público. De acuerdo con un estudio de la Universidad de Oxford, en Colombia el sector privado y político o partidos políticos, hacen campañas de desinformación en Twitter, WhatsApp, YouTube y Facebook, para apoyar sus mensajes, atacar la oposición o polarizar el debate. Las capacidades del sistema de la Policía y la falta de control tradicional para las entidades del sector defensa y seguridad en Colombia profundizarían las capacidades de manipulación en el espacio digital.
Que el sistema pueda simular interacciones humanas –como se pedía en los requerimientos de la licitación– y que soporte una gran cantidad de bots y cuentas falsas, llamadas cuentas de navegación en los documentos, se puede aprovechar para participar activamente de los debates de las redes sociales inclinando la balanza por una idea o por un discurso o por una persona, cuestión que sería muy difícil de controlar ya que sería una una funcionalidad válida para los operarios del sistema.
La clase política ha estado interesada en controlar su imagen por distintos medios. En el pasado, se han presentado proyectos de ley que usan la protección de datos y el derecho a la honra y buen nombre como una plataforma para ampliar el control de las redes sociales. Además, el gobierno nacional se ha destacado en el gasto de recursos para el manejo de su imagen. A principios de 2020 se reveló un contrato que suscribió la presidencia de Iván Duque por 5 mil millones de pesos para posicionar su imagen en redes. Posteriormente, la Fundación para la Libertad de Prensa –FLIP– encontró listas donde se clasificaban periodistas e influenciadores de acuerdo con su posición frente al gobierno. Este no es sólo un problema nacional. Los gobiernos locales han gastado miles de millones de pesos en posicionar una imagen favorable de su gestión. Recientemente la Alcaldía de Medellín fue confrontada por la misma FLIP respecto al perfilamiento de periodistas en redes sociales.
Por otro lado, la Policía parece haber asumido la tarea de prevenir y controlar las noticias falsas como parte de sus labores. Aparte de los riesgos que hay al permitir que la Policía defina arbitrariamente qué es peligroso, es muy probable que el interés de los gobiernos por controlar su imagen haga parte de los criterios para decidir si una noticia es aceptable. Y si a esto le añadimos el uso de inteligencia artificial, habrá que lidiar entonces con un conjunto adicional de problemas técnicos y humanos. Por ejemplo, los sistemas de inteligencia artificial tienen muchos problemas para reconocer y clasificar adecuadamente contenidos. Incluso los sistemas de Facebook sólo reconocen un 38% de los materiales que eliminan por ser discurso de odio y no hay suficientes datos para entrenar sus algoritmos más allá del inglés y el portugués.
El uso de inteligencia artificial para detectar información falsa aún tiene muchos retos. Por eso, el pluralismo informativo y la diversidad de voces son opciones para el control de la información falsa que pueden resultar menos dañinas. Además, estos sistemas deben ser transparentes y deben tener procesos de apelación claros respecto a las decisiones que tome la Policía cuando encuentra información que considera falsa. Las medidas de restricción a la libertad de expresión deben ser legales, deben tener objetivos legítimos y claros y deben ser necesarias. Difícilmente la propuesta de la Policía puede superar estos estándares.
¿Para qué este sistema?
La Policía define de forma muy amplia la necesidad de un sistema de este tamaño. Por ejemplo, menciona que el papel de la inteligencia es recolectar información para “identificar, anticipar y contrarrestar las capacidades, intenciones y actividades de los ciberactores”. Con este sistema, la Policía busca “tener una visión más global de la información disponible en internet”, adquirir capacidades para procesar y analizar grandes volúmenes de datos de internet y mover el trabajo de inteligencia hacia lo productivo.
Dentro de las preocupaciones de la Policía hay muchas que compartimos amplios sectores sociales como la protección de niños, niñas y adolescentes o la seguridad digital personal y del comercio electrónico. Sin embargo, hay otros problemas que no tienen relación con las labores de la Policía. Por ejemplo, el “amotinamiento en centros carcelarios”, la “realización de saqueos a establecimientos comerciales” y un “entre otros eventos”, que demuestra también la falta de precisión en la definición de los objetivos de este sistema. En todo caso, no está claro cómo en cada uno de esos casos el sistema de monitoreo de fuentes abiertas y redes sociales de la Policía podría mejorar la seguridad.
El valor y el tamaño del sistema obliga a pensar si es proporcional. Para cumplir con sus labores, no es necesario que la Policía monitoree todo internet, cree cuentas falsas y bots, realice análisis del discurso y de redes constantemente.
Una particularidad de los requerimientos del sistema fue la ausencia de funcionalidades donde se especifique que se debe usar inteligencia artificial, capacidad que lleva en el título y que se exige en las propuestas de los licitantes. Lo que sí se exigia era la capacitación y la transferencia de conocimientos sobre machine learning a la policía para los futuros desarrollos. Se puede deducir que la única funcionalidad de IA que ya debe estar en el sistema son los análisis de textos, para detectar discursos, tonos o emociones pero en el futuro podrían añadir nuevos módulos de reconocimiento facial que incluso en manos competentes termina siendo racista o los peligrosos y fallidos sistemas para prevenir el crimen.
Una buena parte de las justificaciones que expone la DIPOL para requerir este sistema se basan en el aumento de la actividad cibercriminal durante la pandemia, tema que no puede faltar para justificar todo tipo cosas por estos días. Sin embargo, la mayoría del cibercrimen que se ha incrementado por estos tiempos no está relacionado con fuentes abiertas, como se podía ver en la misma licitación, sino que son ataques dirigidos a la infraestructura de las empresas, organizaciones y gobiernos, a instalar malware en equipos personales o a estafas comunes y corrientes que normalmente no pasan por las redes sociales y donde los criminales están al tanto de los filtros ya existentes, la cantidad de cibercrimen que se puede detectar preventivamente a través de sistemas de fuertes abiertas es mínima y por consiguiente la dimensión del sistema requerido por la policía es desproporcionada porque si bien la inteligencia de fuentes abiertas puede ser útil en la recolección de evidencia o en una investigación criminal no es necesario el constante monitoreo y la vigilancia masiva, solo es necesaria la consulta de la información pública de las partes implicadas en los procesos investigativos.
Resumiendo, muchas justificaciones no aplican al sistema descrito en los requerimientos y se puede inferir que los módulos más complejos podrían ser desarrollados a posteriori por la misma policía cuando ya no haya un contrato que permita hacer veeduría y por lo tanto la sociedad civil no tendría manera de enterarse del tipo y volumen de vigilancia de este sistema.
¿Qué podemos hacer?
El proceso de contratación de la Policía fue terminado porque los proponentes no cumplían algunas condiciones. Sin embargo, es probable que este tipo de iniciativas regresen, ya sea en el contexto electoral, para el manejo de la imagen de los gobiernos nacionales o locales o en la misma Policía y debemos seguir debatiendo sobre los problemas y las ventajas de usar estos sistemas. Hacer cuentas anónimas o usar medios técnicos para evitar el seguimiento es un derecho y una forma de mitigar los riesgos del perfilamiento pero no debería ser la primera respuesta. Deberíamos favorecer procesos abiertos y participativos para el diseño de estas soluciones y propiciar medidas para mejorar los controles a la acción policial.
Desde que un usuario en Twitter mencionara el contrato hasta ahora, varias organizaciones sociales nos pronunciamos sobre el problema y la Procuraduría envió un cuestionario cuyos resultados no conocemos aún. En el futuro con seguridad tendríamos que responder de la misma forma: pidiendo explicaciones e involucrando organismos de control para exigir procesos y diseños en línea con la garantía de derechos humanos. Mientras las autoridades quieran actuar sobre la oposición como una amenaza y vean el debate público como una forma de hostilidad, tendremos más razones para oponernos a las actividades de vigilancia y perfilamiento que este sistema quería hacer.
(1) Sistema Electrónico para la Contratación Pública (SECOP II). El proceso estaba identificado en la plataforma con la referencia “PN DIPOL SA 049-2020 (Presentación de oferta)” y descripción “ADQUISICIÓN SISTEMA DE CIBERINTELIGENCIA BASADO EN INTELIGENCIA ARTIFICIAL PARA LA DIRECCIÓN DE INTELIGENCIA POLICIAL”.
(2) Resolución número 0144 del 27 de agosto del 2020. Dirección de inteligencia policial. Policía Nacional. El documento se encuentra disponible en el registro del SECOP.
Relacionados
Hacia un 2025 con justicia en la red: por una ley que prevenga, atienda y repare la violencia de género digital en Colombia
En mayo de este año advertimos varias veces sobre los riesgos para los derechos de las víctimas de violencia de género digital y para la libertad de expresión de una iniciativa que buscaba legislar sobre el tema.Legislando sobre violencia de género digital
En mayo de este año advertimos varias veces sobre los riesgos para los derechos de las víctimas de violencia de género digital y para la libertad de expresión de una iniciativa que buscaba legislar sobre el tema. En esa ocasión, nos unimos a varias organizaciones para exigir que se archivara el proyecto de ley y...