Hace unos años, un funcionario de una organización internacional me preguntó: «Más allá de las buenas vibraciones de los derechos humanos, ¿para qué sirve la transparencia algorítmica?». Me sentí inquieto porque creo que la conexión entre la transparencia algorítmica y los derechos humanos es suficiente para justificar la necesidad de aumentar los esfuerzos en esta área. Además, la transparencia algorítmica no se materializará si se deja que el «mercado» decida qué debe ser transparente, ni bastan los marcos éticos no vinculantes de la inteligencia artificial (IA) para responsabilizar al Estado del uso de sistemas computacionales para guiar o automatizar los procesos de toma de decisiones. Necesitamos normas obligatorias y nuevos instrumentos de transparencia que garanticen que las personas sean conscientes del uso de estas tecnologías por parte de los organismos públicos.
La transparencia algorítmica tiene muchas definiciones, pero yo la entiendo como un principio que exige a las personas y organizaciones que utilizan sistemas computacionales para guiar o automatizar los procesos de toma de decisiones que hagan accesible la información relativa a estos sistemas, cuándo y cómo se utilizan, y qué implicaciones surgen para los afectados por su despliegue. La información divulgada puede incluir detalles sobre el diseño, desarrollo, adquisición, operación, uso o evaluación del sistema. Puede proporcionarse previa solicitud (por ejemplo, en respuesta a una solicitud de libertad de información) o divulgarse de forma proactiva (por ejemplo, publicando repositorios en línea de algoritmos públicos o lanzando tarjetas modelo para un sistema).
El nexo de la transparencia algorítmica con los derechos humanos
La transparencia algorítmica está estrechamente relacionada con el respeto, la protección y la promoción de los derechos humanos. El artículo 19 de la Declaración Universal de los Derechos Humanos reconoce el derecho «a buscar, recibir y difundir informaciones e ideas por cualquier medio y sin consideración de fronteras». Además, los pactos internacionales y las disposiciones constitucionales y legales nacionales de 114 países establecen el derecho a la información y a los mecanismos de acceso, en particular cuando dicha información está en poder del Estado o en su nombre.
Art. 19. "Toda persona tiene derecho a la libertad de opinión y de expresión; este derecho incluye la libertad de mantener opiniones sin interferencias y de buscar, recibir y difundir información e ideas..." Declaración Universal de Derechos Humanos
Cuando los gobiernos utilizan sistemas automatizados de toma de decisiones (ADM) en procesos que implican la prestación de servicios públicos, el grado en que las personas pueden acceder a la información pertinente puede afectar a otros derechos humanos. Por ejemplo, si un organismo público implementa en secreto un sistema ADM para decidir quién tiene derecho a las prestaciones del gobierno y las personas son injustamente excluidas debido a la herramienta, entonces varios derechos humanos estarían en juego: el acceso a la información pública, la no discriminación, el debido proceso y los derechos asociados a la prestación del gobierno.
A pesar de la legislación sobre libertad de información y las iniciativas de gobierno abierto, es común que los gobiernos impugnen las solicitudes de transparencia algorítmica basándose en preocupaciones sobre la propiedad intelectual, la protección de datos y la ciberseguridad. Por ejemplo, en Colombia y España, a las organizaciones de la sociedad civil que buscaban información sobre el uso de sistemas algorítmicos se les negó el acceso y tuvieron que recurrir al poder judicial para atender sus solicitudes. Estos casos subrayan la necesidad de normas obligatorias sobre la divulgación de información sobre los sistemas algorítmicos utilizados por los gobiernos, especialmente cuando estos sistemas pueden afectar a los derechos humanos.
La importancia de la transparencia algorítmica para la IA
El principio de transparencia algorítmica suele incluirse en los marcos éticos de la IA. Un estudio revisó 200 directrices éticas de la IA e informó de que 165 incluían los principios de transparencia, explicabilidad y auditabilidad. Además, la transparencia algorítmica es necesaria para alcanzar otros objetivos importantes en el uso de los sistemas de IA, como garantizar la explicabilidad de las herramientas utilizadas para la toma de decisiones y la responsabilidad de las organizaciones que las implementan.
La explicabilidad en la IA se refiere a la posibilidad de comprender cómo funciona un sistema y sus resultados. Por ejemplo, si un gobierno utiliza un algoritmo para asignar subsidios, una persona a la que se le niegue ese subsidio necesitaría saber que se utilizó dicha herramienta, así como cómo se utilizó, para poder entender cómo impugnar la decisión. Esto es similar a las obligaciones que algunas leyes de protección de datos, como las de la Unión Europea y Kenia, han establecido en relación con los derechos de los interesados a saber cuándo se procesan sus datos con sistemas automatizados, a impugnar las decisiones tomadas con dichos sistemas y a oponerse a ser objeto de decisiones basadas únicamente en el procesamiento automatizado.
En segundo lugar, la responsabilidad en la IA se refiere al deber de una organización que despliega un sistema de IA de informar y justificar su uso y resultados. Por ejemplo, si un gobierno emplea un algoritmo sesgado para identificar el posible uso indebido de subvenciones por parte de los beneficiarios y para priorizar y activar investigaciones, el resultado puede dar lugar a falsos positivos, lo que provocaría la discriminación de miles de personas por parte del gobierno. Esta injusticia se produjo en el escándalo de las prestaciones por cuidado de niños en los Países Bajos, y podría haberse evitado si la población hubiera sido consciente de la existencia y el funcionamiento de esta herramienta algorítmica.
Necesitamos normas obligatorias y una gobernanza colaborativa
Para ser claros, la necesidad de transparencia algorítmica no es absoluta, y otros derechos pueden justificar su limitación. Por ejemplo, un organismo gubernamental que adquiere herramientas de IA patentadas de una empresa tecnológica no puede revelar públicamente algoritmos protegidos por derechos de propiedad intelectual. Sin embargo, equilibrar la necesidad de transparencia algorítmica con otros derechos a través de instrumentos de transparencia algorítmica eficaces, eficientes y equitativos requiere que los organismos públicos emitan normas claras y obligatorias que regulen qué tipo de información sobre ADM debe ponerse a disposición y a través de qué medios.
No tenemos que empezar de cero, ya que existen ejemplos de recomendaciones, directrices y normas de transparencia algorítmica en el sector público que se han publicado en Chile, el Reino Unido y Australia. Las directrices chilenas, por ejemplo, recomiendan que los organismos públicos «mantengan permanentemente a disposición del público, a través de sus sitios web... información actualizada, al menos mensualmente, sobre aquellos ADM que tengan un impacto en los derechos fundamentales de las personas o en su acceso a servicios, programas sociales, subsidios, fondos y otros beneficios». Además, con respecto a cada sistema ADM, las directrices establecen que deben divulgarse, entre otros, los siguientes elementos: el nombre del sistema, los procesos en los que se utiliza, su finalidad y funcionamiento, su versión y fecha, quién tiene los derechos de propiedad del sistema, el canal para consultas o quejas relativas al sistema y/o su resultado, y los tipos de datos que utiliza.
La gobernanza eficaz de la transparencia algorítmica requiere una acción coordinada en toda la sociedad para garantizar que el despliegue de los sistemas computacionales respete los derechos humanos y proporcione una rendición de cuentas pública significativa. Los Estados, las empresas tecnológicas, las organizaciones de la sociedad civil, las universidades y el público tienen un papel que desempeñar.
Los Estados deben tener reglas claras para revelar al público cómo funcionan sus sistemas algorítmicos, especialmente cuando están en juego derechos fundamentales, e implementar mecanismos de transparencia para cumplir con estas reglas. Además, el Estado debe garantizar que existan mecanismos de consulta que involucren a las comunidades afectadas a lo largo del ciclo de vida algorítmico —desde el diseño hasta la implementación y la evaluación— asegurando que los sistemas estén conformados por las personas a las que están destinados.
Las empresas tecnológicas deben documentar las limitaciones de sus modelos de IA, las métricas de evaluación, los posibles sesgos y los riesgos previsibles, proporcionando explicaciones en un lenguaje sencillo que las comunidades afectadas puedan entender y sobre el que puedan actuar. Por último, las organizaciones de la sociedad civil y las universidades deben crear herramientas de transparencia algorítmica, como repositorios en línea, desarrollar herramientas de evaluación independientes y realizar auditorías externas.
A través de una gobernanza colaborativa de la transparencia algorítmica, podemos aprovechar el potencial de los sistemas ADM, al tiempo que nos aseguramos de que sigan rindiendo cuentas ante las personas a las que afectan y protegiendo tanto los valores democráticos como los derechos humanos.
Este blog forma parte de la serie Tecnología y derechos humanos de OGR.