Algoritmos abiertos: experiencias de Francia, los Países Bajos y Nueva Zelanda
Algoritmos abiertos: Las experiencias de Francia, Países Bajos y Nueva Zelanda
Crédito: Fatos Bytyqi a través de Unsplash
Esta pieza es parte de la "Serie de blogs de algoritmos abiertos" de OGP. Leer otras publicaciones de la serie esta página.
Los algoritmos, sistemas analíticos que procesan datos y complementan o reemplazan la toma de decisiones previamente realizada por las personas, se han convertido en una forma esencial para que los gobiernos mejoren la prestación de servicios públicos y la implementación de políticas. Cada vez más, los gobiernos utilizan algoritmos para tomar decisiones que tienen un impacto concreto en la vida de las personas, desde la asignación de trasplantes de corazón hasta cubrir las vacantes en las guarderías.
Es crucial que los ciudadanos puedan acceder a información sobre cómo se toman estas decisiones y qué datos se utilizan para construir estos algoritmos, y tener el conocimiento y la oportunidad de desafiar los procesos automatizados. Casos, como un programa piloto de inmigración utilizado en Nueva Zelanda y los holandeses Indicación de riesgo del sistema (SyRI) beneficia el sistema de detección de fraude, muestra lo importante que es incorporar transparenciaDe acuerdo con los Artículos de Gobernanza de OGP, la transparencia ocurre cuando "la información en poder del gobierno (incluidas las actividades y decisiones) es abierta, completa, oportuna y está disponible gratuitamente para el público... Más, rendición de cuentas, derechos digitales y participación de los usuarios en el gobierno toma de decisiones automatizadaA medida que los gobiernos recurren cada vez más a los algoritmos para respaldar la toma de decisiones para los servicios públicos, la transparencia y la responsabilidad del uso de algoritmos son necesarias para minimizar su daño y aumentar ... Más de los empleados.
El mes pasado, el Open Government Partnership (OGP) organizó un intercambio en línea de funcionarios de tres agencias ejecutoras de la Asociación: Etalab del Gobierno de Francia, el Asociación de municipios de los Países Bajos, y la Jefe de Administración de Datos del Gobierno del Gobierno de Nueva Zelanda, para intercambiar experiencias y profundizar en algunos de los desafíos para abrir algoritmos al escrutinio público. Aquí hay algunos puntos destacados de la discusión:
Complejidad comunicativa
Sabemos de la datos abiertosAl abrir los datos y hacerlos compartibles y reutilizables, los gobiernos pueden permitir un debate informado, una mejor toma de decisiones y el desarrollo de nuevos servicios innovadores. Especificaciones técnicas: Póliza... movimiento de que la transparencia es insuficiente: un volcado de datos en un portal no tiene sentido sin suficiente conciencia, educaciónLa rendición de cuentas dentro del sistema de educación pública es clave para mejorar los resultados y logros, y la rendición de cuentas es casi imposible sin políticas transparentes y oportunidades de participación... y participación. El mismo principio se aplica a los algoritmos.
Necesitamos permitir a los ciudadanos ejercer sus derechos y responsabilizar a sus gobiernos en relación con el uso de algoritmos. Pero todavía no hay una comprensión amplia de qué son los algoritmos, o cómo podrían usarse en la toma de decisiones públicas. Además, es poco probable que la persona promedio tenga el conocimiento técnico o el tiempo para buscar en el código fuente o interpretar un conjunto de datos. Con esto en mente, puede ser más útil enfocar la participación pública y las discusiones en casos de estudio específicos y temas relacionados con el intercambio de datos y el consentimiento.
Como parte de Compromiso OGP de los Países Bajos Sobre algoritmos abiertos, los reformadores reunieron a 150 personas de todos los ámbitos de la vida, incluida la sociedad civil, artistas y científicos, para crear conciencia y hablar sobre el uso de algoritmos por parte del gobierno. Adicionalmente, una entrevista con los responsables políticos se ha publicado para ayudar con la comprensión pública. Dichos esfuerzos gubernamentales pueden ser respaldados por un mayor activismo por parte de la sociedad civil para ayudar a demostrar el valor de abrir algoritmos.
También es importante aprovechar la oportunidad de un mayor interés público, que puede surgir a raíz de los escándalos, o como vemos actualmente en medio de la pandemia. COVID-19 presenta una clara oportunidad para educar a los ciudadanos sobre sus derechos digitales, dado el enfoque actual en la privacidad y el uso de datos en relación con las aplicaciones de seguimiento y rastreo.
Desarrollar la capacidad del gobierno
No solo los ciudadanos necesitan más información y conocimiento sobre algoritmos. Dentro del gobierno, también es necesario capacitar y equipar a los funcionarios públicos con la experiencia adecuada, así como aumentar la conciencia sobre los beneficios y la importancia de procedimientos complejos adicionales, como las evaluaciones de impacto. Es por eso que los tres países han desarrollado una guía para ayudar a los gobiernos y los funcionarios públicos a navegar el uso responsable de algoritmos (Francia, Países Bajos y Nueva Zelanda) Etalab en Francia también ha estado trabajando para apoyar a las agencias gubernamentales en la implementación de marco legal que apoya responsabilidad y transparencia de los algoritmos del sector público.
Destacar y abordar el sesgo
Todos los datos, y por lo tanto todos los algoritmos, contienen sesgo. La clave es comprender dónde podría estar el sesgo y cómo manejar los datos y su procesamiento de manera justa y de acuerdo con las expectativas de la comunidad. La capacitación en ética de datos para los funcionarios públicos es crucial y podría estar acompañada por grupos asesores de expertos, como el establecido en Nueva Zelanda, para ayudar a gestionar los riesgos y definir responsabilidades.
Desarrollando estándares internacionales
A medida que aumenta el uso de algoritmos por parte del gobierno, aumenta la discusión sobre los estándares internacionales y sobre cómo conciliar diferentes enfoques y encontrar puntos en común. Las normas pueden ser más efectivas si van acompañadas de un organismo de responsabilidad profesional y mecanismos de reclamo, subrayados por un marco legal apropiado. Si hay un interés más amplio, OGP podría trabajar con socios para comenzar a analizar los estándares existentes (por ejemplo, Principios de la OCDE sobre IA) y otros recursos, inventarios (p. ej. Algorithm Watch's AI Ethics Guidelines Global Inventory), pautas y casos de uso concretos, para ayudar a identificar lo que ha estado funcionando o no.
Próximos pasos
Etalab, la Asociación de Municipios de los Países Bajos y el Administrador de Datos del Jefe de Gobierno de Nueva Zelanda están considerando formas de continuar sus discusiones productivas. OGP también quiere involucrar a un grupo más amplio de gobiernos, la sociedad civil y socios internacionales de otras regiones para impulsar esta discusión, y explorar otras cuestiones como la transparencia y la responsabilidad de la adquisición gubernamental de algoritmos y sistemas de IA, cómo abordar las evaluaciones de impacto, y cómo se relaciona este tema con COVID-19. ¡Mira este espacio!
FRANCIA
| Que estan haciendo |
| Etalab se ha centrado en cómo ayudar a las agencias a cumplir con sus obligaciones legales en términos de explicabilidad y transparencia. En este contexto, Etalab ha producido dos documentos de orientación para agencias: uno sobre la apertura de códigos de fuente públicos y otro sobre marco legal de responsabilidad y transparencia de los algoritmos del sector público. Su trabajo también se basa en agencias acompañantes en estudios de casos específicos. En junio de 2019, Etalab escribió un papel describiendo su enfoque. |
| ¿Marco legislativo? |
| Si - el 2016 'Ley para una república digital', introdujo nuevas disposiciones sobre algoritmos públicos. Estas disposiciones tienen como objetivo introducir una mayor transparencia y responsabilidad de la administración en el uso de estos sistemas, en particular cuando se utilizan para tomar decisiones. |
| OGP Compromiso Los compromisos de OGP son promesas de reforma creadas conjuntamente por los gobiernos y la sociedad civil y presentadas como parte de un plan de acción. Los compromisos suelen incluir una descripción del problema, una acción concreta... |
| 'Mejora de la transparencia de los algoritmos públicos y los códigos fuente', Compromiso # 6, AP 2018-2020 |
PAÍSES BAJOS
| Que estan haciendo |
| El Ministerio de Justicia y Seguridad y el Ministerio del Interior, entre otros, directrices publicadas sobre el uso de algoritmos por parte del gobierno, con los valores públicos como un foco importante.en 2019 la investigación se realizó sobre la supervisión del uso de algoritmos por parte del gobierno. La Cámara de Auditoría Nacional Holandesa ha sido investigando El uso de algoritmos en el sector público desde febrero de 2020. El gobierno holandés está considerando un enfoque de tres niveles, analizando la utilización, implementación y adopción de algoritmos abiertos. |
| ¿Marco legislativo? |
| No |
| Compromiso OGP |
| 'Algoritmos abiertos', Compromiso # 6, AP 2018-2020 |
NUEVA ZELANDA
| Que estan haciendo |
| En 2018, el Jefe de Administración de Datos del Gobierno y el Comisionado de Privacidad publicaron el Principios para el uso seguro y efectivo de datos y análisis para guiar las prácticas de las agencias gubernamentales.En octubre de 2018, el gobierno publicó un inventario de algoritmos operacionales utilizados por agencias gubernamentales.En junio de 2019, el Jefe de Administración de Datos del Gobierno convocó a un independiente Grupo asesor de ética de datos y en octubre de 2019, anunció una consulta pública sobre un carta de algoritmo propuesta para agencias gubernamentales. |
| ¿Marco legislativo? |
| No |
| Compromiso OGP |
| 'Revisión del uso de algoritmos por parte del gobierno', Compromiso # 8, AP 2018-2020 |
Descargue los ejemplos en PDF esta página.
Crédito de la foto destacada: Unsplash
Este artículo forma parte de la serie de artículos sobre algoritmos abiertos de OGP. Para leer el resto de los artículos de la serie, haz clic aquí.
Los algoritmos, sistemas analíticos que procesan datos y reemplazan la toma de decisiones por personas, se han convertido en un elemento fundamental de la provisión de servicios públicos y la implementación de las políticas de gobierno. Cada vez más, los gobiernos están utilizando algoritmos para tomar decisiones que afectan la vida de las personas, por ejemplo quién recibe un trasplante de órganos o qué personas contratar para trabajar en una guardería
Es fundamental que los ciudadanos tengan acceso a información sobre cómo se toman estas decisiones y qué datos se están utilizando para crear los algoritmos y que tengan los conocimientos necesarios para cuestionar las decisiones que se tomaron de forma automatizada. Algunos casos como el programa piloto de inmigración de Nueva Zelanda y el sistema de indicación de riesgos de los Países Bajos han sido fortalecidos con sistemas de detección de fraudes, demostrando la importancia de incorporar transparencia, rendición de cuentas, derechos digitales y participación de los usuarios en los procesos de toma de decisiones automatizada.
El mes pasado, Open Government Partnership (OGP) organizó un intercambio virtual con funcionarios de tres agencias implementadoras de la alianza: Etalab del Gobierno de Francia, la asociación de municipios de los Países Bajos y el encargado de datos del Gobierno de Nueva Zelanda con el fin de intercambiar experiencias y analizar algunos de los retos que han enfrentado en sus procesos de apertura de los algoritmos al escrutinio público. A continuación presentamos las conclusiones más importantes que surgieron en la discusión:
Transmitir la complejidad
Sabemos por la experiencia del movimiento de datos abiertos que la transparencia no es suficiente: publicar datos en un portal tiene sentido si no existe sensibilización, educación y participación. El mismo principio aplica al caso de los algoritmos.
Es necesario capacitar a los ciudadanos de manera que puedan ejercer sus derechos y exigir a sus gobiernos que rindan cuentas sobre el uso de los algoritmos. Pero la ciudadanía en general aún no sabe que se utilizan los algoritmos o cómo se pueden utilizar en la toma de decisiones. Además, el ciudadano promedio no tiene conocimiento técnico ni el tiempo necesario para analizar los códigos o interpretar los datos. En ese sentido, probablemente sea más útil enfocar la participación pública en casos de estudio específicos y temas sobre cómo se comparten los datos y el consentimiento.
Como parte de un compromiso que los Países Bajos establecieron en el marco de OGP sobre algoritmos abiertos, un grupo de reformadores reunió a 150 personas de diferentes grupos, incluyendo a la sociedad civil, artistas y académicos, para sensibilizarlos y discutir el uso de algoritmos por el gobierno. Además, se publicó una entrevista con los actores que diseñan políticas públicas para mejorar el conocimiento del público. Por otro lado, los activistas de la sociedad civil pueden complementar los esfuerzos de los gobiernos, demostrando el valor de la apertura de los algoritmos.
Además, es importante aprovechar el interés del público que surge en ciertos casos como cuando se registra un escándalo o, como lo estamos viviendo, en el contexto de la pandemia. La atención que ha surgido sobre la privacidad y el uso de datos, el COVID-19 representa una oportunidad para educar a la ciudadanía en sus derechos digitales.
Desarrollar las capacidades del gobierno
La ciudadanía no es el único grupo que requiere de información y conocimiento sobre algoritmos. Al interior del gobierno también hay la necesidad de capacitar y equipar a los funcionarios con experiencia, además de sensibilizarlos sobre los beneficios y la importancia de los procedimientos complejos, por ejemplo las evaluaciones de impacto. Es por ello que Francia, Países Bajos y Nueva Zelanda han desarrollado guías para ayudar a los gobiernos y funcionarios a estudiar el uso responsable de los algoritmos. Etalab de Francia ha estado trabajando en apoyar a las instituciones de gobierno en la implementación de un marco legal que apoya la rendición de cuentas y transparencia de los algoritmos del sector público.
Identificar y eliminar sesgos
Todos los datos y, por lo tanto, todos los algoritmos tienen sesgos. La clave es identificar en dónde están esos sesgos y cómo manejar los datos y su procesamiento de forma justa y alineada con las expectativas de la comunidad. Es indispensable capacitar a los funcionarios en la ética de los datos y estos esfuerzos podrían estar acompañados de grupos asesores, como el que estableció Nueva Zelanda, para ayudar a manejar los riesgos y definir las responsabilidades.
Desarrollar estándares internacionales
El uso de algoritmos por parte de los gobiernos está aumentando; en ese sentido está surgiendo una discusión sobre estándares internacionales y sobre cómo alinear diferentes metodologías para identificar puntos en común. Los estándares pueden ser más efectivos si están acompañados de un organismo de rendición de cuentas y de mecanismos de denuncias y con el respaldo de un marco legal adecuado. Si existe el interés, OGP podría trabajar con algunos socios y empezar a analizar los estándares existentes (por ejemplo, los principios sobre inteligencia artificial de la OCDE) y otros recursos, inventarios (por ejemplo, el inventario global de principios éticos sobre inteligencia artificial de Algorithm Watch), lineamientos y casos de estudio concretos con el fin de identificar qué ha funcionado y qué no.
Siguientes pasos
Etalab, la asociación de municipios de los Países Bajos y el encargado de datos del Gobierno de Nueva Zelanda están identificando formas de seguir impulsando la discusión. Además, OGP quiere invitar a un grupo amplio de gobiernos, organizaciones de la sociedad civil y socios internacionales de otras regiones para impulsar la discusión y explorar otros temas, por ejemplo la transparencia y rendición de cuentas de los algoritmos y sistemas de inteligencia artificial de las adquisiciones de gobierno, cómo aplicar las evaluaciones de impacto y cómo se relaciona el tema con el COVID-19.
FRANCIA
| Qué está haciendo |
| Etalab se ha enfocado en cómo ayudar a las instituciones a cumplir con sus obligaciones legales en términos de justificación y transparencia. En ese contexto, elaboraron dos documentos de orientación para las instituciones, uno sobre la apertura de códigos y uno sobre el marco legal de transparencia y rendición de cuentas de los algoritmos del sector público. Además, están acompañando a las instituciones en el seguimiento a casos de estudio específicos.
En junio de 2019, Etalab publicó un artículo sobre su enfoque. |
| ¿Marco legal? |
| En 2016, se publicó la Ley para una República Digital en la que se identificaron nuevas disposiciones sobre algoritmos públicos. Dichas disposiciones buscan aumentar la transparencia y rendición de cuentas de la administración alrededor del uso de estos sistemas, en particular en lo que se refiere a los procesos de toma de decisiones. |
| Compromiso de OGP |
| Compromiso 6, plan de acción 2018-2020 : “Mejorando la transparencia de los algoritmos públicos y los códigos fuente” |
PAÍSES BAJOS
| Qué está haciendo |
| El ministerio de justiciar y seguridad y el ministerio del interior, entre otros, publicaron una serie de lineamientos sobre el uso de algoritmos por el gobierno, enfocándose en los valores públicos.
En 2019, llevaron a cabo una investigación sobre la supervisión del gobierno sobre el uso de los algoritmos. La cámara de auditorías ha investigado el uso de los algoritmos en el sector público desde febrero de 2020. El Gobierno de los Países Bajos está considerando un enfoque triple, considerando el uso, implementación y adopción de algoritmos abiertos. |
| ¿Marco legal? |
| No |
| Compromiso de OGP |
| Compromiso 6, plan de acción 2018-2020: “Algoritmos abiertos” |
NUEVA ZELANDA
| Qué está haciendo |
| En 2018, el encargado de datos y el comisionado de privacidad publicaron los principios para el uso seguro y efectivo de datos y análisis con el fin de orientar las prácticas de las instituciones.
En octubre de 2018, el gobierno publicó un inventario sobre los algoritmos utilizados por las instituciones de gobierno. En junio de 2019, el encargado de datos convocó un grupo asesor sobre ética de datos y en octubre de 2019 anunciaron una consulta pública sobre una propuesta de estatuto de algoritmos para las instituciones de gobierno. |
| ¿Marco legal? |
| No |
| Compromiso de OGP |
| Compromiso 8, plan de acción AP 2018-2020: “revisión del uso de algoritmos por parte del gobierno” |
English
English
French
Spanish
Alex Cooper Responder
¿Se puede decidir la política mediante un algoritmo?
¿Qué brújula moral está integrada en los algoritmos?
Abrir los algoritmos al escrutinio público (experto) no equivale a la responsabilidad.
Delegar decisiones a un sistema automatizado significa menos responsabilidad, no más. Los funcionarios pueden decir "no fui yo, decidió la computadora"
Y también significa MENOS PARTICIPACIÓN CIUDADANA en la toma de decisiones, no más. ¿Por qué consultar a las personas cuando todo lo que tiene que hacer es recopilar datos y alimentarlos en la máquina?
Sin embargo, ¿todo lo que podemos estar hablando aquí es la detección de patrones en la detección de fraudes de beneficios? Los ejemplos son esquemáticos: ¿qué significa un programa piloto de inmigración? ¿Un sistema para contar la cantidad de puntos que tiene una persona para decidir si permite la ciudadanía? ¿No se llama calculadora? ¿O se le permitirá al sistema quitarles puntos a ciertas personas que no le gustan y otorgar puntos de bonificación a otras, en función de qué?
Los detalles de estos sistemas no importan si los principios detrás de ellos son defectuosos.
charter2019.es
Diego cota Responder
Alex, quizás convenga un modelo híbrido. Donde un algoritmo selecciona imparcialmente a las personas que tienen injerencia en la decisión a tomarse. Puede comenzar con decisiones hiper-locales y hacer un goteo gradual hacia macro decisiones. Por ejemplo, si un gobierno estatal decide incluir en su plan la construcción de una avenida para desfogar el tráfico de un sector particular de la ciudad, el algoritmo podría seleccionar los ingenieros viales, civiles, ciudadanos afectados por la expropiación de terrenos, propietarios de casas cercanos a la avenida, propietarios de establecimientos que pueden ser mermados en sus ventas durante la construcción, etc. Y hacer modearación de las alternativas presentadas entre los participantes. De esa manera se focaliza la capacidad de decisión entre los afectados directos. Cuando ocurre un consenso, el proyecto se "gradúa" y compite por la asignación de recursos frente a otros proyectos en igualdad de circunstancias. ¿Hace sentido?