La Comisión Europea publicó su tan esperado ‘Libro blanco sobre Inteligencia Artificial’ el 19 de febrero de 2020 y mantiene consulta abierta para recibir comentarios hasta el 14 de junio de 2020. Está fundamentado en dos pilares principales: excelencia y confianza. Sin embargo, dadas las anteriores declaraciones de Von der Leyen sobre el lanzamiento de una regulación de la IA durante sus primeros 100 días, las expectativas se centraron principalmente en el enfoque de la regulación, con el objetivo de generar la ansiada confianza. 

Ya se han publicado muchos comentarios por parte de muchas organizaciones diferentes. En el presente artículo resumimos brevemente los principales mensajes del libro blanco, expresamos nuestro apoyo a algunas de las observaciones publicadas por otras organizaciones y proporcionamos nuestras observaciones adicionales, que no hemos apreciado en otras aportaciones ya realizadas.

Visión General y Líneas Maestras

El libro blanco se centra en la excelencia para que Europa sea más competitiva en el ecosistema mundial de la IA, y en la confianza para que la IA se adopte a gran escala sin causar impactos negativos. Estamos de acuerdo en que la excelencia es importante y apoyamos las acciones propuestas para aumentar las inversiones, las habilidades y la retención de los investigadores e ingenieros de prestigio internacional. También apoyamos la creación de un Centro Europeo de Excelencia. Sin embargo, recomendamos a la Comisión Europea que deje que la excelencia prevalezca sobre la política, y que evite la fragmentación habitual. Necesitamos que los estados miembros piensen en “Europa”, y no necesitamos otro Instituto Europeo de Tecnología (EIT por sus siglos en inglés) que aluda al mundialmente conocido MIT, pero que, debido a su fragmentación, no es ni siquiera una sombra del mismo. También aplaudimos el enfoque en la transferencia de tecnología de la investigación al mercado, algo en lo que Europa ha fracasado sistemáticamente en las dos últimas décadas. La Comisión está creando ecosistemas locales llamados Centros de Innovación Digital (Digital Innovation Hubs) que tienen como objetivo llevar la tecnología de la IA a las PYMES y al mercado local. Le damos a la CE el beneficio de la duda y esperamos que este enfoque marque una diferencia en comparación con la situación actual.

En lo que respecta a la confianza, la atención se centra en evitar los posibles efectos negativos de la IA, en particular los relacionados con decisiones autónomas como la responsabilidad, la explicabilidad y la transparencia, los sesgos y la discriminación, y la privacidad. Aunque no se menciona explícitamente, la atención se centra en los riesgos de la “IA estrecha”, impulsada principalmente por el aprendizaje profundo y otras técnicas de aprendizaje automático. La Comisión se propone aumentar la confianza distinguiendo entre las aplicaciones de IA de alto y bajo riesgo, y propone una regulación en caso de alto riesgo. Una aplicación de IA se considera de ‘alto riesgo’ si pertenece a un sector de alto riesgo (como Salud, Transporte, Policía y Jurídico) y, al mismo tiempo, se trata de un caso de uso de alto riesgo, como, por ejemplo, el reconocimiento facial. Así, la a Comisión propone que se defina una lista exhaustiva de sectores y casos de uso de alto riesgo con revisión periódica.

La regulación reduce la incertidumbre jurídica, lo que es importante para que las empresas inviertan en tecnologías de inteligencia artificial.

Respuestas comunes al libro blanco en IA

Muchas organizaciones ya han publicado sus observaciones. Aquí resumimos los puntos con los que estamos de acuerdo.

Definición de IA demasiado amílica 

El libro blanco establece que para definir la IA los conceptos ‘datos’ y ‘algoritmos’ son esenciales. Sin embargo, cualquier programa informático utiliza datos y un algoritmo y, por lo tanto, tal definición es demasiado amplia ya que clasifica casi cualquier programa informático como IA. Recomendamos que la CE mantenga la definición de IA proporcionada por el HLEG sobre la IA publicada en abril de 2019. Además, si bien en el libro blanco se afirma que la posible regulación no sólo debería aplicarse a la IA de hoy, sino también a la del futuro, parece incidir principalmente en la “IA estrecha” basada en el aprendizaje automático avanzado.

La definición de alto riesgo

Al clasificar todas las aplicaciones de IA en ‘de alto’ o ‘bajo riesgo’, y especificar que la regulación sólo se aplicaría a las de alto riesgo, es importante hacer explícito lo que define un sector y un caso de uso como ‘de alto riesgo’. Las empresas tienen una preferencia natural por no estar reguladas y tratarán de demostrar (presionar) que su sector no es de alto riesgo. Por el momento, no está claro quién decidirá al respecto. Lo que parece ser necesario, al menos, es una definición transparente de lo que define el ‘alto riesgo’, una recomendación que apoya Google en su respuesta al libro blanco Otros sugieren que dos niveles de riesgo es demasiado grueso y proponen el enfoque de 5 niveles de la Comisión Alemana de Ética de los Datos.

Regulación específica en IA vs Regulación existente 

Ya existe mucha regulación en vigor que se relaciona estrechamente con las motivaciones de una posible regulación específica de la IA. La privacidad, el uso de datos personales y la transparencia algorítmica se regulan en la GDPR. La responsabilidad de los productos recae en la PLD. La seguridad de los productos está regulada por la GPSD. Los derechos del consumidor están protegidos en la CRD. Y la discriminación basada en atributos sensibles ya está prohibida por ley. La intuición detrás de una posible regulación es que, con la IA, hacer cumplir y vigilar esas regulaciones existentes se está volviendo imposible. Por ejemplo, ¿qué pasa con la responsabilidad si los productos continúan “aprendiendo” nuevos comportamientos una vez que han sido lanzados al mercado? O, ¿cómo puede una organización estar segura de que no se está discriminando contra un grupo social, etnia o género cuando utiliza decisiones algorítmicas para p.e. credit scoring? La recomendación es que la CE debería investigar cuidadosamente dónde la regulación existente es insuficiente y evitar cualquier superposición, ya que esto aumentaría la incertidumbre jurídica. La Comisión también debería investigar la alternativa de ampliar dicha regulación para incluir la inteligencia artificial. También abogamos por que la CE utilice el instrumento de los llamados “sandboxesregulatorios” para experimentar con diversas opciones y, en base a los resultados, tomar decisiones basadas en pruebas. Ese enfoque también permitiría decidir mejor lo que debe ser regulado ex ante y ex post, lo que es especialmente pertinente para los productos de inteligencia artificial producidos fuera de la Unión Europea.

Respuestas de OdiseIA

¿GDPR para Inteligencia Artificial?

Muchas autoridades europeas afirman que la GDPR se considera actualmente una norma mundial y que la misma ambición es apropiada para una futura reglamentación de la IA. Sin embargo, no debemos olvidar que la GDPR entró en vigor cuando el uso de los datos personales ya era generalizado. En ese momento se entendía mucho sobre el uso (y el abuso) de los datos personales, y estaba claro qué era lo que había que regular. Por el contrario, la IA todavía no está tan extendida (en contraste con lo que se podría pensar cuando se lee la prensa…) Aunque ampliamente utilizada por los gigantes tecnológicos, todavía muchas organizaciones luchan por hacer un uso efectivo de la IA. Por lo tanto, está mucho menos claro qué y cómo regularla. Se podría argumentar que si la GDPR hubiera entrado en vigor varios años antes, el uso opaco de los datos personales no habría sido tan extendido, y que, por lo tanto, la regulación de la IA es necesaria ahora. Pero creemos que la regulación de una tecnología que todavía está en proceso de rápido desarrollo tiene sus riesgos. Una vez más, abogamos por el uso de “sandboxes regulatorios” para explorar alternativas y tomar decisiones basadas en los datos.

¿Está regulado los temas correctos?

Al examinar la mayoría de los ejemplos del libro blanco y los requisitos sobre la IA de alto riesgo (datos de capacitación, datos y mantenimiento de registros, solidez y precisión, supervisión humana), parece que la regulación de la IA tiene por objeto principalmente la adopción de decisiones autónomas, lo que da lugar a problemas típicos como los algoritmos de caja negra (explicabilidad y transparencia) y el sesgo (discriminación no deseada). La IA no es perfecta y comete errores (falsos positivos y falsos negativos), de ahí la importancia de la robustez y la precisión. Tal vez debamos establecer criterios para entender qué decisiones autónomas requieren HITL, HOTL o HOOTL. ¿Qué tipo de decisiones requieren un humano EN el bucle (HITL — human in the loop), aprobando cada decisión que toma una máquina? ¿Qué tipos de decisiones requieren un humano EN CIMA del bucle (HOTL — human on the loop), monitoreando el resultado de la IA y corrigiendo cuando se equivoca? ¿Y qué tipos de decisiones pueden ser tomadas sin ninguna intervención humana (HOOTL — human out of the loop)?

La explicabilidad y el sesgo están entre las áreas de investigación más populares en la IA, recibiendo una enorme atención. Por lo tanto, en los próximos cinco años podemos esperar avances significativos. Tal vez cualquier algoritmo de aprendizaje profundo (o cualquier nuevo paradigma de IA que aparezca) pueda hacerse transparente en el futuro. Y, probablemente, en los próximos años, el sesgo pueda ser detectado y corregido en cualquier conjunto de datos, incluso cuando no contenganatributos sensibles. Una regulación que se centre, en gran medida, en la transparencia y el sesgo podría quedar obsoleta. Por lo tanto, ¿debería la regulación por la que aboga la CE incluir otras implicaciones importantes de la IA, como el futuro del trabajo (o el trabajo del futuro), la relación entre las personas y los sistemas de IA, o el evitar la ignorancia de esta poderosa tecnología a la hora de resolver los grandes problemas de la sociedad, como la SDGs?

Realizar una comprobación de la realidad de los sistemas autónomos actuales.

El libro blanco habla del alto riesgo en el siguiente contexto: “desde el punto de vista de la protección de la seguridad, los derechos de los consumidores y los derechos fundamentales” y “que producen efectos jurídicos o de importancia similar para los derechos de un individuo o una empresa; que plantean un riesgo de lesiones, muerte o daños materiales o inmateriales importantes; que producen efectos que no pueden ser evitados razonablemente por los individuos o las entidades jurídicas”.

Hagamos una comprobación de la realidad y echemos un vistazo al tradingalgorítmico. Las estimaciones son que sobre el 70% de todas las transacciones bursátiles se realizan mediante el uso de algoritmos, algunos de los cuales son opacos y sólo (apenas) entendidos por los llamados quants. Se han producido “caídas repentinas” (flash crash) debido a estos algoritmos de trading que son cajas negras, en los que el mercado de valores cae bruscamente en muy poco tiempo. Esas caídas repentinas pueden tener enormes repercusiones en muchos grupos diferentes de personas, desde los ricos hasta los pobres (por ejemplo, a través de las organizaciones sociales que pierden dinero por la caída y tienen menos recursos para ayudar a los más necesitados).

Por lo tanto, recomendamos que la Comisión haga una evaluación profunda de lo que los sistemas de inteligencia artificial, actualmente en funcionamiento, tendrían que dejar de hacer si estuvieran regulados, y cuál sería el impacto en las sociedades y economías.

Sistema de puntuación de responsabilidadEn caso de que la Comisión decida introducir la reglamentación de la IA, es importante definir la forma en que se efectuará un seguimiento o se auditará a las organizaciones (ex-ante o ex-post), de manera que se verifique el cumplimiento de la misma. Sin embargo, en el libro blanco se menciona el concepto “auditoría” una sola vez, sin profundizar más en este aspecto. Ese proceso de auditoría tendría que abarcar adecuadamente la posible reglamentación atendiendo a los parámetros ya presentados de solidez, sesgo, transparencia, responsabilidad, etc. Además, se debería constituir en un marco flexible que permitiera la externalización a organizaciones de auditoría previamente seleccionadas y competentes. El objetivo sería elaborar un sistema de puntuación con las métricas pertinentes que evaluasen de manera efectiva la fiabilidad de los distintos productos de IA.

Conclusión

En conclusión, acogemos con satisfacción el libro blanco sobre la IA, especialmente porque está generando un debate esencial sobre el futuro de la IA (regulación). Y confiamos en que la Comisión presentará una versión mejorada basada en la consulta pública. Sin embargo, no debemos olvidar que, aunque el uso de la IA podría implicar riesgos significativos, también es verdad que podría generar menos riesgos que cuando sólo los humanos toman decisiones como ocurre hoy en día. Y terminamos con una pregunta abierta: ¿sería el mundo un lugar peor o mejor hoy si la IA hubiera estado disponible hace 120 años?

Richard Benjamins es cofundador, Vicepresidente, y codirector del Área de Ética y Responsabilidad OdiseIA

Idoia Salazar es cofundadora, presidenta y codirectora del Área de Ética y Responsabilidad OdiseIA

Javier Fernández-Castañón es codirector del Área de Salud de OdiseIA

Próximos eventos

Categorías