Search Results

Introducción La regulación de la inteligencia artificial (IA) en Europa, especialmente a través del AI Act , marca un hito a nivel global en cuanto pone el foco en el desarrollo tecnológico en beneficio de todos, y a la vez, supone enormes riesgos y desafíos para la protección de las personas, de ahí que, tiene por finalidad proteger principalmente: la salud, la seguridad y los derechos fundamentales.   Por lo que este reglamento establece un marco de gobernanza orientado a mitigar los riesgos asociados a los sistemas de IA, con especial atención a las personas en situación de vulnerabilidad. La protección de menores, migrantes, personas con discapacidad o individuos socialmente excluidos se encuentra implícita en varias disposiciones del texto legal. No obstante, la experiencia demuestra que la mera existencia de un marco normativo no es garantía suficiente de justicia ni de protección real, particularmente en contextos complejos como el de la devolución de menores migrantes, donde convergen factores políticos, tecnológicos y éticos. Desde una perspectiva bioética y humanista, ampliamente compartida en los marcos regulatorios europeos, la centralidad de la persona —especialmente del más vulnerable— debe ser un principio rector del diseño, implementación y evaluación de sistemas de IA. Este enfoque coincide con una tradición espiritual profundamente arraigada en la cultura occidental: la enseñanza de Jesús de Nazaret, quien colocó en el centro de su mensaje a los pobres, a los marginados, y a los “pequeños” del mundo. Si revisamos este pasaje bíblico Mateo (25:40) 1 , nos damos cuenta de que esta declaración no solo refleja una ética de la compasión, sino también un principio operativo de inclusión: las acciones políticas o tecnológicas deben ser evaluadas en función de su impacto en los más vulnerables. Este enfoque teológico es coherente con el principio de “non-maleficencia” y el de “justicia distributiva” en bioética, y debería estar explícitamente incorporado en el diseño de políticas públicas como el AI Act . La gestión migratoria en Europa enfrenta retos crecientes, especialmente en lo que respecta a la protección de menores no acompañados. En mayo de 2021, durante la crisis en la frontera de Ceuta, España repatrió decenas de niños migrantes sin aplicar evaluaciones individualizadas ni garantizar el cumplimiento del interés superior del menor. Estos hechos, posteriormente declarados ilegales por el Tribunal Supremo, revelaron las debilidades institucionales para garantizar derechos fundamentales en situaciones de presión política y operativa. En paralelo, la Unión Europea ha avanzado con la creación del AI Act , el primer marco legal integral que regula el uso de la inteligencia artificial según niveles de riesgo para el ser humano, así, principalmente, para la salud, la seguridad y los derechos fundamentales. Este reglamento busca evitar abusos, garantizar derechos y fomentar un uso responsable de las tecnologías emergentes en sectores críticos, incluida la gestión fronteriza. Sin embargo, un análisis transversal de la normativa sugiere la conveniencia de reforzar el artículo 9 del AI Act  (relativo a la gestión de riesgos en relación con los sistemas de alto riesgo) con una cláusula que exija una evaluación diferenciada del impacto sobre personas vulnerables, incluyendo la participación efectiva de estas comunidades en los procesos de evaluación ética (¡Atención! En el apartado 9 del artículo 9 se hace alusión a que los proveedores “prestarán especial atención a si, en vista de su finalidad prevista, es probable que el sistema de IA de alto riesgo afecte negativamente a las personas menores de dieciocho años y, en su caso, a otros colectivos vulnerables”. Esta participación sería una expresión práctica del principio de equidad. La inclusión no debe ser entendida como un resultado deseado, sino como una condición estructural del proceso. En este contexto, surge una pregunta clave: ¿puede la inteligencia artificial convertirse en una herramienta para proteger, y no vulnerar, los derechos de los menores migrantes? . Este artículo propone una lectura crítica y propositiva del AI Act , desde la perspectiva de la protección de menores migrantes en contextos de alta vulnerabilidad: demostrar que, si se aplica con un enfoque ético y legal, la IA puede fortalecer los procesos migratorios, reducir errores humanos y actuar como una barrera preventiva frente a decisiones arbitrarias o apresuradas. A través de un modelo conceptual inspirado en el AI Act y principios de derechos humanos, exploramos cómo tecnologías como la identificación biométrica supervisada, la evaluación algorítmica de riesgos individuales y los sistemas de trazabilidad pueden integrarse en los protocolos migratorios para asegurar que los derechos de la infancia sean siempre respetados. 1  Evangelio según Mateo (25:35-40), Jesús declara: “ Porque tuve hambre, y me disteis de comer; tuve sed, y me disteis de beber […] En verdad os digo que en cuanto lo hicisteis a uno de estos mis hermanos más pequeños, a mí lo hicisteis”. Jesús no solo ratifica estas enseñanzas humanitarias, son que las trasciende y radicaliza al introducir una ética basada no el cumplimiento de leyes, sino en el amor incondicional, situándolo como principio fundamental de la vida moral. La crisis de Ceuta y la vulneración de derechos Entre el 17 y el 19 de mayo de 2021, más de 8.000 personas cruzaron la frontera hacia Ceuta tras la relajación del control fronterizo por parte de Marruecos 1 . De ellas, aproximadamente 1.500 eran menores no acompañados. En agosto, el Ministerio del Interior español, bajo presión política y diplomática, procedió a devolver a 55 de estos menores a Marruecos sin una evaluación individualizada de sus casos, en clara contradicción con la Ley de Extranjería, la Convención sobre los Derechos del Niño y el principio del interés superior del menor. A pesar de la existencia de un acuerdo bilateral con Marruecos (2007), ninguna disposición legal puede justificar una repatriación que no garantice que el menor será protegido en su país de origen ni que haya sido escuchado adecuadamente. Las actuaciones y decisiones humanas fueron objeto de duras críticas y finalmente, la sentencia del Tribunal Supremo de 22 de enero de 2024 (Sala Tercera) dejó claro que se trató de una actuación ilegal y desprovista de garantías.  El AI Act , clasifica los sistemas de inteligencia artificial en función de su nivel de riesgo 2 . Los sistemas utilizados en contextos migratorios —como los de evaluación de riesgos o reconocimiento biométrico— están clasificados como “de alto riesgo”, lo que exige: Evaluaciones de impacto en derechos fundamentales. Transparencia algorítmica. Supervisión humana constante. Registro y trazabilidad de decisiones automatizadas. Aunque el AI Act  no obliga a utilizar IA, sí establece un marco riguroso para su uso ético y seguro. Este reglamento puede servir como palanca para exigir que las decisiones administrativas que afecten a menores estén respaldadas por sistemas auditables, objetivos y trazables. 2  Clasificación RIA: (63) «Modelo de IA de uso general: un modelo de IA, también uno entrenado con un gran volumen de datos utilizando auto supervisión a gran escala, que presenta un grado considerable de generalidad significativa y es capaz de realizar de manera competente una gran variedad de tareas distintas, independientemente de la manera en que el modelo se introduzca en el mercado, y que puede integrarse en diversos sistemas o aplicaciones posteriores, excepto los modelos de IA que se utilizan para actividades de investigación, desarrollo o creación de prototipos antes de su introducción en el mercado».  (66) «Sistema de IA de uso general: un sistema de IA basado en un modelo de IA de uso general y que puede servir a diversos fines, tanto para su uso directo como para su integración en otros sistemas de IA». Un modelo Ético de IA para Proteger a los Menores Se propone un modelo conceptual de aplicación ética de la IA en procesos migratorios que contemple cuatro fases clave: Identificación Segura Uso de tecnologías biométricas no invasivas para estimar la edad o verificar identidad, siempre con validación humana. Esto puede evitar errores como confundir menores con adultos. Relación con el Artículo 9 Identificación y análisis de riesgos (9.3.a) : El uso de tecnologías biométricas debe considerar riesgos como la  falsa clasificación de menores como adultos (sesgos en los datos de entrenamiento) , lo que puede vulnerar derechos fundamentales. Supervisión humana (9.6) : La validación humana obligatoria responde al principio de  mitigación de riesgos mediante intervención humana , especialmente en decisiones sensibles como la edad o identidad. Contexto de uso (9.7) : Se debe tener en cuenta que los menores migrantes pueden no tener documentos o estar en situaciones de estrés, lo que afecta la precisión de los sistemas.  Evaluación Individual Automatizada Sistemas de IA pueden organizar y cruzar datos para priorizar casos vulnerables. Algoritmos entrenados con criterios éticos pueden ayudar a identificar riesgos de explotación, trata o abandono. Relación con el Artículo 9: Evaluación de riesgos previsibles (9.3.b) : Los algoritmos deben prever el riesgo de  discriminación algorítmica  o sesgos que invisibilicen casos de vulnerabilidad. Diseño ético y mitigación (9.4 y 9.5) : El entrenamiento con criterios éticos y datos representativos es una medida estructural para reducir riesgos sistémicos. Riesgos residuales aceptables (9.6) : Solo si los riesgos no pueden eliminarse completamente, deben ser justificados y comunicados claramente a los operadores del sistema. Protección y Trazabilidad La IA puede gestionar con eficiencia la distribución de menores a servicios de acogida, asegurar su seguimiento, y generar alertas si no se cumple el protocolo legal. Relación con el Artículo 9: Gestión de riesgos durante todo el ciclo de vida (9.2) : La trazabilidad y seguimiento continuo permiten detectar fallos o incumplimientos en tiempo real. Medidas específicas (9.3.d) : Alertas automáticas ante desviaciones del protocolo son una forma activa de mitigación. Interacción entre requisitos (9.5) : La trazabilidad debe integrarse con otros requisitos como la transparencia (art. 13) y la supervisión humana. Repatriación Responsable En caso de retorno, un sistema puede verificar las condiciones del país de origen, la existencia de una red familiar segura y la legalidad de cada paso, dejando un rastro digital completo y auditable. Relación con el Artículo 9: Evaluación de riesgos adicionales (9.3.c) : Antes de repatriar, el sistema debe evaluar nuevos riesgos en el país de origen, como violencia o ausencia de red familiar. Aceptación de riesgos residuales (9.6) : La repatriación solo debe proceder si los riesgos han sido mitigados y se garantiza la legalidad y seguridad del proceso. Documentación y trazabilidad (9.6.c) : El rastro digital auditable es clave para garantizar la rendición de cuentas y la protección de derechos. Garantías Éticas y Límites Necesarios Todo sistema de IA aplicado en este contexto debe regirse por principios fundamentales: Proporcionalidad:  solo se justifica si mejora la protección del menor. Supervisión humana:  ninguna decisión debe ser completamente automatizada. Evitar sesgos:  los algoritmos deben ser entrenados y auditados regularmente para evitar discriminación. Acceso a recursos:  los menores y sus representantes deben poder recurrir cualquier decisión tomada con apoyo tecnológico. Conclusión                                                                  La crisis migratoria de Ceuta en 2021 dejó en evidencia una profunda falla institucional: la incapacidad de proteger adecuadamente a menores no acompañados frente a decisiones políticas apresuradas. El uso de inteligencia artificial, bien regulada y aplicada con criterios éticos pudo haber cambiado el curso de los acontecimientos.  El AI Act,  la nueva legislación europea sobre inteligencia artificial ofrece un marco sólido para garantizar que toda tecnología utilizada en frontera respete los derechos fundamentales, especialmente cuando se trata de niños. Desde sistemas biométricos con supervisión humana hasta algoritmos que alertan sobre riesgos de vulneración, la IA puede convertirse en aliada de la infancia si se diseña para proteger y no solo para controlar. Este artículo propone un modelo conceptual que integra tecnología, derecho y ética para evitar que errores como los de Ceuta se repitan. Porque proteger a los menores migrantes no es una opción: es una obligación legal, moral y humana.

Autores: Carmen Muñoz García y William Lúligo Monsalve Subproyecto 1.1 – AI Governance para Poryecto cAIre Google.orgOdiseIA Blog ¿Puede la regulación de la IA proteger a los más vulnerables? La inteligencia artificial generativa —la cara más visible de los modelos de IA de uso general—, se ha incorporado a nuestra vida cotidiana. Desde una perspectiva positiva y genérica mejora nuestra vida, contribuye a nuestra forma de trabajar, estudiar y comunicarnos. Sin embargo, desde una perspectiva negativa desafía los derechos, principios y valores del Derecho debidamente asentados a nivel de la Unión y en otros muchos Estados democráticos. Este desafío negativo amplifica los riesgos para los más vulnerables frente a una tecnología disruptiva: menores, mayores, personas con discapacidad, migrantes, personas con problemas de salud o en situación de pobreza. El reto no es frenar la innovación, sino encauzarla con normas claras y unas prácticas responsables para que nadie se quede atrás. ¿Por qué poner ahora el foco en la protección en la era de la IA? En los últimos años, hemos visto casos preocupantes: adolescentes que, tras interactuar con ChatBot, han tomado decisiones trágicas; adultos que, influidos por respuestas de IA, han sufrido consecuencias graves. Estos ejemplos reales han encendido las alarmas en Europa y el mundo. La IA generativa no solo responde preguntas o crea contenido en distintos formatos y para múltiples fines, sino que ahora también puede tomar decisiones, ejecutar tareas complejas e, incluso, en algunos casos, influir en la salud mental o la seguridad de las personas. Por este motivo, la Unión Europea, con el firme propósito de innovar de manera ética, segura y fiable, y también para garantizar los derechos de las personas, ha dado un paso adelante con el Reglamento de Inteligencia Artificial (RIA), que busca proteger especialmente a los colectivos más vulnerables. ¿Cuáles son algunas de las señales de alerta para las personas y, especialmente, para los vulnerables? Ante los múltiples riesgos de la IA, especialmente para las personas y colectivos vulnerables, es preciso identificar las posibles amenazas que se presentan y los riesgos ciertos que ya se han producido, sin que por ello la lista sea exhaustiva:  • Difusión de información falsa convincente (deepfakes) que afecta a la reputación, incita al odio o pone en riesgo la seguridad personal o colectiva. • Sesgos algorítmicos que excluyen en decisiones de alto impacto (como el acceso a la vivienda, empleo, crédito, a la administración pública o la atención sanitaria). • Interacciones automatizadas que refuerzan pensamientos autodestructivos o conductas de riesgo, especialmente en personas con vulnerabilidades emocionales o psicológicas. • Falta de transparencia sobre cómo funciona la IA, qué datos utiliza y qué limitaciones tiene, lo que impide una evaluación informada por parte del usuario. • Automatizaciones de servicios sin canales de ayuda humana claros y accesibles. • Exposición desproporcionada a publicidad personalizada o manipulación emocional, especialmente en menores, personas mayores o con baja alfabetización digital. • Acceso desigual a tecnologías de calidad, donde colectivos vulnerables quedan relegados a sistemas menos seguros, menos precisos o más invasivos. ¿Cómo regula Europa la IA? El RIA clasifica los sistemas de IA según el riesgo que representan: Riesgo inaceptable : prohibidos por suponer una amena para “la salud, la seguridad o los derechos fundamentales” (por ejemplo, IA que manipule a menores). Alto riesgo : por suponer un riesgo elevado para lo antedicho en el párrafo anterior, estará bajo una supervisión estricta (IA en sanidad, educación, justicia). Riesgo limitado o mínimo : para estos, se imponen pbligaciones de transparencia y buenas prácticas. Los modelos de IA de uso general, como los grandes chatbots, tienen reglas específicas. Si un modelo puede causar daños a gran escala (por ejemplo, desinformación masiva o “deepfakes” difíciles de detectar), se le exige cumplir requisitos adicionales: evaluaciones de riesgo, notificación de incidentes y medidas de ciberseguridad. Además, la UE ha creado códigos de buenas prácticas para que los proveedores de IA demuestren que cumplen la ley y protegen a los usuarios. Exigencias regulatorias en términos cotidianos  • Documentación y trazabilidad: saber cómo se entrenó el modelo, con qué datos y para qué sirve. • Transparencia y advertencias: explicar límites y riesgos de uso; marcar contenido sintético. • Supervisión humana: que exista intervención y recursos accesibles cuando haga falta. • Ciberseguridad y pruebas: evaluar, mitigar y volver a evaluar ante fallos o abusos. • Notificación de incidentes: comunicar y corregir incidentes graves con rapidez. • Códigos de buenas prácticas: una vía para demostrar cumplimiento de forma uniforme. Guía breve para su implementación  Para administraciones y empresas • Inventario de sistemas de IA y clasificación por riesgo. • Evaluación de impacto sobre derechos (especial foco en colectivos vulnerables). • Controles sobre los datos: calidad, sesgo, privacidad y accesibilidad del contenido. • Canales de apoyo humano y mecanismos de reclamación fáciles de usar. • Pruebas de robustez y planes de respuesta ante incidentes. • Uso de model cards y documentación técnica compartible con proveedores posteriores. Para escuelas, ONGs y ciudadanía • Formación básica para reconocer desinformación y contenido sintético. • Normas de seguridad: no compartir datos sensibles, contrastar fuentes, reportar abusos. • Uso de herramientas con buenas prácticas verificables y sellos de confianza. • Exigir explicaciones claras y accesibles sobre cómo funciona un asistente de IA. ¿El Reglamento de IA es suficiente para proteger a los vulnerables? La regulación europea es pionera y necesaria, pero no es infalible. La tecnología avanza rápido y los riesgos cambian. Por eso, además de leyes, principios y valores, necesitamos vigilancia, educación y una sociedad atenta a los nuevos desafíos. La clave está en combinar normas claras, supervisión activa y una cultura de cumplimiento y de responsabilidad. Solo así la IA podrá ser una aliada, y no una amenaza, para quienes más protección necesitan. El objetivo puede parecer simple, pero no lo es: ante una IA tecnológicamente ilimitada, son necesarios límites éticos y normativos, así como actuaciones globales. De ahí que podamos afirmar: progreso sí, pero con garantías .

Introducción La inteligencia artificial (IA) está transformando todos los ámbitos de nuestra sociedad, desde la salud y la educación hasta la justicia y la economía. En particular, la IA generativa, que puede crear textos, imágenes, música y muchas otras formas de contenido, ha abierto nuevas posibilidades pero también ha generado enormes desafíos éticos y sociales. Frente a estos desafíos, los gobiernos, organismos internacionales, instituciones académicas y empresas tecnológicas han desarrollado una serie de directrices éticas que pretenden orientar el desarrollo y uso responsable de la IA. Sin embargo, surge una pregunta crucial: ¿qué valor normativo tienen estas directrices? ¿Son simplemente recomendaciones, o realmente constituyen un marco de obligaciones éticas y legales que deben ser respetadas y promovidas? Esta ponencia  busca analizar el valor normativo de las directrices éticas, con foco en los principales marcos internacionales, en especial las directrices del Reglamento Europeo de IA (2019) y los principios promovidos por la OCDE, en un contexto de gobernanza global de la IA generativa. La naturaleza de las directrices éticas: ¿normas, recomendaciones o principios? 1.  es fundamental entender qué son exactamente estas directrices. Generalmente, las directrices éticas en IA funcionan en la categoría de principios rectores o normas de comportamiento. Su carácter legal, en muchos casos, es flexible, pero eso no implica que carezcan de peso o valor normativo.       2.2 Son obligatorias o voluntarias? En el caso del Reglamento Europeo de IA (2019), las directrices se enmarcan como obligaciones no vinculantes (soft law), aunque con fuerte impacto en la futura legislación y en la regulación sectorial. La OCDE y otros marcos internacionales emiten recomendaciones y principios que, si bien no son de cumplimiento obligatorio, ejercen un poder normativo mediante la influencia en políticas públicas, estándares técnicos y buenas prácticas. Este carácter dual —de recomendaciones que pueden convertirse en obligaciones— refuerza el valor normativo de estas directrices, ya sea como marco de referencia ético-legal o como compromiso político internacional. Valor normativo: una cuestión de legitimidad y obligatoriedad Lo que diferencia a las directrices éticas de las simples buenas intenciones es su capacidad de influir en el diseño, desarrollo y regulación de la IA. Estas directrices adquieren un valor normativo cuando: Son adoptadas formalmente por gobiernos o instituciones internacionales. Se convierten en referencia obligatoria en licitaciones, contratos o proyectos. Existen mecanismos de supervisión y sanción por incumplimiento. Por tanto, su valor normativo radica en su capacidad de establecer deberes y obligaciones en los actores que desarrollan y despliegan IA. El valor normativo de las directrices éticas en los principales marcos internacionales: 1. El Reglamento Europeo de IA (2019) El Considerando 27 del RIA, aunque no es una norma vinculante en sí misma, establece un** marco ético** que busca que los sistemas de IA sean responsables, transparentes y alineados con derechos fundamentales. La Comisión Europea ya ha avanzado en propuestas de regulación que hacen obligatorio el cumplimiento de ciertos principios, como la explicabilidad, la transparencia y el control humano. Este marco refleja un valor normativo que, en el futuro, puede convertirse en obligaciones legales obligatorias para todos los desarrolladores y usuarios en la Unión Europea, consolidando la ética en la ley. 2. La OCDE y su Marco de Principios sobre la IA (2019) La OCDE establece cuatro principios fundamentales: 1.Inclusión y equidad 2.Transparencia y explicabilidad 3.Seguridad y protección contra riesgos 4. Responsabilidad Estos principios, aunque inicialmente voluntarios, se han adoptado como referencia por más de 50 países y por organizaciones internacionales. La OCDE ha trabajado activamente para que estos principios se implementen en marcos regulatorios nacionales, de manera que su influencia transforma estos principios en obligaciones de facto. 3. Otros estándares internacionales: Directrices de la Comisión Europea para la IA Confiable (2020): Estas directrices refuerzan la naturaleza normativa de los principios éticos mediante requisitos específicos que las organizaciones deben cumplir, como la gobernanza de los datos, la evaluación de riesgos y la supervisión humana. La adopción de estas directrices en el sector privado y público otorga un fuerte valor normativo que puede traducirse en regulaciones vinculantes en el futuro cercanoLa Declaración de la UNESCO sobre la Ética de la IA (2021): Un marco normativo global Contexto y objetivos La UNESCO, como organismo de las Naciones Unidas dedicado a la ciencia y la cultura, reconoce que la inteligencia artificial tiene un potencial transformador, pero también plantea riesgos significativos si no se regula de manera adecuada. La Declaración busca promover una gobernanza ética de la IA que sea universal, inclusiva y respetuosa de los derechos humanos, fortaleciendo la cooperación internacional. La Declaración establece temas clave y principios que deben guiar el desarrollo y la implementación de la IA, entre ellos: -Beneficencia y no maleficencia: La IA debe promover el bienestar, reducir riesgos y evitar daños. -Justicia y equidad: Asegurar que los beneficios de la IA se distribuyan de manera equitativa, evitando sesgos discriminatorios. -Respeto por la dignidad y los derechos humanos: La IA debe respetar derechos fundamentales, incluyendo la privacidad, la libertad y la igualdad. -Responsabilidad y rendición de cuentas: Los desarrolladores, usuarios y responsables deben rendir cuentas por los efectos y decisiones de la IA. -Transparencia y explicabilidad: La tecnología debe ser comprensible y explicable para todos los actores involucrados. Inclusión y participación: Implicar a todos los sectores de la sociedad en la formulación de políticas sobre IA para garantizar que se reflejen diversas voces y necesidades. -Valor normativo y su relación con otros marcos -La principal contribución de la Declaración de la UNESCO es su carácter universal y moral, ya que establece principios éticos que deben guiar la acción de todos los países. Esto aporta un valor normativo global, que, aunque no tiene fuerza jurídica vinculante, establece un pacto ético internacional. En relación con la OCDE y el Reglamento Europeo, la Declaración complementa y refuerza estos marcos: -Similitudes: Todos enfatizan la importancia de la transparencia, responsabilidad, equidad y el respeto a los derechos humanos. -Diferencias: La Declaración incluye aspectos culturales, sociales y éticos más amplios, promoviendo el necesario diálogo intercultural y participación ciudadana en la gobernanza de la IA. Un ejemplo relevante es la referencia que hacen algunas políticas nacionales y organizaciones internacionales a la Declaración como marco ético de referencia para diseñar regulaciones nacionales que sean coherentes con los principios internacionales. Por ejemplo, países como Canadá, Francia y Argentina han mencionado que alinearán sus políticas con los principios de la Declaración de la UNESCO en sus marcos regulatorios. La Declaración sobre la Ética de la IA de la UNESCO (2021) cumple una función crucial en el escenario global, puesto que: Establece valores universales que orientan el desarrollo de la IA hacia el bien común. Potencia la cooperación internacional y la armonización de principios éticos en distintos marcos regulatorios. Refuerza el valor normativo de las directrices éticas, aún cuando no sea jurídicamente vinculante, en tanto que fomenta una responsabilidad compartida de todos los actores sociales, políticos, académicos y económicos. Para futuros profesionales del derecho, la tecnología y la gobernanza, entender y promover estos principios ayudará a construir una regulación ética y efectiva, que garantice que la IA sirva a los valores humanos y sociales, en línea con los desafíos y oportunidades de la era digital. Principios de la AAAS (2019): La American Association for the Advancement of Science promovió principios relacionados con la beneficencia, justicia, autonomía y responsabilidad, orientados a fortalecer la confianza pública en la IA. Aunque de carácter moral, estos principios se convierten en un referente necesario para el diseño de políticas públicas y normativas nacionales. La fuerza del valor normativo: de recomendaciones a obligaciones La transición de la ética recomendada a la normativa obligatoria es una tendencia clara en la gobernanza internacional de la IA. Como abogados, académicos y responsables en innovación, debemos comprender las implicancias de este proceso: legitimidad y confianza: Las directrices éticas se tornan obligatorias en la medida en que son aceptadas, monetizadas en políticas públicas y adoptadas por actores económicos y sociales. Mecanismos de cumplimiento: La existencia de auditorías, certificaciones y supervisión pública refuerzan su carácter vinculante. Innovación responsable: La incorporación temprana de los principios en el diseño del sistema de IA favorece la innovación sostenible, fomentando la confianza y promoviendo la aceptación social. Ejemplo de éxito: La regulación del sector financiero en la UE, que obliga la transparencia en algoritmos de crédito y mecanismos de responsabilidad, muestra cómo los principios éticos pueden formalizarse en un marco legal efectivo que fomenta la innovación segura. La IA generativa, por sus características de autonomía y creatividad, plantea desafíos éticos y jurídicos específicos, como la responsabilidad por contenido generado, derechos de autor, sesgos en datos, y riesgos de desinformación. Para establecer los límites ético-legales en la creación y uso de contenido generado automáticamente. Para definir responsabilidades claras en casos de daños o uso indebido. Para promover prácticas que aseguren transparencia y explicabilidad en estos sistemas. El éxito en la gobernanza de la IA generativa dependerá, en buena medida, de cómo las directrices éticas se conviertan en principios obligatorios y sean operacionalizadas en regulaciones y estándares técnicos. A pesar de los avances, existen desafíos importantes para consolidar el valor normativo de las directrices éticas: -Globalización: La multiplicidad de marcos reguladores puede generar incoherencias, por lo que la cooperación internacional es clave. -Tecnologías emergentes: La rápida innovación en IA requiere que las directrices sean revisadas periódicamente y adaptadas a nuevas realidades. -Cuestiones de cumplimiento: Es necesario fortalecer los mecanismos de supervisión, auditoría y sanción para dar peso legal a estas directrices. Es fundamental que académicos, legisladores y actores tecnológicos trabajen conjuntamente para convertir estos principios en un verdadero estándar de regulación y control que asegure el desarrollo responsable de la IA. Conclusión Las directrices éticas en IA, en particular aquellas promovidas por el Reglamento Europeo y la OCDE, poseen un enorme valor normativo. No solo actúan como principios rectores, sino que gradualmente están configurando un marco legal y regulatorio que obliga a los actores a actuar de manera responsable. En la era de la IA generativa, donde la innovación avanza a pasos agigantados, el valor normativo de estas directrices proporciona una base sólida para garantizar que la tecnología sirva al bien común, respetando los derechos humanos y promoviendo una sociedad más inclusiva, segura y justa. Para los jóvenes abogados, tecnólogos y académicos, comprender y promover la vigencia y estricta aplicación de estos principios no solo es un deber ético, sino la clave para construir un futuro en el que la IA genere valor real y sostenible. REFERENCIAS, Bibliografia. Reglamento (UE) 2019, RIA (Reglamento de IA) OCDE, Principios sobre IA (2019) Comisión Europea, Directrices para la IA confiable (2020) UNESCO, Declaración sobre la Ética de la IA (2021) ‎ Maria Gabriela Busellini Abogada. Poder judicial. Investigadora.

Este estudio ha sido realizado por OdiseIA en el marco del proyecto Google cAIre. Puedes conocer más sobre esta iniciativa en el siguiente enlace: Google Caire - OdiseIA . Este blog es una síntesis de la primera versión del entregable principal del subproyecto "Uso de la Inteligencia Artificial de manera responsable en la gestión de RRHH", cuyo informe definitivo estará disponible en 2025. ¿Qué es la Inteligencia Artificial responsable y por qué es necesaria en RRHH? La inteligencia artificial se ha convertido en una tecnología transformadora que marca un antes y un después en la gestión del capital humano. A diferencia de innovaciones tecnológicas anteriores, la IA representa un cambio paradigmático en cómo la tecnología interactúa y complementa las capacidades humanas en el entorno laboral. Una IA responsable en recursos humanos previene activamente impactos negativos éticos y sociales. No es la tecnología en sí misma la que es responsable o no, sino el uso que hacemos de ella. Un uso ético implica que el resultado fomenta el bien y evita el daño, yendo más allá del mero cumplimiento legal. La necesidad de una IA responsable se hace evidente cuando analizamos casos problemáticos documentados. Por ejemplo, el sistema de contratación de Amazon reveló cómo un sistema de IA discriminaba sistemáticamente candidaturas femeninas, aprendiendo a penalizar currículos que incluían referencias al género femenino. Este y otros casos demuestran que las consecuencias negativas pueden ocurrir por diversas razones: los sistemas aprenden de datos históricos con sesgos preexistentes, la precisión nunca alcanza el 100%, y los algoritmos modernos son estructuras complejas difícilmente interpretables. ¿Cómo se manifiesta la IA en la gestión del talento humano? La IA se manifiesta en diversos procesos de recursos humanos, generando impactos significativos en tres ámbitos principales: reclutamiento y selección, experiencia del empleado, y clima laboral. En el reclutamiento, los sistemas actuales utilizan algoritmos avanzados para analizar candidaturas y gestionar entrevistas. Unilever, por ejemplo, ha implementado un sistema de análisis de entrevistas que examina contenido verbal y no verbal, logrando reducir el tiempo de contratación en un 75%. Para la experiencia del empleado, IBM ha adoptado sistemas predictivos que identifican áreas de mejora y sugieren planes de formación personalizados, efectivos para reducir la rotación no deseada al proporcionar oportunidades de desarrollo más precisas y relevantes. En cuanto al clima laboral, la IA permite analizar patrones de comportamiento organizacional y detectar riesgos, aunque este ámbito presenta mayores desafíos en términos de precisión y consideraciones éticas. ¿Cuáles son los beneficios concretos de la IA en recursos humanos? La implementación de IA en RRHH está generando beneficios sustanciales en múltiples dimensiones. La evidencia empírica demuestra que una aplicación adecuada de estas tecnologías puede mejorar significativamente la eficiencia operativa y contribuir a crear entornos laborales más equitativos. Un estudio realizado por Deloitte en 2023 encontró que las organizaciones que han implementado soluciones de IA en sus procesos de RRHH han logrado reducir el tiempo dedicado a tareas administrativas en un 40%, permitiendo que sus equipos se centren en iniciativas estratégicas como el desarrollo de talento. En el ámbito de la selección de personal, los sistemas de IA bien diseñados pueden ayudar a reducir los sesgos inconscientes. Un estudio publicado en el Journal of Applied Psychology demostró que los sistemas de selección asistidos por IA pueden aumentar la diversidad en la contratación en hasta un 35% mientras mantienen o mejoran la calidad de las contrataciones. Casos como el de PepsiCo, que implementó un sistema de IA para la gestión integral del talento, muestran resultados notables: la tasa de promoción interna aumentó en un 30% en el primer año, la satisfacción de los empleados con su desarrollo profesional se incrementó en un 45%, y la diversidad en posiciones de liderazgo creció un 28%. ¿Qué riesgos plantea la IA en la gestión del capital humano? Una consulta pública realizada por la Comisión Europea en 2020 arrojó datos reveladores: el 90% de los encuestados expresó preocupación sobre la capacidad de la IA para atentar contra los derechos fundamentales, el 87% manifestó temores sobre resultados discriminatorios, el 78% alertó sobre la opacidad en la toma de decisiones, y el 70% cuestionó la precisión de estos sistemas. Estos riesgos no son meramente teóricos. El caso de Amazon en 2015 se ha convertido en un ejemplo paradigmático de cómo los sesgos pueden infiltrarse en los sistemas. La compañía desarrolló una herramienta de IA para automatizar la selección de candidatos, pero el sistema comenzó a mostrar un sesgo sistemático contra las mujeres candidatas. En 2022, una empresa de servicios financieros implementó un sistema de monitorización basado en IA para evaluar la productividad de empleados remotos, provocando estrés significativo en los trabajadores y llevando a despidos basados únicamente en métricas automatizadas, sin considerar factores contextuales. ¿Cómo regula Europa los sistemas de IA en recursos humanos? El Reglamento Europeo de Inteligencia Artificial reconoce la naturaleza crítica de estos sistemas al categorizarlos como "de alto riesgo", una clasificación que responde al impacto profundo que pueden tener en la vida profesional y el bienestar de las personas. El Anexo III del Reglamento identifica con precisión los escenarios en el ámbito laboral que requieren atención especial: procesos de selección y contratación, sistemas utilizados en evaluación y promoción profesional, y sistemas de monitoreo y evaluación de trabajadores. Para garantizar una implementación responsable, el Reglamento establece un marco integral de requisitos específicos. Se requiere supervisión humana significativa en decisiones críticas, documentación detallada de sistemas y procesos, evaluación y gestión continua de riesgos, transparencia hacia los afectados, así como robustez y precisión demostrable en los sistemas implementados. ¿Qué principios éticos deben guiar la implementación de IA en recursos humanos? Los principios éticos que deben guiar el desarrollo e implementación de la inteligencia artificial en la gestión del talento emergen de diversas fuentes normativas y recomendaciones internacionales. La aplicación en el ámbito laboral resulta especialmente crítica por su impacto directo en las oportunidades y el desarrollo profesional de las personas. Un framework de principios éticos incluye aspectos como la privacidad y gobierno de datos, donde los sistemas procesan información especialmente sensible sobre capacidades, desempeño y desarrollo profesional, por lo que se requiere un estricto control y protección. También es fundamental la seguridad y protección, entendida desde la seguridad en el funcionamiento interno de soluciones IA y su capacidad para resistir ante amenazas externas. La transparencia y explicabilidad son esenciales para que las personas afectadas puedan comprender cómo y por qué se toman determinadas decisiones que afectan su vida laboral. La justicia en los sistemas debe evitar sesgos y promover la inclusión y diversidad, garantizando un trato equitativo, mientras que el control y vigilancia humana asegura que exista supervisión significativa en el proceso de toma de decisiones automatizadas. Adicionalmente, los sistemas deben promover valores y derechos humanos, dirigiendo el desarrollo y uso de la IA al beneficio y bienestar de la sociedad, sin olvidar la sostenibilidad ambiental para que las infraestructuras creadas economicen recursos energéticos. ¿Cómo difieren la adopción de IA entre empresas públicas y privadas? La implementación de IA en RRHH presenta patrones diferenciados pero complementarios entre sectores. Las empresas privadas tienden a adoptar estas tecnologías con mayor rapidez, beneficiándose de su flexibilidad organizativa y capacidad de inversión, mientras que las entidades públicas siguen un proceso más estructurado, condicionado por marcos regulatorios específicos. Mientras las organizaciones privadas han capitalizado la tecnología para optimizar indicadores de rendimiento económico y eficiencia operativa, el sector público ha orientado estas herramientas hacia la materialización de principios como la igualdad de acceso y la transparencia administrativa. Esta divergencia refleja diferencias en sus estructuras de incentivos, marcos regulatorios y compromisos sociales, aunque ambos sectores convergen en la necesidad de equilibrar innovación tecnológica con responsabilidad ética en la gestión del talento. ¿Qué recomendaciones existen para una implementación responsable de IA en recursos humanos? Las conclusiones de especialistas en la aplicación ética y responsable de IA en recursos humanos señalan las ventajas que supone contemplar principios de transparencia y justicia, con la consiguiente creación de entornos de trabajo más positivos y trabajadores más involucrados. Se destaca la importancia de mantener la interacción humana como elemento clave para garantizar relaciones laborales que solo los humanos pueden proporcionar. Nuestra capacidad para entender matices en asuntos sensibles que afectan al bienestar en el lugar de trabajo sigue siendo insustituible. La IA debe ser comprendida como un soporte o una ayuda, no como un sustituto cuando se requiere tomar decisiones informadas en el contexto de la gestión de personas. Los beneficios de estas tecnologías se materializan de manera más efectiva cuando forman parte de una estrategia integral que considera tanto los aspectos técnicos como los humanos. La experiencia acumulada hasta ahora sugiere que estamos apenas comenzando a comprender el potencial transformador de la IA en recursos humanos. A medida que la tecnología continúa evolucionando y las organizaciones adquieren más experiencia en su implementación, es probable que emerjan nuevas aplicaciones y beneficios. Lo fundamental será mantener un enfoque centrado en el ser humano, donde la tecnología sirva para potenciar, no para reemplazar, las capacidades humanas que hacen únicas a las organizaciones. Autores del entregable: Juan Manuel Belloto, Rafael González, Guillermo Hidalgo, Borja Llonín y Enrique Martín Realizado en el marco del proyecto Google Caire por OdiseIA. Versión definitiva disponible en 2025.

Por Frank Escandell El segundo día del evento EmTech AI 2025 de  MIT Technology Review  en las instalaciones del  MIT Media Lab , hubo una presentación que podría haber sido considerada como encore : dos expertos legales, mano a mano, discutiendo uno de los temas más controvertidos respecto a la disrupción de la IA: el dilema de los derechos de autor y la propiedad intelectual. Ellos eran  Tyler Chou , CEO de  Tyler Chou Law for Creators , y  Amir Ghavi , Socio en el bufete de abogados  Paul Hastings . Como este autor tiene un gusto para esto, la ciencia ficción —esa brújula perenne para las ansiedades de la civilización sobre el cambio tecnológico— nunca se ha sentido más cercana al reportaje que hoy en día. En la era de la Inteligencia Artificial Generativa (IAGen), la realidad supera incluso las visiones más imaginativas. Si George Orwell escenificó los peligros de la vigilancia en "1984", y "Blade Runner" interrogó las fronteras entre lo auténtico y lo sintético, el debate actual sobre la propiedad intelectual nos sumerge en una tormenta legal, ética y creativa que ni el cine ni la novela se atrevieron a prever. Como tecnólogo dedicado a evitar a menudo la peroratoria locuacidad, pero eso sí a avanzar en la practicidad de la filosofía de la tecnociencia, propongo trazar un camino a través de este territorio traicionero pero emocionante—con el testimonio de los expertos, la propia provocación juiciosa y analogías dignas de un sueño febril de Philip K. Dick. La IAGen asombra con su facilidad para generar texto, música, imágenes y código—sin embargo, debajo de este torrente de creación yace una vasta fundación construida sobre el trabajo y la artesanía de creadores humanos. ¿Quién, entonces, posee estas nuevas manufacturas de producción digital? ¿Quién se beneficia, y a qué costo? La pregunta no es meramente "¿sobre qué ovejas eléctricas está soñando la IAGen?" sino si nuestra imaginación colectiva puede seguir siendo un activo común, o convertirse en un cercado para imperios corporativos. Conclusiones Principales: Pausa, Reflexiona, Reenmarca Cinco ideas principales que resumen este contenido (original): Entrenar la IAGen con obras protegidas por derechos de autor amenaza tanto los derechos como la remuneración justa de los creadores—un peligro que tanto Tyler Chou como Amir Ghavi reconocen como urgente. Los marcos legales existentes están mal preparados para abordar cuestiones de autoría y originalidad en el contexto de la IA—un raro punto de consenso entre estos expertos interlocutores mencionados anteriormente. El riesgo de daño al mercado y pérdida de medios de subsistencia para creadores humanos está destinado a dominar los debates legales y económicos futuros, como coinciden tanto juristas como tecnólogos. Ningún futuro viable reside en una defensa absoluta de la innovación tecnológica a expensas del trabajo creativo, ni en una resistencia total al progreso: el terreno a encontrar es necesariamente negociado y negociable. Los mecanismos de licencias y nuevos marcos están destinados a convertirse en los motores de una cultura digital equilibrada y sostenible—una posición respaldada tanto por fuerzas empíricas del mercado como por testimonio experto. Sombras del Gran Hermano: Vigilancia, Raspado y Poder Estructural Nuestro escenario en este asunto se lee como un remix no autorizado del "1984" de Orwell. Imagina cada novela, cada pintura, cada canción fugaz o garabato digital, predestinado a vivir como un punto de datos en un archivo secreto y automatizado. Los modelos de IAGen, con una voracidad sin precedentes en la historia tecnológica, ingieren o han ingerido efectivamente datos protegidos por derechos de autor a escala colosal, a menudo sin el permiso del creador. Tyler Chou, distinguida consejera para creadores digitales, es inequívoca: " El 90% de la propiedad intelectual ya ha sido usada para entrenamiento. Ha sido raspada (scrape). Ha sido robada de los creadores ." Incluso Amir Ghavi—arquitecto legal para grandes compañías tecnológicas—admite que la ley de derechos de autor, originalmente forjada durante la Ilustración, está espectacularmente mal adaptada a esta nueva época. Ambos expertos reconocen que los instrumentos legales actuales nunca fueron diseñados para regular una era en la que cada acto de creatividad—tuyo, mío, o del resto de la sociedad—podría ser absorbido sin detección en modelos algorítmicos. Juntos, hacen sonar la alarma: es impactante los obsoletas que están las reglas del juego. El Replicante Digital: Autoría y el Espejismo de la Originalidad Aquí la analogía se vuelve más enrevesada, recordando "Blade Runner", donde la memoria, identidad y autoría se difuminan. En la era de la IAGen, la producción supuestamente "original" es, de hecho, recombinante: un tapiz espectral tejido del ADN cultural de innumerables fuentes humanas. Tanto Chou como Ghavi reflexionan sobre este enigma. Si un modelo es entrenado con todo las creaciones artísticas del mundo, ¿quién, si alguien, debe ser llamado autor? Ghavi enfatiza la jurisprudencia de la transformación: si la creación de la IA reimagina fundamentalmente el original, puede calificar como un uso justo. Chou, por contraste (pero no contradicción), insiste en que la pregunta es menos sobre metamorfosis que sobre desplazamiento económico: cuando las producciones de la IAGen sumergen el mercado para trabajo humano, el resultado no es homenaje alguno sino una amenaza existencial a las profesiones creativas. Aquí, incluso los tribunales están inquietos—recientemente un juez federal en los Estados Unidos ha admitido  que, si la IAGen puede generar un libro "sustancialmente similar" al original, el mercado del autor puede ser "obliterado" o destruido. Laberintos Legales: El Futuro en Juicio La ley, la ciencia ficción más antigua, ahora es llamada a arbitrar realidades que habrían asombrado a sus fundadores. Emergen cuatro dilemas clave: Uso Justo : Como Ghavi afirma, la doctrina del uso justo es esencial para la creatividad y crítica, pero ¿hasta dónde puede estirarse para dar cobertura al análisis automatizado a escala planetaria? Chou argumenta—y los tribunales coinciden cada vez más—que los motivos comerciales y el desplazamiento generalizado socavan cualquier reclamo de que los usos de la IAGen son simplemente "transformativos." Autoría Humana : Ambos expertos destacan un cisma creciente. La protección de derechos de autor se basa legalmente en el trabajo creativo humano; las producciones sintéticas de la IAGen violan tanto la letra como el espíritu de esta tradición. Daño al Mercado : Aquí, el acuerdo de los expertos es inequívoco: si la IAGen destruye la base económica de las profesiones creativas, el sistema legal debe intervenir. Seguridad y Defensa : Ghavi denota una defensa emergente: el argumento de que el liderazgo global en IA supera y abarca todo. Sin embargo, incluso Chou, defendiendo firmemente los derechos de los creadores, reconoce la Realpolitik  subyacente a esta afirmación, advirtiendo que los gobiernos pueden intervenir para proteger la preeminencia tecnológica nacional a expensas de los intereses de los creadores. Futuros Post-Autoría: ¿Quién Crea y Quién Firma? Si "The Matrix" nos enseñó a desconfiar de lo simulado, la IAGen nos invita a dudar incluso de nuestras propias firmas. Sí, podrías potencialmente desconfiar de este artículo mismo, pero te aseguro que no hay razón para ello. Cuando le dices a una máquina: "Escribe un soneto como Shakespeare," y lo hace, ¿quién es el poeta—el que da la instrucción, el constructor del modelo, el corpus fantasmal de la obra de Shakespeare, o la máquina misma? Ni Ghavi ni Chou encuentran respuestas adecuadas en la ley actual. Emerge un régimen de "autoría por comité", cuyo estatus legal aún está indeterminado y cuya posición ética es repetidamente contestada. La Biblioteca de Todo: la IAGen y el Refrito Infinito Crucemos ahora el umbral ficticio hacia la "Biblioteca de Babel" de Jorge Luis Borges—una estructura laberíntica que contiene cada texto concebido alguna vez. En cierto sentido, un modelo de lenguaje grande (LLM) es tal biblioteca, y la IAGen su bibliotecario maestro. Para algunos, esto anuncia una democratización sin precedentes: todos pueden crear sinfonías, pinturas, manifiestos y juegos con sólo presionar un botón. Para otros (tanto Chou como Ghavi entre ellos), esta escala señala una especie de evento de extinción cultural, con los medios de subsistencia de los creadores profesionales arrasados por una inundación de obras derivadas. Las apuestas son inmediatas. Escritores en huelga, músicos agraviados y artistas asediados ahora confrontan un horizonte incierto, mientras el contenido generado por IA prolifera en progresión geométrica y amenaza los medios tradicionales de captura de valor. Más Allá del Monolito: Licencias como Estrategia de Supervivencia Aquí, en medio del tumulto competitivo, tanto Chou como Ghavi vislumbran una solución audaz—si no inevitable aún. Chou nota que $10 mil millones en acuerdos de licencias de IA ya han sido firmados, con la cifra proyectada a incrementarse rápidamente. Ghavi, siempre pragmático, reconoce que las fuerzas del mercado están impulsando a las compañías hacia licencias transparentes y robustas de contenido de alto valor. La lógica mutuamente reforzante es irresistible: los modelos de IA requieren entrada de alta calidad para minimizar errores; los creadores demandan recompensa justa por el uso de su trabajo. Tanto Chou como Ghavi—parte adversarios, parte aliados—reconocen que regímenes de licencias amplios y claros pueden ser el delicado rayo de esperanza en este cielo por lo demás tormentoso. Las prácticas transparentes de datos sirven no sólo a la justicia, sino al progreso tecnológico mismo. Trabajos de Creación Ghavi, con su candor característico, remarca el tema: el verdadero campo de batalla no es la propiedad intelectual, sino el trabajo. El desafío es la integración—cómo orientar mejor el progreso tecnológico para no eliminar el trabajo social, económico y cultural del cual es parasitario. Chou, firme en su defensa de los creadores, concuerda: reconocimiento, compensación y permiso deben sustentar cualquier futuro estable. Ambos rechazan los binarios distópicos de sus modelos literarios y cinematográficos. El camino hacia adelante, sugieren, debe ser uno de negociación—una tregua permanente y evolutiva entre el ingenio humano y la augmentación mediante máquinas. Una Solución Win-Win: Hacia un Futuro Equilibrado Basándose en este raro consenso entre expertos, emerge el esquema de una solución win-win: Licencias Integrales : Acuerdos de licencias a nivel de industria, negociados por colectivos de creadores y firmas de IA, aseguran que aquellos cuyas obras alimentan la IAGen sean compensados proporcionalmente a su contribución. Transparencia de Datos : Cada conjunto de datos es auditable, con la clara atribución respecto a derechos, orígenes y permisos—empoderando tanto a creadores como a desarrolladores de modelos. Participación Colectiva : Los creadores, a través de sindicatos o cooperativas, se sientan a la mesa para establecer términos, hacer cumplir la conformidad y compartir en las ganancias de la nueva economía de la IA. Reforma Legal Adaptativa : Legisladores y tribunales recalibran las doctrinas de autoría, originalidad y daño al mercado—reconociendo formas híbridas de creatividad y remuneración. Coordinación Internacional : En lugar de una carrera ruinosa hacia la desregulación, las jurisdicciones líderes colaboran en estándares básicos equilibrando innovación con sostenibilidad creativa. Tal pacto, forjado en los fuegos de la controversia presente, podría generar un renacimiento digital tan audaz como cualquiera imaginado por la ciencia ficción. En tal mundo, tanto inteligencias humanas como artificiales encontrarían espacio—no para dominación o desplazamiento, sino para coexistencia creativa. Qué inmenso privilegio haber presenciado este encuentro entre Chou y Ghavi. Así como el canon de ciencia ficción siempre nos ha instado, la pregunta no es si la tecnología prevalecerá, sino si la justicia, el ingenio y la esperanza darán forma a los términos de su victoria.

El asesoramiento financiero está entrando en una nueva era mientras los modelos de lenguaje grandes (LLM) como ChatGPT evolucionan de simples chatbots a asistentes de investigación "cuantamental". Anotad este término quienes os dediquéis a consultar clientes. Por Frank Escandell Prácticamente todos los Gen X, y algunos millenials , recuerdan la ya legendaria frase de Jerry Maguire (Tom Cruise), en la película de 1996 del mismo nombre, en un intento histérico por retener sus clientes. El único que se quedó con él, Rod Tidwell (Cuba Gooding Jr.), le obligó a decir esta frase y Jerry tuvo que materializarla, sí o sí. Esta es la nueva aventura de los mercados, ante tanto humo y tanta euforia sobre la IA generativa. Empecemos. Según el profesor Andrew Lo, director del Laboratorio de Ingeniería Financiera en la MIT School of Management, la IA generativa puede combinar el análisis profundo de datos con la comprensión humana del permitiendo a los analistas cubrir más empresas, personalizar el asesoramiento a escala y detectar riesgos más rápidamente. Este cambio promete mayor productividad, menores costes y un acceso más amplio a asesoramiento financiero de calidad, siempre que resolvamos los problemas restantes en torno a errores, ética y regulación. La ponencia y posterior entrevista de Lo en el pasado evento EmTech AI 2025, al cual asistió OdiseIA, en Cambridge, mostró que la IA actual ya puede aprobar exámenes de licencia financiera, redactar análisis fundamentales y proponer carteras específicas para clientes.  Lo prevé un progreso rápido en la reducción de errores de la IA ("alucinaciones") y en la construcción de baterías de pruebas que aseguren que los modelos cumplan con los estándares fiduciarios legales. Los próximos pasos incluyen forjar la confianza con los usuarios finales, integrar la IA en programas de formación y diseñar una supervisión que mantenga el asesoramiento tanto preciso como imparcial. Perspectivas Clave de un Vistazo La IA permite a los analistas fundamentales seguir muchas más empresas. Donde los humanos una vez manejaban 10-20 valores y generaban cinco ideas al año, los LLM pueden apoyar 100 nombres y 20-30 ideas, impulsando el flujo de ideas sin personal adicional1. El asesoramiento puede personalizarse automáticamente. Al combinar datos del cliente (perfil de riesgo, objetivos, necesidades de liquidez) con información en tiempo real, la IA puede ofrecer millones de recomendaciones personalizadas a la vez. Los errores no desaparecerán de la noche a la mañana, pero se reducirán. El ajuste específico de dominio, las capas de recuperación y las verificaciones cruzadas están en camino de reducir las tasas de error de la IA a los mismos niveles observados con asesores humanos júnior. La industria se dividirá entre estrellas habilitadas por IA y aquellos que se queden atrás. Los analistas top que adopten la IA gestionarán carteras más grandes y ganarán comisiones más altas, mientras que los rezagados enfrentarán presión de comisiones y posible salida. Los reguladores tienen la clave para escalar. El equipo de Lo está construyendo pruebas tipo examen y escenarios de casos de estudio para que la SEC (Comisión de Bolsa y Valores de EE.UU.) y otros organismos puedan certificar "algoritmos fiduciarios" antes de que asesoren a inversores minoristas. Cambio Histórico: De Modelos Estadísticos a Comprensión del Lenguaje En el pasado, los famosos cuantitativos dependían de modelos de factores, señales de impulso y operaciones de alta velocidad, mientras que los inversores fundamentalmente leían informes y escuchaban llamadas de resultados. Los LLM fusionan estos mundos: convierten documentos financieros, noticias y transcripciones en datos estructurados que los algoritmos pueden optimizar.  El resultado es investigación que lee como el memorando de un humano, pero opera como el programa de un cuantitativo. La investigación de Lo sobre "entrar en pánico" muestra que muchos inversores venden por pánico después de una caída del 25%, luego permanecen en efectivo demasiado tiempo y se pierden los rebotes. La IA puede detectar señales de miedo, enviar advertencias y sugerir planes de reingreso escalonado. Esto tanto protege a los hogares de pérdidas autoinfligidas como crea un nuevo alpha  para las empresas que usan la estrategia. Lo visualiza tres capas que llama “Flujos de Trabajo Cuantamentales” como la forma de investigación idónea para que luego la solución pueda “enseñar la pasta”. Un corpus de textos específicos de finanzas (regulaciones, casos legales, operaciones históricas) para el ajuste del modelo. Un índice de datos en tiempo real que alimenta datos fundamentales frescos a la IA. Un motor de razonamiento que redacta análisis—completo con modelos de valoración y pruebas de estrés—y cita sus fuentes para pistas de las auditorías. Gestionando Errores de IA: Abordando las Alucinaciones La IA generativa a veces inventa detalles o calcula mal números. Para arreglar esto, Lo recomienda:  indicaciones aumentadas por recuperación que atan el texto a documentos reales,  derivar la aritmética a motores confiables, y  registrar todas las interacciones de IA para revisión posterior.  Las primeras pruebas redujeron las declaraciones falsas de dobles dígitos a dígitos individuales bajos, igualando las tasas de error de analistas júnior. Incrustando Ética: Idoneidad y Deber Fiduciario La ley americana exige que el asesoramiento financiero se ajuste a las necesidades de cada cliente y que ponga a los clientes primero. El grupo de Lo está codificando acciones de cumplimiento pasadas y fallos de arbitraje en el entrenamiento de IA, muy parecido a como los alumnos humanos aprenden de casos de estudio.  Básicamente están construyendo baterías de exámenes que la IA debe aprobar antes de dar asesoramiento a inversores minoristas bajo la supervisión de la SEC (Comisión de Bolsa y Valores de EE.UU.). Confianza y Sesgo de Automatización Las personas a menudo confían demasiado o muy poco en las máquinas. Es así de extremo. En las finanzas, muchos usuarios comienzan escépticos, pero con el tiempo una IA útil puede construir confianza. Los diseñadores deben equilibrar la facilidad de uso con "fricción crítica"—recordatorios que animan a los usuarios a pensar, no sólo a seguirles—para prevenir la confianza ciega. Si la IA puede redactar memorandos de inversión sólidos, la educación financiera debe cambiar del análisis puro al diseño de indicaciones, métodos de supervisión y verificaciones éticas. Las escuelas de negocios ya están ejecutando cursos finales donde los estudiantes critican investigación generada por IA, aprendiendo a colaborar con algoritmos. Mientras más empresas usen LLMs, mejor podrán las valoraciones erróneas simples desvanecerse, pero las estrategias complejas—coberturas de eventos inusuales, pronósticos de escenarios, transferencias intersectoriales—ganarán valor. Un nuevo Alpha  sería el surgimiento de un mercado secundario para "modelar los modelos", mientras las empresas buscan detectar comportamiento de rebaño y explotarlo. Más allá de pronosticar, los LLM pueden simular historias corporativas con el proverbial "qué pasaría si". Por ejemplo: " Si una gran ley climática expira en 2028, ¿cómo cambiaría eso el flujo de caja de Tesla bajo diferentes curvas de coste de baterías? " La IA es capaz de entretejer política, datos de coste y divulgaciones en planes de escenarios coherentes, combinando probabilidad con imaginación estratégica. Despliegue Global y Reglas de Datos Las estrictas leyes de datos de Europa – manifestó Lo durante su entrevista – plantean desafíos para las herramientas de IA globales, mientras que los mercados emergentes pueden avanzar con modelos de código abierto locales.  Podemos ver pilas especializadas para ESG en Escandinavia o asesoramiento compatible con la sharia  en Oriente Medio y el Sudeste Asiático—es decir, la IA ajustada no sólo a normas y regulaciones regionales, sino también a sus propios valores. Esto evita el llamado ‘colonialismo tecnológico’. Ingeniería para Escala y Sostenibilidad Los modelos de IA grandes demandan enormes presupuestos de computación y energía. Técnicas como modelos de expertos dispersos, recuperación comprimida y ajuste federado pueden reducir costes y la huella de carbono por factores de diez. El trabajo de laboratorio muestra que modelos pequeños y dirigidos pueden igualar a los enormes en preguntas y respuestas financieras mientras funcionan más rápido y de manera más ecológica. Cómo las Empresas Adoptan la IA: Una Vista Etnográfica Las empresas líderes siguen un camino de tres etapas: pruebas en entorno controlado, producción limitada en pruebas retrospectivas y memorandos, e integración de trading  completa. La resistencia a menudo refleja preocupaciones sobre cambiar la identidad profesional más que la precisión bruta. Posicionar la IA como un "exoesqueleto" que refuerza, no reemplaza, el juicio humano alivia los obstáculos culturales. La IA podría reducir los costes de asesoramiento de puntos porcentuales a fracciones, abriendo acceso a millones que ahora no pueden permitirse un asesor. Pero si unos pocos grandes proveedores capturan todo el valor, las ganancias pueden re-centralizarse.  Las indicaciones efectivas guían a la IA para explicar cadenas causales, sopesar pros y contras, y descubrir sesgos. Los analistas que dominen el diseño de indicaciones convierten la IA en un " andamiaje cognitivo ", obteniendo perspectivas más profundas y reduciendo el sesgo de confirmación. Con el tiempo, las bibliotecas de indicaciones se convierten en activos compartidos, controlados por versión y optimizados como código. Los reguladores en Estados Unidos y Reino Unido están experimentando con "entornos controlados" que permiten que las reglas evolucionen con la tecnología—un enfoque que Lo respalda para equilibrar innovación y competencia, pero difícil en el contexto europeo continental. Preguntas Abiertas para Investigadores Los principales desafíos permanecen: pruebas formales del deber fiduciario algorítmico, auditorías de sesgos ocultos del modelo, y monitoreo en tiempo real del riesgo sistémico por el uso generalizado del modelo.  El laboratorio de Lo está abordando estos desafíos a través de pruebas de estrés combinadas, análisis de casos legales, y entrevistas con traders —destacando el futuro de la investigación IA-finanzas como profundamente interdisciplinaria.

El 7 de abril de 2025, Tobi Lütke, CEO de Shopify, compartió un memorándum interno que pronto fue filtrado en la red X  (antes Twitter). A simple vista, parecía más una comunicación corporativa más. Pero dado el revuelo que provocó, podríamos estar ante algo mucho más profundo. Quizás nos encontremos ante el inicio de un nuevo establishment laboral. En nuestro grupo 2.1 Profesiones del Futuro: Nuevas Oportunidades y Requerimientos de   OdiseIA-Google.org , analizamos cómo esta integración de la IA se está convirtiend o en la base de los perfiles laborales emergentes y de las competencias clave que marcarán la diferencia en un futuro cada vez más cercano No sabemos aún si este documento ocupará un lugar junto a Taylor, Ford o Toyota en la historia del trabajo. Pero lo que plantea, podría marcar un antes y un después en nuestra forma de entender el futuro del empleo. Y precisamente el impacto de la IA en el futuro del trabajo es el eje central de nuestro grupo 2.1 "Profesiones del Futuro: Nuevas Oportunidades y Requerimientos" organizado por OdiseIA en el marco del proyecto Google cAIre  y liderado por Ricardo Palomo (Coordinador), Dolores Abuin, Jorge Cerqueiro, Frank Escandell y José Javier Sesma. Bajo la apariencia de directrices internas, el texto de Lütke plantea una transformación radical con la posible aparición de un nuevo contrato social laboral. Las claves de este nuevo contrato Mayor autonomía individual Éxito económico e innovación como ejes del reconocimiento Normas sociales dictadas por redes y líderes de opinión Menor peso de sindicatos y reguladores Y un nuevo criterio de pertenencia (IA) La IA (inteligencia artificial) se convierte en una forma de estar o no estar en el mundo laboral. De pertenecer a ella o quedarse fuera. ¿El nacimiento del "Tobismo"? Quizá sea pronto para llamarlo así, pero el contenido del memorándum tiene estructura, tono y consecuencias de manifiesto. Y como todo manifiesto, propone una visión del mundo. Este, en concreto, redefine qué significa ser útil en la era de la IA, y con ello, da lugar a una nueva clase profesional, la clase trabajadora aumentada. Tobi ha dejado por escrito y de forma pública lo que otras empresas podrían no atreverse a expresar. Ha perfilado una nueva identidad profesional, autónoma, guiada por IA, enfocada en rendimiento y autoaprendizaje constante. No hablamos de moda y Shopify no es la excepción. La empresa Klarna ya ha despedido a cientos de trabajadores tras adoptar la IA en sus procesos. Otras empresas puede que ya estén observando. ¿Qué es el Manifiesto Tobi? Un manifiesto es una declaración de intenciones, una especie de hoja de ruta ideológica. No se trata de ideas y ocurrencias en un determinado momento. El texto de Lütke cumple con todo. Se imponen principios, se redefinen competencias y se transforma la lógica laboral. “These aren’t just aspirational phrases — they’re fundamental expectations.” “Estas no son solo frases aspiracionales, sino requerimientos esenciales.” ¿Qué es la clase trabajadora aumentada? Es la clase que usa IA de forma automática. No aporta solo esfuerzo, sino multiplicación. Aprende sola, comparte, mejora constantemente. Si se estanca… cae. “Stagnation is almost certain, and stagnation is slow-motion failure.” No hay margen de neutralidad. O creces, o retrocedes. “If you're not climbing, you're sliding.” La antigua clase trabajadora  La nueva clase trabajadora aumentada por IA (según Shopify)  Usa herramientas tecnológicas  Usa IA de forma automática, habitual, casi inconsciente  Aprende según necesidad Aprende constantemente por sí misma  Funciona dentro de estructuras tradicionales  Rediseña procesos desde la lógica de IA Puede destacar por experiencia, intuición o método  Comparte conocimientos, sin jerarquías  Fundamentos del Tobismo Este manifiesto plantea un cambio cultural profundo. Ya no se valora que nos adaptemos al nuevo medio, sino que se nos impone como una exigencia. Aparece una nueva curva de aprendizaje, donde lo que se premia es la capacidad de "multiplicar" resultados mediante IA. "These aren’t just aspirational phrases—they’re fundamental expectations." Los valores de aprender y adaptarse ya no son deseables, sino que son obligatorios. Lo que está proponiendo Tobi es mucho más que un proceso de upskilling o reskilling, es una redefinición de qué significa hoy ser un profesional válido en una empresa líder. Se redefine el concepto de competencia profesional y ahora se premia al que aprende por sí mismo, comparte con los demás como elemento imprescindible de mejora y optimiza el equipo de trabajo del que forma parte. Los seis principios del nuevo orden laboral 1. Uso efectivo de la IA como exigencia fundamental La IA ya no es una herramienta opcional. Es parte del conocimiento básico esperado. El que no sabe usarla, no pertenece a esa clase trabajadora. Aprender a aplicarla en el propio trabajo es una exigencia compartida y continua. 2. La IA como base del prototipado Los prototipos deben construirse desde el principio con IA. La intervención humana llega solo si la IA no es suficiente. 3. Evaluación y revisión del desempeño con preguntas sobre IA La IA se integra en los criterios de evaluación profesional. No basta con saber usarla, se debe demostrar cómo se aplica y mejora el trabajo mediante su uso. 4. Aprendizaje autodirigido y cultura compartida Cada profesional debe aprender por su cuenta, pero también es obligación compartir lo aprendido (será parte del trabajo). Se fomenta un ecosistema de aprendizaje colectivo mediante Slack, Vault y herramientas como Copilot o Cursor. 5. Justificación del uso de recursos humanos Antes de pedir personal o recursos extra, hay que demostrar que la IA no basta. Se invierte el orden tradicional, donde primero será la IA y luego los humanos. 6. Cultura transversal sin jerarquía tecnológica Se espera que todos (incluido el CEO) compartan aprendizajes, errores y recursos. El aprendizaje colectivo es ya obligatorio. ¿Qué herramientas proporciona Shopify? chat.shopify.io Copilot Cursor Claude Code Proxy Slack (#revenue-ai-use-cases, #ai-centaurs) Vault (repositorio compartido) “You don't just get a front-row seat, but are surrounded by a whole company learning and pushing things forward together.” La vulnerabilidad ya es algorítmica Aquí es donde el Tobismo muestra su cara más dura. La IA no te castiga, sino que te reemplaza sin aviso. Quien no pueda aprender solo, automatizar, diseñar prompts o multiplicarse, queda desplazado. Y lo hace sin despidos ni explicaciones. Solo desapareces y no perteneces a esa nueva clase profesional. La vulnerabilidad ya no depende de tu edad, género o formación, sino de tu grado de adaptación con la lógica algorítmica. Y si no estás dentro, estás fuera. ¿Estamos entrando en una cultura laboral sin margen para disentir? ¿Puede la obligación de usar IA convertirse en una forma de exclusión? ¿Estamos creando una clase hiperadaptada y otra residual? ¿Dónde queda el juicio humano si la productividad con IA es lo único que importa? ¿Y si no quiero usar IA? ¿Dónde queda lo humano? Nos repiten que la IA no nos sustituirá, sino que nos hará mejores. Tal vez sea cierto. Pero también es cierto que muchas profesiones desaparecerán, mientras otras —aún inimaginables— surgirán. Lo que está en juego no es solo el qué, sino el cuándo, y sobre todo, el cómo. En esta era donde la AI nos hace seres humanos aumentados, deberemos reflexionar sobre el papel que queremos jugar. ¿Acaso queremos ser más rápidos, más eficientes? ¿Queremos ser más máquinas en vez de más humanos? ¿Queremos que se nos mida por lo parecidos que somos a un algoritmo? ¿Podemos hablar de ética sin hablar de límites? ¿Qué opinan los trabajadores de Shopify de todo eso? ¿Y los de otras empresas que empiezan a seguir el mismo camino? ¿Queda margen para disentir y aportar otra visión? Conclusión El Manifiesto Tobi no es solo un documento corporativo. Puede que se convierta en la primera formulación explícita de un nuevo pacto laboral algorítmico. Quizá sea un texto fundacional de un nuevo contrato profesional, pero por ahora, solo el tiempo nos lo dirá. Quizá lo olvidemos en unos meses.O quizá, sin apenas darnos cuenta, ya estemos viviendo dentro de él. La pregunta no es solo si ocurrirá, sino si lo aceptaremos sin discutirlo, sin cuestionarlo, sin siquiera darnos cuenta. El verdadero riesgo quizá no sea que la IA nos sustituya, sino que nos haga creer que ser humanos ya no es suficiente.  Enlace: https://x.com/tobi/status/1909251946235437514   OdiseIA, el Observatorio del Impacto Social y Ético de la Inteligencia Artificial, fomenta la reflexión sobre el impacto ético y social del uso extensivo de la inteligencia artificial.

Dr Begoña G. Otero, Coordinadora Grupo 1.4 AI4Good, Proyecto cAIre. En febrero de 2025 OdiseIA celebró el Hackathon OdiseIA4Good . No fue un escaparate tecnológico ni una incubadora clásica. Diseñado como parte del proyecto de investigación cAIre, con el respaldo de Google.org y la Fundación Pablo VI, y con la colaboración de entidades como la Universidad CEU San Pablo, la Fundación ONCE, Innova-tsn, la comunidad GDG Madrid, y otros aliados, el evento se planteó no como una competición de startups, sino como un laboratorio de posibilidades. Un terreno de prueba para explorar qué tipo de inteligencia artificial puede emerger cuando el punto de partida no es la eficiencia, sino la vulnerabilidad. Durante tres días, más de 300 inscritos en 42 equipos, desde expertos y estudiantes en tecnología, ética o datos, hasta activistas de diversos sectores, trabajaron en conjunto para abordar desafíos reales vinculados al empleo de personas con discapacidad, la migración, la brecha digital y otras problemáticas sociales, climáticas, educativas, etc. Todas ellas de dimensión global y todas centradas en la vulnerabilidad. La dinámica combinó talleres técnicos, mentorías especializadas y presentaciones finales ante un jurado multidisciplinar. La presidencia honorífica del evento fue aceptada por Su Majestad el Rey, lo que subrayó su relevancia institucional y ética. El ambiente fue una combinación poco habitual de creatividad colaborativa, rigor técnico y compromiso social, con un enfoque claro: impulsar formas de inteligencia artificial que no solo sean técnicamente viables, sino centradas en la dignidad humana. Cinco meses después, y tras poner en marcha un seguimiento cercano a los equipos participantes, podemos confirmar que  algunas de esas semillas han comenzado a germinar. No en laboratorios de innovación al uso, sino en redes comunitarias, proyectos artísticos, circuitos informales o estrategias de cuidado cotidiano. Lo que florece no son productos cerrados, sino procesos vivos que resisten la lógica del “éxito rápido” y se afirman en sus propios tiempos y formas. Lo que hemos observado De los cuarenta y dos equipos participantes en el Hackathon OdiseIA4Good, actualmente estamos haciendo seguimiento detallado de seis proyectos que, meses después, siguen activos o en proceso de evolución. Algunos de los proyectos iniciales no llegaron a desarrollarse más allá del prototipo, y en otros casos, como es habitual en este tipo de convocatorias abiertas, no obtuvimos respuesta a nuestra invitación de seguimiento. Aun así, contar con seis trayectorias vivas y diversas es un resultado valioso, que permite observar con lupa los desafíos y aprendizajes reales tras el impulso inicial del Hackathon. Los seis proyectos ofrecen una panorámica rica y plural. Woowii  trabaja en una herramienta para fomentar la empleabilidad desde la afinidad, alejándose de los sesgos tradicionales de selección. WeRepresent  explora la generación de contactos inteligentes para artistas y deportistas emergentes mediante agentes automatizados y scraping adaptativo. Opills  ha pivotado hacia el ámbito sociosanitario, desarrollando una app para el control de la medicación en contextos de dependencia. ElderCare Connect  busca prototipar soluciones robóticas accesibles para cuidados cotidianos. Asistente en Migración y Asilo  plantea un sistema multilingüe de acompañamiento para trámites de extranjería. Y Tramits-Easy , surgido de un entorno corporativo, desarrolló un prototipo de interfaz para facilitar gestiones administrativas digitales. Estos seis proyectos presentan recorridos muy distintos: algunos han avanzado con claridad estratégica, otros han entrado en pausa o están redefiniendo su camino. Pero lo más revelador no es cuánto han avanzado, sino los patrones que comparten, y que permiten identificar tendencias comunes sobre los retos reales que enfrentan este tipo de iniciativas. Uno de los puntos críticos es la ausencia de estructuras jurídicas o técnicas. Varios de los equipos no cuentan con forma legal, lo que limita su capacidad de acceder a financiación, firmar acuerdos o simplemente testear sus soluciones en entornos reales. Tampoco disponen de perfiles técnicos estables, lo que limita su capacidad de desarrollo sostenido. En segundo lugar, comparten el desfase entre los apoyos ofrecidos y las necesidades reales. Los marcos de mentorización disponibles están pensados para startups en búsqueda de escalabilidad o inversión. Pero varios de los proyectos acompañados no persiguen ese modelo. Algunos están impulsados por estudiantes, colectivos artísticos o profesionales independientes que buscan impacto, no capital riesgo. La tercera tendencia en común es la falta de espacios de validación. Incluso aquellos equipos con prototipos funcionales encuentran dificultades para acceder a entornos de prueba: residencias, administraciones, colectivos vulnerables. Sin estas conexiones, incluso los proyectos más viables tecnológicamente se estancan. Y el patrón más llamativo que hemos observado es que los equipos no solo diseñan para la vulnerabilidad, sino desde ella. Trabajan sin financiación estable, sin estructura legal, con escasos apoyos formales y mucha carga personal. Esta doble dimensión —diseñar soluciones para contextos vulnerables mientras se opera desde condiciones precarias— define la naturaleza ética y estratégica del acompañamiento necesario. Una IA centrada en lo humano Nuestra  lectura no surge del azar. Que los seis proyectos no solo diseñan para la vulnerabilidad sino desde ella, se alinea con el marco teórico desarrollado por nosotros mismos en el Grupo 1.4 de OdiseIA en el artículo " AI for Good: la idea de la vulnerabilidad humana en tela de juicio ". Ahí proponemos abandonar la idea de que la vulnerabilidad es un rasgo “del otro”, una condición que se diagnostica externamente. En su lugar, entendemos la vulnerabilidad como algo estructural, relacional y compartido, que atraviesa tanto a diseñadores como a usuarios. Lo que importa no es “quién” es vulnerable, sino “cómo” diseñamos tecnologías que alivian o agravan esa vulnerabilidad. Desde esta perspectiva, los seis proyectos acompañados ofrecen ejemplos concretos: Reducen cargas cognitivas y administrativas para personas migrantes o mayores. Crean agentes digitales para facilitar el acceso de artistas sin agencia a oportunidades culturales. Exploran modelos de selección laboral más inclusivos, donde la afinidad humana pesa más que la eficiencia algorítmica. Facilitan el autocuidado médico, adaptando soluciones a contextos institucionales como residencias geriátricas. En todos los casos, la IA aparece no como fin en sí misma, sino como medio para un objetivo humano concreto y legítimo. Su valor no radica en la sofisticación del modelo, sino en su ajuste al contexto, su adecuación a las capacidades reales de los usuarios, y su potencial para disminuir barreras. Esta es la base de una inteligencia artificial verdaderamente situada. Financiar ideas, no estructuras: una lectura crítica del modelo Horizon desde el informe IEP–ifo y los aprendizajes de OdiseIA4Good El seguimiento a los proyectos de OdiseIA4Good no es solo una radiografía puntual. Al compararlo con las recomendaciones estructurales del reciente informe Funding Ideas, Not Companies. Rethinking EU Innovation Policy From the Bottom Up (IEP-ifo) , emergen coincidencias profundas sobre los límites actuales de las políticas públicas de innovación en Europa. Este informe, elaborado por el Institute for European Policymaking  y el  ifo Institute  representa una crítica estructural a las políticas públicas de innovación vigentes en la UE. Su tesis central es clara: el sistema actual está centrado en exceso en financiar empresas constituidas bajo modelos comerciales convencionales, lo que excluye o desincentiva la innovación que emerge desde contextos no formales, colectivos sociales, comunidades culturales o iniciativas ciudadanas. Es decir, el modelo dominante está orientado a financiar empresas, no ideas, y penaliza formas no convencionales de emprendimiento o innovación situada. En lugar de priorizar el crecimiento económico inmediato o el “éxito de mercado”, el informe propone reorientar la financiación pública hacia las ideas —especialmente aquellas con valor social, experimental o comunitario—, incluso cuando no estén aún formalizadas jurídicamente. Cinco aspectos destacan en particular: 1. Financiar ideas sin exigir forma jurídica El informe IEP–ifo sostiene que muchas ideas de valor público nacen fuera de estructuras formales, y que el requisito de estar legalmente constituido bloquea su desarrollo temprano. En OdiseIA4Good, esta barrera fue visible: varios equipos no han podido avanzar por carecer de entidad jurídica que les permita recibir fondos, firmar acuerdos o acceder a pilotos institucionales. El informe recomienda crear fondos de acceso directo para ideas premercado . 2. Desburocratizar y simplificar el acceso a fondos El informe IEP–ifo subraya que los procesos administrativos actuales favorecen a grandes actores que pueden asumir costes de compliance  o justificar actividades con medios profesionales. Los proyectos de OdiseIA4Good, muchos de ellos impulsados por estudiantes, colectivos precarios o entidades culturales, no cuentan con esa capacidad. La burocracia se convierte en obstáculo antes que en garantía. Desburocratizar no es opcional: es democratizar el acceso a la innovación. 3. Acompañamiento contextual, no mentoría genérica Uno de los hallazgos de nuestro seguimiento es el desajuste entre los apoyos ofrecidos y las necesidades reales de los equipos. La mayoría no buscan montar una startup ni lanzar un pitch inversor. En cambio, requieren orientación legal, acceso a redes institucionales o apoyo en scraping, backend o pruebas piloto. El informe IEP–ifo sugiere pasar de los programas de aceleración masiva a estructuras de acompañamiento flexible, ajustadas al tipo y madurez del proyecto, y reconoce que la mentoría especializada es más eficaz cuando responde a la lógica del proyecto, no al molde del mercado. 4. Medir el impacto más allá del retorno económico El citado informe también destaca la necesidad de incorporar métricas de valor público, impacto social, inclusión y sostenibilidad como criterios de evaluación. La experiencia del Hackathon lo confirma: muchos de los proyectos analizados no prometen rentabilidad, pero sí dignidad, accesibilidad y representación. Esta ampliación del concepto de innovación —de lo exclusivamente tecnológico a lo social, organizativo y situado— requiere que los financiadores públicos valoren procesos relacionales, éticos y contextuales como parte del capital innovador. 5. Reconocer el valor de la innovación desde la periferia Por último, el informe IEP-ifo enfatiza que las ideas con mayor potencial transformador no siempre nacen en entornos académicos o empresariales, sino en márgenes: comunidades migrantes, redes artísticas, equipos voluntarios o colectivos infrafinanciados. OdiseIA4Good lo ha reflejado de forma elocuente. Que algunos de los prototipos más significativos hayan surgido desde posiciones de vulnerabilidad organizativa, sin apoyo estable, ni estructura empresarial, valida esta tesis. Necesitamos políticas que reconozcan esa innovación no como anecdótica, sino como estratégica. En este sentido, el estudio de IEP-ifo proporciona una legitimación teórica y política robusta al planteamiento que subyace en el proyecto cAIRe de Odiseia y su planteamiento de AI4Good: que la innovación centrada en la vulnerabilidad, la justicia social o el interés general no puede medirse ni apoyarse con los mismos instrumentos diseñados para el emprendimiento comercial. Para quienes pueden regar: rediseñar sin aumentar Administraciones públicas, universidades, fundaciones y entidades privadas no solo tienen capacidad financiera. También moldean las reglas del juego: definen qué se considera innovación, quién puede participar y bajo qué condiciones. Son quienes pueden convertir los márgenes en semilleros, si deciden regar allí donde ahora no llega el riego institucional. La propuesta no es aumentar el gasto público, sino repensar su arquitectura. Muchos de los obstáculos que enfrentan los equipos no se derivan de falta de fondos, sino de su diseño excluyente o poco contextualizado. Para fomentar una innovación plural —capaz de integrar tanto startups como colectivos sin ánimo de lucro— es clave: Abrir convocatorias y líneas de apoyo a iniciativas incipientes, incluso sin estructura jurídica formal. Crear espacios de prueba en instituciones públicas, centros educativos, servicios sanitarios o culturales. Desplegar redes de acompañamiento técnico, legal o ético, más allá del modelo inversor. Implementar indicadores de impacto que valoren colaboración, sostenibilidad y adecuación al contexto, no solo proyecciones económicas. Algunos de los equipos de OdiseIA4Good compiten por rondas de inversión. Otros no lo harán nunca. Algunos ya eran empresa antes del Hackathon. Otros aún no tienen forma jurídica. Lo que comparten es el potencial para resolver problemas reales desde una tecnología situada, reflexiva y con propósito. Es hora de que las políticas públicas y los actores del ecosistema innovador reconozcan y valoren esa pluralidad como un activo, no como una anomalía. Seguimos sembrando Este documento no cierra un ciclo: forma parte de una etapa abierta dentro del proyecto cAIre, que se desarrollará hasta el primer trimestre de 2026. Nuestro compromiso sigue siendo analizar, documentar y visibilizar los procesos de innovación tecnológica que emergen desde contextos de vulnerabilidad estructural, así como generar conocimiento útil para orientar políticas públicas y modelos de apoyo más inclusivos. A lo largo del proyecto, seguiremos acompañando a los equipos desde una perspectiva investigadora, conectando aprendizajes, identificando barreras compartidas, y proponiendo formas de intervención adaptadas a trayectorias no convencionales.  Por respeto a los equipos, no revelamos aquí detalles confidenciales ni datos que puedan comprometer sus desarrollos futuros. La visibilidad es importante, pero debe construirse con cuidado, sin exponer a quienes aún están en procesos frágiles. Las semillas están ahí. Y desde cAIre y OdiseIA, seguiremos observando, aprendiendo y preparando el terreno para que puedan florecer. Bibliografía Clemens Fuest et al., Funding Ideas, Not Companies: Rethinking EU Innovation Policy from the Bottom Up , Institute for European Policymaking & ifo Institute (2025). Disponible en:   https://www.econpol.eu/publications/funding-ideas-not-companies Begoña G. Otero, Grupo 1.4 de OdiseIA, AI for Good: la idea de la vulnerabilidad humana en tela de juicio , OdiseIA Blog (2024). Disponible en:   https://www.odiseia.org/en/post/ai-for-good-la-idea-de-la-vulnerabilidad-humana-en-tela-de-juicio

Introducción: El Momento que Definió una Era Cuando muchos creían que, en 2004, tras la salida a mercado de Google, había empezado una nueva era, pueden haberse quedado bastante cortos. El 9 de marzo de 2016 el algoritmo AlphaGo de DeepMind derrotó al maestro de go , Lee Sedol, en Seúl. Entonces sí que el mundo presenció algo más que una victoria tecnológica.  En ese entonces, en las oficinas de la Casa Blanca, una pionera de la gobernanza de inteligencia artificial observaba cómo se desplegaba ante sus ojos el futuro de la política tecnológica. Terah Lyons , quien entonces trabajaba en la Oficina de Ciencia y Tecnología Política  durante la administración Obama, recuerda vívidamente ese momento transformativo: " Todos nos miramos cuando llegamos al trabajo a la mañana siguiente y simplemente dijimos, esto realmente va a significar algo y probablemente deberíamos hacer algo al respecto ". Casi una década después, desde su posición actual como jefa de política de IA en JPMorgan Chase , Lyons ofrece una perspectiva única sobre la evolución dramática de la gobernanza de inteligencia artificial. Su trayectoria profesional —desde los pasillos del poder en Washington hasta las organizaciones sin ánimo de lucro y finalmente al sector financiero altamente regulado— refleja la metamorfosis de todo un campo disciplinario que ha pasado de la inexistencia virtual a convertirse en una de las preocupaciones centrales de la política tecnológica global. La entrevista de Lyons durante el evento EmTech AI 2025 del MIT Technology Review, en mayo de 2025, revela cinco transformaciones fundamentales que han redefinido el panorama de la gobernanza de IA:  El surgimiento de marcos regulatorios sectoriales específicos que prometen revolucionar la supervisión tecnológica tradicional  La fragmentación regulatoria global que está creando un mosaico complejo de jurisdicciones normativas  La evolución desde principios éticos abstractos hacia implementaciones prácticas y herramientas operativas concretas  La emergencia del sector financiero como laboratorio de pruebas para la gobernanza responsable de IA a gran escala  La transición desde modelos de IA especializados hacia sistemas de lenguaje natural masivos que han redefinido las capacidades y riesgos de la tecnología. El Génesis de la Política de IA: De AlphaGo a la Estrategia Nacional de EE.UU. El Momento AlphaGo: Un Catalizador Inesperado La victoria de AlphaGo sobre Lee Sedol representó mucho más que un hito técnico en el desarrollo de algoritmos de juegos. Como explica la investigación académica contemporánea, el juego del go  había sido considerado durante décadas como el " santo grial de la inteligencia artificial " debido a su complejidad estratégica sin precedentes. El número de posibles configuraciones en el tablero de Go supera al número de átomos en el universo observable, lo que había mantenido a los programas de computadora en niveles de juego amateur durante años. El impacto de este evento trascendió los círculos técnicos especializados. Según los análisis de ARK Invest, AlphaGo aceleró el cronograma de desarrollo de IA en go  por más de una década, mejorando el rendimiento en más de dos órdenes de magnitud en un sólo año. Simplemente, impresionante. Esta aceleración exponencial sirvió como una señal de alerta para los formuladores de políticas sobre el potencial disruptivo de las tecnologías de aprendizaje automático. Para Lyons y su equipo en la Casa Blanca, el momento AlphaGo cristalizó la necesidad urgente de desarrollar marcos de política proactivos. " No estábamos preparados para lo que se venía" , reflexiona Lyons sobre ese período. La administración Obama respondió con una iniciativa gubernamental integral que resultaría en la primera estrategia nacional de IA de Estados Unidos y un plan estratégico de investigación y desarrollo que ha sido actualizado casi anualmente desde entonces. La Arquitectura Inicial de la Política de IA El trabajo pionero de la administración Obama en política de IA estableció varios precedentes fundamentales que continúan influyendo en el desarrollo de marcos regulatorios contemporáneos. El enfoque adoptado entre 2014 y 2017 se caracterizó por tres elementos clave: la coordinación entre agencias a través de un grupo de trabajo federal, el énfasis en la investigación y desarrollo públicos, y la promoción de asociaciones público-privadas. La experiencia de Lyons coordinando estas iniciativas reveló desafíos organizacionales significativos. " Tuvimos que llamar a las agencias y rogarles básicamente que vinieran a estas conversaciones porque en ese momento no estaba claro que esto iba a ser tan impactante y no teníamos personal para gestionarlo ", ella recuerda. Esta falta inicial de infraestructura institucional especializada reflejaba el estatus emergente del campo y la ausencia de precedentes administrativos claros. El marco conceptual desarrollado durante este período anticipó muchos de los debates contemporáneos sobre gobernanza de IA. Los informes publicados por la Oficina Ejecutiva del presidente, en octubre de 2016, incluían 88 páginas y 25 recomendaciones que abordaban temas que van desde la preparación de la fuerza laboral hasta las consideraciones de seguridad nacional. Esencialmente, estos documentos establecieron el principio de regulación ligera y promoción de la innovación que continuaría caracterizando el enfoque estadounidense en las administraciones subsiguientes. La Transición Institucional: Del Gobierno al Sector Civil Partnership on AI: Pioneros en Autorregulación La transición de Lyons desde el gobierno hacia el sector sin ánimo de lucro marcó una fase crítica en la evolución de la gobernanza de IA. En octubre de 2017, se convirtió en la primera directora ejecutiva fundadora de Partnership on AI , una organización que representaba un experimento sin precedentes en autorregulación industrial. Partnership on AI fue establecida en septiembre de 2016 con miembros fundadores que incluían a Amazon, Facebook, Google, DeepMind, Microsoft e IBM. La organización emergió en un momento cuando la industria tecnológica reconocía la necesidad de marcos éticos proactivos, pero buscaba alternativas a la regulación gubernamental directa. Como observa Lyons, el lema de la organización durante ese período era " movamos este campo de principios a práctica ". La experiencia de liderar Partnership on AI proporcionó a Lyons perspectivas únicas sobre los desafíos de traducir principios éticos abstractos en herramientas operativas concretas. La organización desarrolló iniciativas que incluían el AI Incident Database , marcos para publicación responsable de investigación de IA, y directrices para diseño inclusivo. Estos proyectos representaron algunos de los primeros intentos sistémicos de crear infraestructura de gobernanza para la industria de IA. Sin embargo, Partnership on AI también enfrentó críticas significativas sobre su efectividad. En octubre de 2020, Access Now anunció su renuncia oficial de la organización, citando un rol cada vez más reducido para la sociedad civil y la falta de influencia real sobre las prácticas corporativas de los miembros. Estas tensiones ilustraron las limitaciones inherentes de los modelos de autorregulación en un campo caracterizado por desequilibrios de poder estructurales entre actores industriales y organizaciones de la sociedad civil. Evolución del Discurso: De Principios a Implementación El período de Lyons en el sector sin fines de lucro coincidió con una transformación fundamental en el discurso sobre gobernanza de IA. Como ella observa, " hubo una conversación en el campo en ese momento sobre aplicar el campo de la ética aplicada a las ciencias de la computación y realmente hacer de esta una conversación multidisciplinaria en muchas otras dimensiones ". Esta evolución reflejó un reconocimiento creciente de que los principios éticos generales —aunque importantes— eran insuficientes para abordar los desafíos prácticos de implementación de sistemas de IA a gran escala. La investigación académica contemporánea comenzó a enfocarse en herramientas específicas para evaluación de sesgo, métodos de explicabilidad, y marcos de gestión de riesgos. El trabajo de Partnership on AI durante este período contribuyó significativamente a este cambio paradigmático. La organización desarrolló metodologías para documentación de sistemas de IA, marcos para participación comunitaria, y protocolos para reporte de incidentes. Estas iniciativas establecieron precedentes importantes para el desarrollo posterior de estándares técnicos y marcos regulatorios más específicos. La Era de los Grandes Modelos de Lenguaje: Transformación Acelerada El Cambio Paradigmático hacia los Grandes Modelos Lingüísticos (LLM) La trayectoria de la gobernanza de IA experimentó una aceleración dramática con la emergencia de los grandes modelos de lenguaje (LLMs) a partir de 2020. Como documenta la investigación académica, este período se caracterizó por una transición desde sistemas de IA especializados hacia modelos de propósito general capaces de realizar múltiples tareas cognitivas. El desarrollo de GPT-3 en 2020, seguido por ChatGPT en noviembre de 2022, marcó un punto de inflexión fundamental. Estos sistemas demostraron capacidades emergentes que no habían sido explícitamente programadas, incluyendo razonamiento contextual, generación creativa, y traducción entre dominios de conocimiento. La adopción masiva de ChatGPT —que alcanzó 100 millones de usuarios en sólo dos meses— señaló una nueva fase en la democratización del acceso a tecnologías de IA avanzadas. Para Lyons, observando desde su posición en JPMorgan Chase, esta transformación representó tanto oportunidades como desafíos fundamentalmente nuevos. " La IA que usamos hoy será irreconocible dentro de 10 años. Y 10 años no es tanto tiempo en el lapso del desarrollo de políticas ". Esta observación captura una tensión central en la gobernanza contemporánea de IA: la necesidad de desarrollar marcos regulatorios que puedan adaptarse a la velocidad exponencial del cambio tecnológico . Impacto en Servicios Financieros El sector de servicios financieros emergió como un caso de estudio particularmente relevante para la implementación de LLMs a gran escala. Como documenta la investigación reciente, las instituciones financieras han adoptado IA generativa para automatizar procesamiento de documentos, mejorar detección de fraudes, personalizar asesoría financiera, y optimizar operaciones de atención al cliente. JPMorgan Chase, bajo el liderazgo de Lyons, ha sido pionero en varios aspectos de esta implementación. La institución ha invertido significativamente en marcos de gobernanza de IA, incluyendo una inversión de $10 millones en FairPlay  AI, una empresa especializada en equidad algorítmica. Esta inversión refleja un reconocimiento creciente de que la implementación responsable de IA requiere herramientas especializadas para identificar y mitigar sesgos algorítmicos. La experiencia del sector financiero con LLMs también ha revelado nuevos tipos de riesgos. Como observa Lyons, " estamos viendo muchas actualizaciones de productos impulsadas a un ritmo muy rápido ahora porque las empresas están tratando de mantenerse al día con los competidores en un mercado cada vez más saturado que no puede venir a expensas de la seguridad y solidez ". Esta tensión entre velocidad de innovación y gestión de riesgos representa uno de los desafíos centrales en la gobernanza contemporánea de IA. Fragmentación Regulatoria Global: El Desafío de la Coordinación El Mosaico Regulatorio Emergente Una de las transformaciones más significativas en la gobernanza de IA durante la última década ha sido la proliferación de marcos regulatorios jurisdiccionales diversos y frecuentemente incompatibles. Como documenta Lyons, " hay mucha fragmentación ocurriendo y honestamente no son buenas noticias para la agenda de movilización de IA ". La Unión Europea lideró esta tendencia con el AI Act, que entró en vigor el 1 de agosto de 2024. Esta legislación establece un marco basado en riesgos que categoriza sistemas de IA según su potencial impacto en derechos fundamentales y seguridad ciudadana. Con multas máximas de hasta €35 millones o 7% del volumen de negocios anual mundial, la Ley de IA de la Unión Europea representa el intento más ambicioso hasta la fecha de regular comprehensivamente las tecnologías de IA. Corea del Sur siguió con su AI Basic Act , aprobada el 21 de enero de 2025, convirtiéndose en el segundo país en establecer un marco legal comprensivo para IA. La legislación coreana adopta un enfoque similar al europeo, con clasificación basada en riesgos y requisitos específicos para sistemas de IA de alto impacto. Significativamente, la ley incluye disposiciones para representantes domésticos de organizaciones extranjeras, extendiendo su alcance más allá de las fronteras nacionales. Desafíos para Organizaciones Multinacionales La fragmentación regulatoria presenta desafíos operacionales complejos para organizaciones multinacionales como JPMorgan Chase. Como explica Lyons, " operamos en 100 países globalmente. Tenemos un gran negocio en Europa y Asia y muchos otros lugares. Y tenemos que mantener nuestra atención en todo ahora mismo porque hay una actividad creciente prácticamente en todo el panorama ". Estos desafíos se extienden más allá de la mera conformidad técnica. La variación en definiciones básicas, procedimientos de evaluación, y requisitos de reporte crea cargas administrativas significativas y puede inhibir la innovación. Como observa Lyons, esta fragmentación " hace que la carga de cumplimiento en las organizaciones sea extraordinariamente alta. Excluye del mercado a las empresas emergentes. Simplemente no pueden mantenerse al día con asegurar que puedan adherirse a esos requisitos ". La experiencia del sector financiero sugiere que la coordinación internacional efectiva requiere más que convergencia técnica. Como nota Lyons, " tenemos reguladores bancarios regionales muy grandes, pero coordinan muy estrechamente entre ellos. Tenemos un paradigma global para cómo articulamos la supervisión de servicios financieros y qué objetivos todos globalmente queremos dirigir con respecto a la forma en que el dinero se mueve alrededor del mundo ". Esta infraestructura de coordinación establecida contrasta marcadamente con la fragmentación actual en gobernanza de IA. Hacia la Regulación Sectorial: Lecciones del Sector Financiero El Modelo de Regulación Sectorial Una de las contribuciones más significativas de la perspectiva de Lyons al debate sobre gobernanza de IA es su defensa del enfoque de regulación sectorial específica. Basándose en su experiencia en el sector financiero altamente regulado, argumenta que " el enfoque específico por sector es el más efectivo ". Esta perspectiva se fundamenta en varias consideraciones prácticas. Primero, la velocidad del cambio tecnológico hace impracticable el desarrollo de marcos regulatorios tecnológicamente específicos. Como observa Lyons, " es muy difícil crear estos regímenes regulatorios laterales que abarquen toda la economía y se fundamenten en un enfoque en una tecnología específica. Porque la tecnología en sí misma va a moverse tan rápidamente que no lo hará, el IA que usamos hoy será irreconocible dentro de 10 años ". Segundo, los riesgos y casos de uso de IA varían significativamente entre sectores, requiriendo marcos de supervisión especializados. El uso de IA en servicios financieros para evaluación crediticia presenta riesgos y consideraciones fundamentalmente diferentes a su aplicación en diagnóstico médico o vehículos autónomos. Esta variabilidad sectorial sugiere que la regulación horizontal uniforme puede ser tanto ineficaz como contraproducente. Infraestructura de Gobernanza en Servicios Financieros El sector de servicios financieros ofrece un modelo instructivo para la implementación de gobernanza de IA a gran escala. Como documenta la investigación del Bank for International Settlements , las instituciones financieras han desarrollado marcos sofisticados para gestión de riesgos algorítmicos que integran consideraciones de equidad, explicabilidad, y robustez. La experiencia de JPMorgan Chase ilustra varios componentes clave de esta infraestructura de gobernanza. La institución ha establecido marcos de gestión de riesgos que incluyen pruebas regulares de sesgo, documentación comprensiva de modelos, y supervisión humana de decisiones automatizadas. Estos sistemas han demostrado la viabilidad de implementar IA responsablemente en entornos de alto riesgo mientras se mantiene la eficiencia operacional. El enfoque sectorial también facilita la coordinación entre reguladores y la industria. Como observa Lyons, " hemos estado trabajando mano a mano con nuestros reguladores mientras hemos estado en el viaje de transformación de IA ". Esta colaboración cercana permite el desarrollo de marcos regulatorios que son tanto técnicamente informados como prácticamente implementables. Casos de Estudio en Legislación Sectorial Varias jurisdicciones han comenzado a implementar marcos regulatorios sectoriales específicos que proporcionan precedentes importantes para desarrollos futuros. La ley SB21-169 en el Estado de Colorado , efectiva desde enero de 2023, representa uno de los primeros ejemplos de regulación específica de IA en seguros. La legislación de Colorado requiere que las aseguradoras implementen programas de gobernanza comprensivos para el uso de fuentes de datos de consumidores externos y algoritmos predictivos. Las empresas deben realizar pruebas cuantitativas para detectar discriminación injusta y tomar medidas correctivas cuando se identifiquen daño. El proceso de implementación gradual —comenzando con seguros de vida, seguido por automóviles y salud— ilustra los desafíos prácticos de desarrollar marcos regulatorios sectoriales específicos. El Futuro de la Gobernanza de IA: Tendencias Emergentes Estándares Técnicos y Marcos de Implementación El desarrollo de estándares técnicos emergentes representa una dimensión crítica en la evolución de la gobernanza de IA. El NIST AI Risk Management Framework  (AI RMF), publicado en enero de 2023, proporciona un marco voluntario para incorporar consideraciones de confiabilidad en el diseño, desarrollo, uso, y evaluación de sistemas de IA. El AI RMF adopta un enfoque basado en funciones que incluye cuatro componentes principales: Gobernar, Mapear, Medir, y Gestionar. Este marco está diseñado para ser adaptable a contextos sectoriales específicos a través del desarrollo de "perfiles" que implementan las categorías y subcategorías del marco para aplicaciones específicas. Como observa Lyons, " ha habido cierta discusión sobre adaptar el Marco de Gestión de Riesgos NIST para IA en perfiles específicos por sector que apoyen el pensamiento sobre gestión de riesgos de estas maneras más especificadas ". El desarrollo de estándares técnicos también enfrenta desafíos significativos relacionados con la velocidad del cambio tecnológico y la diversidad de stakeholders . Como nota la investigación académica sobre implementación de la Ley Europea de IA de la UE, " sin métodos robustos para evaluar sistemas de IA y su efecto en individuos y sociedad, el AI Act de la UE puede llevar a repetir los errores del Reglamento General de Protección de Datos de la UE y a una implementación apresurada, caótica, ad hoc y ambigua ". Desafíos en Certificación y Auditoría La implementación práctica de marcos de gobernanza de IA requiere infraestructura para certificación, auditoría, y cumplimiento. Como observa Lyons, " si vamos a tener un requisito de certificación que emerja, independientemente de si es agnóstico por sector o más específico que eso, realmente necesita haber una infraestructura alrededor de eso que lo apoye capazmente ". Esta infraestructura debe incluir varios componentes: terceras partes especializadas en pruebas de modelos, funciones de auditoría independientes, y marcos de cualificación para profesionales. El desarrollo de estas capacidades requiere coordinación entre múltiples stakeholders , incluyendo instituciones académicas, organizaciones de estándares, y entidades regulatorias. La experiencia internacional sugiere que el desarrollo de infraestructura de certificación puede ser particularmente desafiante para tecnologías emergentes. Como documenta la investigación sobre implementación de la ley alemana al respecto, " la incorporación de controles ISMS existentes con extensiones específicas de IA presenta una estrategia efectiva para cumplir con el Artículo 15 del AIA ". Este enfoque de construcción sobre marcos existentes puede ofrecer un camino más pragmático hacia la implementación efectiva. Conclusiones: Navegando la Complejidad de la Gobernanza de IA Lecciones Aprendidas de Quince Años de Evolución La trayectoria de Terah Lyons desde la Casa Blanca hasta JPMorgan Chase ofrece perspectivas únicas sobre la evolución de la gobernanza de IA durante sus primeros quince años de existencia como campo disciplinario. Su experiencia ilustra varias lecciones fundamentales sobre los desafíos y oportunidades en el desarrollo de marcos de supervisión efectivos para tecnologías emergentes. Primero, la importancia de la adaptabilidad institucional. Como demuestra la experiencia durante la administración Obama, los marcos de política iniciales deben ser suficientemente flexibles para evolucionar con el cambio tecnológico acelerado . La velocidad de transformación desde AlphaGo hasta los LLMs contemporáneos subraya la necesidad de enfoques regulatorios que puedan adaptarse dinámicamente a nuevas capacidades y riesgos emergentes. Segundo, el valor de la coordinación multisectorial. La experiencia de Partnership on AI demostró tanto el potencial como las limitaciones de los modelos de autorregulación . Si bien estos enfoques pueden facilitar el desarrollo rápido de mejores prácticas, también requieren mecanismos de rendición de cuentas robustos para asegurar implementación efectiva y representación equitativa de intereses diversos. Tercero, la centralidad de la implementación práctica. Como observa Lyons, el campo ha evolucionado " de principios a práctica " durante la última década. Esta transición refleja un reconocimiento maduro de que los marcos éticos abstractos deben ser complementados con herramientas operativas específicas, métricas de evaluación, y procedimientos de cumplimiento. Implicaciones para el Desarrollo Futuro de Políticas Llegada esta etapa durante la entrevista a Lyons en el EmTech AI 2025, su perspectiva sobre regulación sectorial específica tiene implicaciones significativas para el desarrollo futuro de marcos de gobernanza de IA. Su experiencia en el sector financiero sugiere que los enfoques especializados pueden ser más efectivos que los marcos horizontales uniformes para abordar los riesgos específicos del contexto y las consideraciones de implementación. Esta perspectiva sectorial no implica fragmentación regulatoria total. Como demuestra la coordinación internacional en regulación financiera, es posible desarrollar marcos sectoriales que mantienen coherencia global mientras se adaptan a contextos nacionales y aplicaciones específicas. El desafío es desarrollar mecanismos de coordinación similares para la gobernanza de IA que puedan equilibrar la especialización sectorial con la coherencia sistémica. La experiencia con LLMs también subraya la necesidad de marcos regulatorios que puedan abordar sistemas de IA de propósito general. A diferencia de aplicaciones especializadas anteriores, los LLMs contemporáneos pueden ser adaptados para múltiples casos de uso a través de diferentes sectores. Esta versatilidad requiere nuevos enfoques para evaluación de riesgos y supervisión que puedan abordar tanto las capacidades del modelo base como las implementaciones específicas de aplicación. El Arduo Camino Hacia Adelante Mientras el campo de la gobernanza de IA continúa evolucionando, la experiencia de Lyons ofrece varias recomendaciones para stakeholders  diversos. Para formuladores de políticas, enfatiza la importancia de participación proactiva con la industria y la necesidad de marcos adaptativos que puedan evolucionar con el cambio tecnológico. Para organizaciones de la industria, subraya el valor de invertir en infraestructura de gobernanza robusta y mantener colaboración cercana con reguladores. Para la comunidad académica y de investigación, su perspectiva destaca la necesidad continua de investigación interdisciplinaria que pueda informar el desarrollo de estándares técnicos y mejores prácticas. Como observa, " sin ustedes pesando, los formuladores de políticas no van a saber qué brechas llenar. No van a saber qué falta de orientación abordar ". Finalmente, la trayectoria de Lyons ilustra la importancia de perspectivas a largo plazo en la gobernanza de tecnologías emergentes. Desde el momento AlphaGo en 2016 hasta la era contemporánea de LLMs, el campo ha demostrado una capacidad notable para adaptarse y evolucionar. Mientras enfrentamos nuevos desafíos relacionados con sistemas de IA cada vez más capaces, las lecciones aprendidas durante estos años formativos proporcionan una base valiosa para navegar la complejidad continua de la gobernanza de IA responsable. La transformación que comenzó con una victoria en un juego de mesa en Seúl ha evolucionado hacia uno de los desafíos de política más complejos de nuestro tiempo. La experiencia de Terah Lyons nos recuerda que, mientras la tecnología puede cambiar exponencialmente, los principios fundamentales de gobernanza responsable —transparencia, rendición de cuentas, participación multisectorial, y adaptabilidad— permanecen constantes como guías esenciales para navegar el futuro de la inteligencia artificial.

Autor: Ramon Baradat Marí; miembro del equipo del Proyecto cAIre. La última sesión del Proyecto cAIre  con Círvite me dejó una sensación clara: la inteligencia artificial, si se utiliza correctamente, puede transformar no solo los servicios, sino también vidas enteras. En este episodio, descubrimos cómo una asociación de Madrid plantea el uso de la tecnología (IA, datos y diseño humano) para mejorar la atención a personas con discapacidad intelectual y envejecimiento prematuro. Un espacio con alma y propósito. Círvite gestiona centros en los que ofrece atención integral (médica, psicológica y social) a personas con discapacidad intelectual. Lo que más me impactó al conversar con Jonatan Arroyo fue la pasión que muestran por romper con la idea de una «residencia fría»: aquí prima el vínculo humano y la inclusión social. Este enfoque demuestra que la tecnología y la calidez pueden ir de la mano. IA para personalizar el cuidado sin perder el calor humano. Durante la charla, profundizamos en cómo la IA ofrece herramientas para anticipar crisis, caídas o desorientaciones a partir de patrones de comportamiento y datos de sensores. Integrar estos sistemas en la rutina diaria de los residentes permite intervenir de forma preventiva. Jonatan destacó casos reales en los que esta tecnología ha salvado momentos críticos: un apoyo temprano para evitar una descompensación, una alerta para reforzar la supervisión, etc. La IA actuó como un aliado silencioso, no como un fin en sí mismo. Interoperabilidad: tejer redes, compartir, dar voz. La entrevista puso de manifiesto la importancia de integrar datos clínicos, sociológicos y administrativos. En Círvite, la interoperabilidad no solo es técnica, sino que también es un principio organizativo. Se trabaja en red con servicios municipales, profesionales externos y familiares. La IA no es un sistema aislado, sino el engranaje de ese ecosistema. Como explicó Jonatan, un sensor de movimiento solo cobra sentido si está conectado a los datos de salud, de agenda, de actividad, etc. Así, la IA amplifica la comprensión sin suplantar las decisiones humanas. Tecnología con sentido: el reto de transformar. Durante la entrevista, también reflexionamos en voz alta sobre cómo trasladar esta experiencia a centros menos tecnológicos y cómo financiar tecnología integradora sin desnaturalizar el trato. Aquí es donde vuelve a entrar en juego la IA, pero también la estrategia y las subvenciones. Para organizaciones como Círvite, las ayudas son útiles si van acompañadas de apoyo técnico, formación y comunidad. Mirando hacia el futuro: un modelo replicable. Círvite presenta un modelo inspirador basado en la atención tecnológica y emocional, cimientos sostenibles, una comunidad activa y el protagonismo de las personas. El reto ahora es ampliar esta experiencia, sumar más centros y generar una red de innovación social en la que la IA sea una aliada y no un reemplazo. Reflexiones para ti: La sesión cAIre con Círvite fue una invitación a redefinir el cuidado no como un servicio, sino como una relación. Una asistencia que combina sensores e IA con encuentros, comunidad y protagonismo. Un modelo en el que la tecnología y la calidez se entrelazan para dignificar vidas. ¿Por dónde empezar? Te proponemos algunas ideas: ¿Tienes un centro asistencial en tu área? Imagina incorporar IA para alertas tempranas: ¿qué datos harían falta? ¿Cómo involucrarías a los residentes y usuarios en el diseño de estas soluciones? ¿Qué alianzas locales podrías establecer para crear redes como lo hace Círvite? Te animo a ver el vídeo y sentir en primera persona la fuerza de este enfoque: https://www.youtube.com/watch?v=WsyepU-QyQo ¿Crees que iniciativas similares pueden surgir en tu entorno? Comparte tu visión y sigamos construyendo juntos una IA más cercana y humana para el cuidado. ¿Quieres saber más y ver de cerca cómo la IA puede servir a una sociedad más inclusiva y equitativa? Te invitamos a una sesión muy especial que tendrá lugar el próximo 9 de julio a las 9:00h en Cuatrecasas (Madrid), organizada por OdiseIA en colaboración con Cuatrecasas, donde presentaremos los resultados y conclusiones del Proyecto cAIre, apoyado por   Google.org . Un encuentro abierto y gratuito para compartir ideas, propuestas y seguir construyendo juntos una inteligencia artificial verdaderamente al servicio de las personas. Inscripciones y más información aquí:   https://www.cuatrecasas.com/es/spain/eventos/inteligencia-artificial-responsable-para-una-sociedad-inclusiva-y-equitativa ¡Nos encantaría contar contigo!

Autor: Ramon Baradat Marí; miembro del equipo del Proyecto cAIre. Cuando abrí Zoom para entrevistar a Anna M. Sanahuja, algo cambió. No se trataba de una charla más de OdiseIA, sino de adentrarse en un relato en el que la tecnología y la empatía se mezclan para transformar la forma en que cuidamos a las personas mayores. El eje de nuestra conversación giró en torno al Proyecto cAIre , una iniciativa que, más que innovación técnica, propone un nuevo trato humano en diversos contextos con personas vulnerables. Comenzamos por el corazón del Proyecto cAIre. El proyecto nace de la necesidad de que la inteligencia artificial deje de ser un término abstracto y se convierta en un compañero real en contextos como, por ejemplo, el de la atención sanitaria en el ámbito geriátrico y de atención a personas dependientes. Al igual que una orquesta necesita cohesión para sonar, la IA permite integrar sensores para la detección de patrones y sistemas predictivos que alertan sobre caídas, deterioros o cambios en el estado emocional antes de que sucedan. De hecho, pude sentir la convicción en su voz cuando nos contó que ya hay centros hospitalarios y residencias que están probando y ajustando los primeros compases de estos tipos de sistemas de IA. Rompiendo barreras: de los silos de datos a los ecosistemas conectados. Uno de los pasajes más cautivadores de la entrevista llegó cuando hablamos de interoperabilidad. Anna comparó el desafío con el hecho de que técnicos, médicos, administrativos y familias hablen diferentes idiomas. ¿La solución? Clústeres mixtos y «laboratorios vivos» donde todos conversan, experimentan y ajustan. Podríamos pensar que la IA avanza rápido, pero, si no construimos puentes entre los datos, nos quedamos en la superficie. Y Anna lo ilustra con ejemplos claros: organizaciones que intentan aplicar la IA sin datos integrados y terminan perdiendo millones, no por falta de ideas, sino por no haber hablado el mismo idioma desde el principio. Predicción que salva vidas. De lo abstracto pasamos a lo concreto. En la charla, Anna explicó cómo la IA puede predecir el futuro inmediato y ofrecer alertas tempranas que reducen las caídas y el deterioro funcional. Imaginen que un algoritmo detecta un cambio en la forma de andar de una persona mayor y activa al instante un protocolo de atención. Ella relataba casos reales, donde la implementación de sistemas similares ha reducido los incidentes. Realidad virtual: no solo datos, también emociones. Y luego llegó el giro emocional. Anna nos introdujo en el uso de la realidad virtual como herramienta para acompañar a los pacientes. En situaciones de ansiedad, aislamiento o dolor crónico, estas experiencias inmersivas ofrecen un refugio. No se trata solo de algoritmos, sino de humanizar la atención: imaginar un paseo relajante o un viaje a un lugar querido. Estrategia integral: fondos, coordinación y visión sostenible. Hablamos también de una realidad más administrativa: financiar y sostener estos proyectos. Anna señaló que, aunque España cuenta con herramientas como los fondos Next Generation, corren el riesgo de dispersarse si no hay una estrategia conjunta. Se necesita un plan coordinado que involucre a las administraciones, a los investigadores, a las empresas y a las familias. Y ahí es donde entra cAIre, como ejemplo de un proyecto que articula esos elementos, busca sinergias y evita duplicidades. Personas en el centro, siempre. Más allá de la tecnología, la trama del proyecto se articula en torno a un valor fundamental: situar a las personas en el centro. La IA participa, sí, pero solo si responde a necesidades reales. Por eso, Anna defiende el modelo de cocreación: pacientes, familias, médicos y técnicos diseñando juntos. No se trata solo de una herramienta, sino de una experiencia configurada desde la raíz en un diálogo constante. Hacia dónde vamos: resiliencia, proactividad y humanidad. Al finalizar la entrevista, Anna trazó un panorama del futuro: sistemas de IA que monitorizan en tiempo real, experiencias de realidad virtual que brindan alivio y profesionales formados y capacitados. Un sistema más resiliente, proactivo y, ante todo, humano. ¿Qué significan estos avances para ti? En OdiseIA creemos que este tipo de proyectos marcan un antes y un después. Quizás te preguntes: ¿están listos los centros de salud y las residencias?, ¿por dónde empezar? Te proponemos algunas ideas: Impulsar pilotos locales que integren datos médicos, administrativos y sensoriales. Crear espacios de cocreación con los usuarios: vivir la experiencia en primera persona. Aprovechar los fondos disponibles articulando alianzas antes de repartir recursos. La entrevista con Anna M. Sanahuja me dejó claro que no es solo cuestión de tecnología, sino un compromiso con la vida. No solo la IA puede prevenir caídas o detectar patrones, sino que también acompaña y dignifica. Y, sobre todo, es un ejercicio de imaginación colectiva: imaginar un futuro en el que el cuidado y la tecnología se entrelazan para que todas las personas importen y tengan un refugio. Si aún no lo has hecho, te invito a ver el vídeo con parte de la entrevista para que aprecies mejor la pasión de Anna y los matices de un proyecto con acento humano: https://www.youtube.com/watch?v=_7pyv30JgXM ¿Crees que tu comunidad está lista para abrazar una IA así? ¿Qué papel podrían jugar las residencias donde viven tus mayores? Comparte tu reflexión y sigue con nosotros esta aventura: una IA más cercana, humana y consciente. ¿Quieres saber más y ver de cerca cómo la IA puede servir a una sociedad más inclusiva y equitativa? Te invitamos a una sesión muy especial que tendrá lugar el próximo 9 de julio a las 9:00h en Cuatrecasas (Madrid), organizada por OdiseIA en colaboración con Cuatrecasas, donde presentaremos los resultados y conclusiones del Proyecto cAIre, apoyado por   Google.org . Un encuentro abierto y gratuito para compartir ideas, propuestas y seguir construyendo juntos una inteligencia artificial verdaderamente al servicio de las personas. Inscripciones y más información aquí:   https://www.cuatrecasas.com/es/spain/eventos/inteligencia-artificial-responsable-para-una-sociedad-inclusiva-y-equitativa ¡Nos encantaría contar contigo!

¿Qué ocurre cuando la tecnología avanza más rápido que nuestra capacidad de incluir? ¿Y si la inteligencia artificial, lejos de ser una barrera, pudiera convertirse en un puente hacia una sociedad más justa? El próximo 9 de julio, en el auditorio de Cuatrecasas (Almagro, 9. Madrid), reunimos a personas expertas, instituciones, profesionales del derecho, la tecnología y la acción social para reflexionar sobre cómo construir una IA ética, comprensible e inclusiva. Será una jornada inspiradora, abierta, con casos reales y conversaciones necesarias. Presentaremos los principales resultados del proyecto CAIRE, impulsado por OdiseIA con el apoyo de Google.org , y compartiremos buenas prácticas, retos y propuestas desde distintos ámbitos clave: gobernanza, educación, empleo, inclusión digital y más.   Agenda provisional 09:00 – 09:30 | Recepción de asistentes y café de bienvenida 09:30 – 09:45 | Bienvenida 09:45 – 10:15 | Gobernanza de la IA y grupos vulnerables 10:15 – 10:45 | Futuro del trabajo y transformación laboral 10:45 – 11:15 | Educación inclusiva e innovación docente 11:15 – 11:45 | Coffe break 11:45 – 12:15 | Inclusión digital y brechas tecnológicas 12:15 – 12:30 | Presentación del Proyecto COPID 12:30 – 13:00 | OdiseIA4Good: inteligencia artificial con impacto social real 13:00 | Clausura y cóctel de Networking   Historias que ya estamos contando Este evento conecta con muchas de las reflexiones que hemos ido publicando en las últimas semanas. Aquí puedes leerlas: “Cuando un papel se convierte en un muro” – Sobre burocracia y el proyecto TramitEasy “Cuando la administración no se entiende ” – Lenguaje claro y el proyecto DiloClaro “Cuando todo cambia en minutos” – Emergencias naturales y el proyecto ResqIA “IA generativa e inclusión digital” - Una Conversación con la Fundación Esplai “ 35 años innovando en inclusión social y tecnología” - Una conversación con la Rueca   Reserva tu plaza aquí El aforo es limitado.