Han sido muchos los años que llevamos tratando la propuesta de regulación europea sobre inteligencia artificial, y muchos los años que ha costado llegar a un acuerdo sobre la materia. Un acuerdo en cierto modo pionero, entre países con distintas sensibilidades hacia cuestiones como la privacidad y la relevancia de la innovación. Y es que el Reglamento Europeo sobre Inteligencia Artificial, aprobado el 21 de mayo de 2024, intenta conciliar la necesidad de promover y fomentar la innovación, con los principios europeos de protección de la seguridad, la salud y los derechos fundamentales. El Reglamento entró en vigor el pasado 1 de agosto, pero no llegará a completarse su regulación, a través de la publicación de guías y recomendaciones, y a cobrar fuerza la totalidad de sus obligaciones, hasta 36 meses después de su aprobación.
Ámbito del Reglamento
El Reglamento pretende cubrir los sistemas de inteligencia artificial que se diseñen, comercialicen, desplieguen o produzcan resultados en la Unión Europea, cualquiera que sea el país en que se encuentren los sujetos afectados (proveedores, usuarios – quienes despliegan el sistema -, importadores o distribuidores). Entiende por sistema de inteligencia artificial aquel que opera con elementos de autonomía y que, basándose en datos y entradas obtenidos de humanos o máquinas, infiere cómo alcanzar unos objetivos propuestos, usando para ello técnicas basadas en el aprendizaje-máquina o en lógica y conocimiento, y genera contenidos, predicciones, recomendaciones o decisiones que influyen en el entorno con el que el sistema interactúa. Es necesario que el sistema incorpore elementos de automaticidad y aprendizaje máquina para que sea considerado como “inteligencia artificial”. Quedarían fuera de la regulación aquellos que únicamente aplican una solución partiendo de una premisa partiendo de criterios previamente determinados.
Excepciones y niveles de riesgo
Debemos destacar que el Reglamento excluye su aplicación, además de a sistemas para la cooperación policial o relacionados con la seguridad nacional, a los sistemas de inteligencia artificial que sean utilizados con el solo propósito de la investigación y el desarrollo científico. Esto es especialmente relevante en el ámbito sanitario. No obstante, no debemos obviar que la aplicación de esta norma (o su exclusión bajo la misma) no elimina que deban cumplirse otras que pueden ser especialmente relevantes, como la normativa sobre protección de datos o la de producto sanitario.
El Reglamento diferencia cuatro tipos de sistemas de inteligencia artificial, en función de su nivel de riesgo. Aquellos que son clasificados en el nivel más alto de riesgo (“riesgo inaceptable”), como los que pretenden manipular el comportamiento humano o crear perfiles de “social scoring”, estarían prohibidos. En el nivel inferior de riesgo tendríamos a los sistemas de “riesgo mínimo” (como los que se integran en otros para tareas de mantenimiento), que estarían permitidos sin obligaciones específicas, o los de “riesgo limitado”, como los bots conversacionales, que tendrían sobre todo obligaciones de transparencia para el usuario final.
Sistemas de alto riesgo
Dentro del campo de la salud debemos prestar especial atención a los sistemas de “alto riesgo”, que llevan aparejadas obligaciones relevantes. Un sistema es de alto riesgo en función de dos factores. (i) por integrarse en productos o componentes de seguridad de productos que ya estén cubiertos por la legislación europea y, por tanto, sometidos a evaluación de conformidad, como ocurre con los dispositivos médicos y productos sanitarios. (ii) por recaer en una de las categorías del Anexo III del Reglamento, siempre que su output acarree un posible riesgo para la salud, la seguridad o los derechos fundamentales.
Dentro de la relación del Anexo III, y centrándonos exclusivamente en el ámbito sanitario, encontramos: (a) sistemas de reconocimiento de emociones, (b) los que se utilizan por las autoridades públicas para evaluar la admisibilidad de las personas físicas para beneficiarse de servicios y prestaciones esenciales como la asistencia sanitaria, (c) sistemas utilizados por las compañías aseguradoras para la evaluación de riesgos y fijación de precios en los seguros de vida y salud, y (d) sistemas de triaje de pacientes en el contexto de la asistencia sanitaria de urgencia.
Es necesario hacer una precisión respecto de los clasificados como alto riesgo por entrar en las categorías del Anexo III. El sistema no se clasificará de alto riesgo si este no produce un resultado automático, sino que solo se utiliza para prestar apoyo a una decisión humana.
Evaluación de Conformidad
La clasificación de alto riesgo tiene importantes consecuencias para un sistema de inteligencia artificial por el gran número de obligaciones que se imponen. La primera y más relevante es la obligación de superar una evaluación de conformidad. Esta obligación podría conllevar una doble evaluación para aquellos sistemas clasificados como de alto riesgo, por ser, o estar integrados, en un producto sanitario. Esta ha sido una de las grandes críticas al Reglamento: a pesar de que este pretende que sea el mismo organismo autorizado para realizar la evaluación de conformidad del producto sanitario quien lleve a cabo la exigida por el Reglamento de Inteligencia Artificial en un único procedimiento. Tendremos que esperar al desarrollo posterior del Reglamento para confirmar este punto.
Otras obligaciones
Otras obligaciones no menos relevantes que se imponen a los sistemas de alto riesgo son: (i) contar con un sistema de gestión de riesgos que contemple riesgos para la salud, seguridad y derechos fundamentales. (ii) establecer una gobernanza y gestión de datos de entrenamiento y prueba, asegurando buenas prácticas en diseño, recolección y preparación, que aseguren relevancia y corrección y sus apropiadas propiedades estadísticas y eviten sesgos. (iii) contar con su documentación técnica actualizada, que demuestre que se cumplen los requisitos establecidos.(iv) tomar automáticamente el registro de actividad del mismo. (v) proporcionar información a los usuarios sobre las capacidades del sistema, los requisitos de equipamiento, ámbito de aplicación, etc. (vi) permitir la supervisión humana. (vii) contar con un nivel adecuado de precisión, robustez y ciberseguridad.
Las autoridades solo exigirán el cumplimiento de las obligaciones a partir de agosto de 2026. No obstante, es recomendable ir adaptando los sistemas ya existentes para el cumplimiento de las obligaciones que se establecen en el Reglamento. Especialmente, diseñar los nuevos sistemas como “conformes” con las obligaciones establecidas, de cara a evitar problemas y riesgos de sanciones cuando entre en vigor su aplicación.
Inmaculada Castelló
Integrante de la Junta Directiva de la ASD
Socia de Dentons Europe
