Hacia una IA en salud más segura

IX Jornada ASD

Hacia una IA en salud más segura. La Inteligencia Artificial tiene un potencial innegable que ya está siendo aplicado. Su impacto sobre la sociedad, la economía y la atención médica ya se está haciendo sentir, como abordaremos muy pronto en la IX Jornada de ASD. Sin embargo, advierten los expertos, es necesario desarrollar mecanismos de control de los posibles riesgos de una tecnología revolucionaria. Como todas las tecnologías revolucionarias, la IA tiene lo que los anglosajones llaman «teething problems». Esto es, problemas de crecimiento.

A fin de identificar y solucionar tales problemas, y desarrollar una IA más segura en medicina, un equipo de investigadores del Instituto de Tecnología de Massachusetts (MIT) ha buscado inspiración en los procedimientos de las industrias más seguras del mundo: la industria aeronáutica.

Un interesante artículo publicado en la página web del MIT nos explica el estudio de Marzyeh Ghassemi, experta en ciencias de ingeniería médica, y Julie Shah, profesora de aeronáutica y astronáutica en el MIT. Ambas comparten interés en los retos de la transparencia en modelos de IA. Tras una primera conversación en 2023, vieron que la aviación podía servir de modelo para evitar que los pacientes fueran perjudicados por modelos sesgados de IA. Esto les llevó a estudiar más a fondo la cuestión.

Problemas y soluciones paralelos

Según su estudio, la IA en salud de hoy día guarda paralelismos con la industria aeronáutica de hace un siglo. En la década de los años veinte del siglo XX, pese a que fue la edad de oro de la aviación, con constantes récords y la generalización del transporte aéreo. Sin embargo, hubo una cifra inquietante de accidentes mortales.

Por otra parte, el avance hacia la automatización de la aeronáutica es similar al de la IA. El problema de la llamada «caja negra» de la IA, esto es, de explicar cómo llega a sus conclusiones, es parecido a la automatización aeronáutica de la década de los setenta. En estos años, los sistemas de piloto automático que avisaban de posibles riesgos a los pilotos experimentaron problemas de crecimiento: los pilotos no siempre comprendían del todo lo que hacía la automatización. Hoy día, ser capitán de un avión de línea comercial requiere 1 500 horas de vuelo. Este proceso exhaustivo y riguroso supone años de entrenamiento y copilotaje. Los investigadores consideran que este exitoso sistema de entrenamiento podría ser un modelo para la formación de doctores en el uso de herramientas de IA en un entorno clínico.

Reportar herramientas inseguras

El estudio, por otra parte, anima a reportar herramientas de IA inseguras del mismo modo que la Agencia Federal de Aviación (FAA) de los Estados Unidos hace con los pilotos, vía «inmunidad limitada» que permite a los pilotos mantener su licencia de vuelo después de hacer algo inseguro, siempre y cuando lo hagan de forma no intencionada. Según un reporte de la OMS de 2023, uno de cada 10 pacientes sufre un evento adverso al recibir atención hospitalaria en países de alto nivel de ingresos. No obstante, en la práctica clínica diaria, los profesionales suelen evitar reportar errores médicos, entre otros motivos porque el sistema actual enfatiza la responsabilidad individual y el castigo, como por ejemplo la pérdida de la licencia para ejercer la medicina, en lugar de buscar reformar un sistema que incrementa las posibilidades de errores médicos.

Una agencia reguladora específica

El estudio también aboga por la creación de una autoridad auditora independiente, similar a la NTSB (Junta Nacional de Seguridad en el Transporte) estadounidense, que analice la seguridad de los sistemas de IA en salud. En el caso de los Estados Unidos, advierten los expertos, desde la década de los años noventa no existe una entidad que evalúe el impacto de la tecnología.

Como ya hemos comentado en varias ocasiones, uno de los grandes retos de las tecnologías emergentes es que el desarrollo científico avanza a un ritmo más rápido que la normativa. En este sentido, la importancia de la IA y sus potenciales beneficios y riesgos han conducido, en especial en el campo de la atención sanitaria, a una oleada de intentos de regulación. La agencia federal del medicamento (FDA) de los EE. UU ha emitido una serie de guías y libros blancos al respecto. El marco normativo está avanzando con rapidez. Vemos, por ejemplo, la orden ejecutiva 14110 de la Casa Blanca en aras de un desarrollo seguro y fiable de la IA, así como el acta sobre IA de la Unión Europea aprobada en junio de 2023. Esta normativa será la piedra angular de la futura regulación, que debe garantizar la seguridad sin sofocar la innovación.

Abordaremos el futuro marco normativo en la mesa 5 de nuestra IX Jornada de ASD. Inmaculada Castelló, M.ª del Pilar Jiménez, Lorena López y Ana Miquel Gómez tratarán los aspectos éticos y legales de la (R)evolución de la IA en salud. (Pueden consultar el programa completo en el siguiente enlace).